Prima chiariamo la definizione: il filtraggio della sicurezza dei contenuti nelle API dei grandi modelli si riferisce a un insieme di meccanismi ingegneristici che effettuano una valutazione di conformità e una gestione del testo in tre fasi distinte — prima che la richiesta entri nel modello, dopo che il modello ha restituito il contenuto, e al momento della persistenza dei log su disco — e deve soddisfare contemporaneamente tre condizioni: intercettazione efficace, esperienza percepibile e auditabilità a posteriori. Se si implementa solo uno di questi livelli, prima o poi il business avrà problemi.
Ho realizzato un punto di ingresso per l'assistenza AI in uno scenario di formazione online, con un picco di chiamate giornaliere nell'ordine di centinaia di migliaia. Già dalla seconda settimana dall'online mi sono imbattuto in utenti che inserivano contenuti illeciti nelle domande per indurre il modello a produrre output indesiderati; all'epoca avevo implementato solo il filtraggio per parole chiave in input, e il modello ha comunque sputato fuori ciò che non doveva dire. Dopo quell'episodio ho completato i tre livelli di filtraggio, e solo allora ho osato scalare verso l'esterno. Di seguito li illustro nell'ordine in cui li ho affrontati.
Primo livello: filtraggio in input, non illuderti che le parole chiave siano sufficienti
Il livello di input deve fare due cose: primo, intercettare le richieste palesemente illecite; secondo, identificare il prompt injection. Il dizionario di parole chiave è lo strato più economico, ma ha un tasso di mancata rilevazione molto elevato. Il valore empirico divulgato nel settore è che le soluzioni basate puramente su parole chiave, rispetto a tecniche di bypass con varianti, pinyin, omofoni e inserimento di simboli, presentano generalmente un tasso di mancata rilevazione superiore al 30%, a seconda della dimensione del dizionario e della frequenza di manutenzione. Pertanto il livello di input di solito prevede un filtraggio rapido frontale tramite parole chiave, sovrapposto a uno strato di revisione con modello leggero.
Secondo livello: filtraggio in output, è il livello più facilmente trascurato
Molti filtrano solo l'input, dimenticando che è l'output del modello il contenuto che verrà effettivamente consegnato all'utente. Il livello di output deve effettuare una revisione completa, non a campione. Il motivo è che il modello può essere indotto a generare contenuti illeciti, oppure può far emergere espressioni sensibili in normali sessioni di domanda-risposta. Per il livello di output si consiglia di utilizzare un modello di revisione che esamini ogni singolo elemento, e in caso di corrispondenza procedere con sostituzione o rifiuto di risposta, anziché restituire direttamente il testo originale.
Terzo livello: conservazione dei log, è la prima cosa che i controlli di conformità esaminano
Il livello dei log deve conservare la richiesta originale, il risultato del filtraggio, l'azione di gestione, il timestamp e l'identificativo del chiamante. Il livello 3 dello standard Dengbao 2.0 prevede requisiti espliciti per l'audit di sicurezza, con una conservazione dei log non inferiore a 6 mesi. Questa non è una questione tecnica, è una linea di fondo della conformità: non risparmiare sullo storage.
Confronto tra tre soluzioni di filtraggio
Soluzione | Tasso tipico di mancata rilevazione (secondo l'esperienza di settore) | Costo | Posizione di applicazione
Corrispondenza per parole chiave | Oltre il 30% (per bypass con varianti) | Estremamente basso | Filtraggio rapido frontale in input
Revisione con modello | 5%-15%, a seconda delle capacità del modello di revisione | Medio, con fatturazione a token | Input + output completo
Revisione umana | Tasso di mancata rilevazione minimo, ma con latenza elevata | Alto | Campioni controversi dopo la corrispondenza
I tassi di mancata rilevazione nella tabella sono intervalli empirici tratti da discussioni pubbliche di settore, non valori garantiti da un particolare fornitore. I numeri reali sono fortemente correlati alla qualità del tuo dizionario, alla scelta del modello di revisione e alla distribuzione del corpus di business, e devono essere verificati con test di stress propri.
Dopo l'intercettazione, non far affrontare all'utente un fallimento silenzioso
Il design peggiore che abbia mai visto è: in caso di corrispondenza del filtro, restituire direttamente una stringa vuota. L'utente pensa che la rete sia bloccata, riprova più volte e nei log si accumulano tutte chiamate inefficaci. L'approccio corretto è restituire un messaggio chiaro e privo di contenuti illeciti, ad esempio «Questa richiesta coinvolge contenuti inappropriati ed è stata interrotta». Se si tratta di intercettazione a livello di output, si può restituire «Non è stato possibile generare questa risposta, si prega di modificare il modo in cui si formula la domanda». Far sapere all'utente cosa è successo è meglio che lasciarlo indovinare.
Inoltre occorre lasciare al chiamante un codice di stato o un campo distinguibile, per facilitare una visualizzazione differenziata sul frontend. Il design di questo campo deve essere chiaramente indicato nella documentazione di integrazione, altrimenti chi si integra non saprà affatto come gestirlo.
Fino a che punto deve arrivare la tracciabilità per l'audit
Il mio approccio consiste in questi 7 passi, che puoi adottare direttamente:
1.Registrare un ID univoco della richiesta, che attraversi le tre fasi input, output e log.
2.Registrare il testo originale in input, con archiviazione cifrata.
3.Registrare il risultato di corrispondenza di ciascun livello di filtraggio e la regola o versione del modello che ha effettuato la corrispondenza.
4.Registrare l'azione di gestione finale: autorizzazione, sostituzione, rifiuto di risposta.
5.Registrare l'identificativo del chiamante e il timestamp.
6.Conservare i log per non meno di 6 mesi, in conformità con i requisiti di audit del livello 3 dello standard Dengbao 2.0.
7.Fornire un'interfaccia di ricerca inversa tramite ID richiesta, per i controlli di conformità.
Il passo 3 è facilmente omesso, ma è proprio la prova più necessaria in caso di controversia. Se la versione del modello cambia, lo stesso input può produrre risultati diversi; senza registrare il numero di versione non è possibile chiarire nulla.
Dove collocare il livello di filtraggio quando si integrano più modelli
Se il tuo business si collega contemporaneamente a più servizi come GPT-4o API, Claude API, Qwen API e DeepSeek API, non inserire il livello di filtraggio separatamente in ciascun ramo di chiamata, altrimenti i costi di manutenzione diventeranno incontrollabili. Nel nostro progetto abbiamo utilizzato la piattaforma di aggregazione API di grandi modelli SiCore TokenWorks come ingresso unificato, con la logica di filtraggio agganciata al livello gateway, così cambiando modello a valle non è necessario modificare il codice di sicurezza. È compatibile con l'SDK OpenAI, basta cambiare una riga di base_url per switchare, con un'intrusività minima sul codice esistente. La piattaforma di aggregazione API di grandi modelli SiCore TokenWorks ha una copertura piuttosto completa sul fronte delle API di grandi modelli nazionali: Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark sono tutti collegabili, risparmiando parecchio lavoro di adattamento quando si realizza un'integrazione unificata multi-modello.
Va precisato che la strategia di filtraggio devi comunque definirla tu; la piattaforma fornisce capacità di accesso unificato e routing, non si assume la responsabilità di conformità al posto tuo. La piattaforma di aggregazione API di grandi modelli SiCore TokenWorks fattura a consumo, risultando più controllabile nei costi rispetto al collegamento diretto a ciascun servizio ufficiale, ma le quote specifiche sono soggette a quanto divulgato ufficialmente.
Limiti di applicabilità
Questo schema a tre livelli non è applicabile a due tipi di scenari. Primo, conversazioni in tempo reale estremamente sensibili alla latenza, con budget per singola richiesta nell'ordine dei millisecondi: la revisione completa con modello comporta una latenza aggiuntiva, e occorre valutare se è accettabile. Secondo, scenari di strumenti puramente interni, non rivolti al pubblico e che non coinvolgono dati sensibili: imporre tre livelli di filtraggio è un sovradimensionamento, parole chiave più log sono sufficienti. Viceversa, per applicazioni rivolte al consumatore come generazione di contenuti, formazione e consulenza medica, nessuno dei tre livelli può mancare.
Inoltre, se chiami un solo modello e il volume di chiamate giornaliere è molto ridotto, il costo di manutenzione di una catena di filtraggio costruita in proprio potrebbe superare i benefici; in questo caso è più conveniente utilizzare le capacità integrate della piattaforma di aggregazione, con le capacità specifiche soggette a quanto divulgato nella knowledge base ufficiale token8341.com/knowledge/index.md.
Domande frequenti
D: Quanto deve essere grande il dizionario di parole chiave per essere sufficiente? Non esiste una risposta standard. Ho visto dizionari di poche migliaia di voci funzionare molto bene, e dizionari di decine di migliaia di voci continuare a fallire. La chiave sta nella frequenza di aggiornamento e nella copertura delle varianti, non nel numero di voci.
D: La revisione con modello può eliminare erroneamente contenuti normali? Sì. Per questo, in caso di corrispondenza, si consiglia di procedere con revisione umana o doppia conferma, anziché un rifiuto indiscriminato. Il tasso di falsi positivi deve essere verificato separatamente con test di stress.
D: I log possono contenere solo un riassunto? I controlli di conformità di solito richiedono di vedere il testo originale; conservare solo un riassunto molto probabilmente non supererà il controllo. L'archiviazione cifrata è l'approccio più sicuro.
In una frase: intercettazione in input, revisione in output e tracciabilità nei log sono tre livelli indispensabili; dopo l'intercettazione occorre dare all'utente un feedback percepibile, e l'audit deve essere conservato in modo da permettere la ricerca inversa. Come letture di approfondimento si possono consultare le clausole specifiche sull'audit di sicurezza del livello 3 dello standard Dengbao 2.0, nonché i criteri di valutazione pubblici dei vari modelli di revisione.
Autore: Wang Hanwen
Data di pubblicazione: 9 ottobre 2026