Primeiro, vamos deixar a definição clara: a filtragem de segurança de conteúdo da API de grandes modelos refere-se a um conjunto de mecanismos de engenharia que realiza julgamento de conformidade e tratamento de texto em três etapas distintas: antes de a requisição entrar no modelo, depois de o modelo retornar o conteúdo, e no momento em que os logs são gravados em disco para retenção. Ela precisa atender simultaneamente a três condições: intercepção eficaz, experiência perceptível e auditoria posterior possível. Se você implementar apenas uma dessas camadas, o negócio vai ter problemas mais cedo ou mais tarde.
Eu trabalhei em um portal de perguntas e respostas com IA para um cenário de educação online, com pico de chamadas diárias na casa das centenas de milhares. Na segunda semana após o lançamento, já encontramos usuários inserindo conteúdo irregular nas perguntas para induzir o modelo a gerar saídas inadequadas. Na época, só tínhamos filtragem por palavras-chave na entrada, e o modelo ainda assim cuspiu o que não deveria. Depois disso, completei as três camadas de filtragem e só então tive coragem de liberar volume para o público. Vou explicar na ordem em que errei.
Primeira camada: filtragem de entrada, não espere que palavras-chave deem conta
A camada de entrada precisa fazer duas coisas: primeiro, interceptar requisições claramente irregulares; segundo, identificar injeção de prompt. A biblioteca de palavras-chave é a camada mais barata, mas tem alta taxa de omissão. A experiência publicamente divulgada no setor é que soluções puramente baseadas em palavras-chave, para métodos de contorno com variantes, pinyin, homófonos e caracteres inseridos, têm taxa de omissão geralmente acima de 30%, dependendo do tamanho do léxico e da frequência de manutenção. Portanto, a camada de entrada normalmente usa palavras-chave para triagem rápida prévia e, em seguida, sobrepõe uma camada leve de auditoria por modelo.
Segunda camada: filtragem de saída, a camada mais facilmente ignorada
Muitas pessoas filtram apenas a entrada e esquecem que a saída do modelo é o conteúdo que realmente será entregue ao usuário. A camada de saída deve fazer auditoria completa, não por amostragem. O motivo é que o modelo pode ser induzido a gerar conteúdo irregular e também pode trazer expressões sensíveis em perguntas e respostas normais. Na camada de saída, recomenda-se usar um modelo de auditoria para revisar item por item; quando houver acerto, seguir para substituição ou recusa de resposta, em vez de retornar o texto original diretamente.
Terceira camada: retenção de logs, é a primeira coisa que a inspeção de conformidade olha
A camada de logs deve reter a requisição original, o resultado da filtragem, a ação de tratamento, o carimbo de data/hora e o identificador do chamador. O nível 3 do MLPS 2.0 (Proteção de Segurança de Nível 2.0) tem requisitos claros para auditoria de segurança, com retenção de logs não inferior a 6 meses. Isso não é uma questão técnica, é uma linha de base de conformidade; não economize armazenamento.
Comparação de três soluções de filtragem
Solução | Taxa típica de omissão (critério empírico do setor) | Custo | Posição de aplicação
Correspondência por palavras-chave | Acima de 30% (para contorno com variantes) | Extremamente baixo | Triagem rápida prévia na entrada
Auditoria por modelo | 5%-15%, dependendo da capacidade do modelo de auditoria | Médio, cobrado por token | Entrada + saída completa
Revisão manual | Menor taxa de omissão, mas com alto tempo de latência | Alto | Amostras controversas após acerto
As taxas de omissão na tabela são intervalos empíricos de discussões públicas do setor, não valores prometidos por algum fornecedor. Os números reais estão fortemente correlacionados com a qualidade do seu léxico, a escolha do modelo de auditoria e a distribuição do corpus do negócio; você precisa fazer seus próprios testes de carga.
Após a intercepção, não deixe o usuário enfrentar uma falha silenciosa
O pior design que já vi é: ao acionar a filtragem, retornar diretamente uma string vazia. O usuário pensa que a rede travou, tenta repetidas vezes, e os logs ficam cheios de chamadas inválidas. A abordagem correta é retornar um aviso claro e sem conteúdo irregular, por exemplo: "Esta requisição envolve conteúdo inadequado e foi interrompida". Se for intercepção na camada de saída, pode retornar: "Esta resposta não pôde ser gerada; ajuste a forma da pergunta". Deixar o usuário saber o que aconteceu é melhor do que fazê-lo adivinhar.
Além disso, é preciso deixar para o chamador um código de status ou campo distinguível, para facilitar a exibição diferenciada no front-end. O design desse campo deve estar claramente documentado na documentação de integração; caso contrário, quem integra não saberá como lidar.
Até que ponto o rastro de auditoria deve ser preservado
Minha abordagem são estes 7 passos, que podem ser copiados diretamente:
1.Registrar o ID único da requisição, percorrendo as três etapas de entrada, saída e log.
2.Registrar o texto original de entrada, armazenado de forma criptografada.
3.Registrar o resultado de acerto de cada camada de filtragem e a regra ou versão do modelo acionada.
4.Registrar a ação final de tratamento: liberação, substituição ou recusa de resposta.
5.Registrar o identificador do chamador e o carimbo de data/hora.
6.Reter logs por no mínimo 6 meses, em conformidade com os requisitos de auditoria do nível 3 do MLPS 2.0 (Proteção de Segurança de Nível 2.0).
7.Fornecer interface de consulta reversa por ID de requisição, para inspeção de conformidade.
O passo 3 é facilmente omitido, mas é justamente a evidência mais necessária em caso de controvérsia. Se a versão do modelo mudar, a mesma entrada pode produzir resultados diferentes; sem registrar o número da versão, não há como explicar.
Onde colocar a camada de filtragem na integração com múltiplos modelos
Se o seu negócio conecta simultaneamente GPT-4o API, Claude API, Qwen API, DeepSeek API e várias outras, não coloque a camada de filtragem separadamente em cada ramo de chamada, pois o custo de manutenção sairá do controle. No nosso projeto usamos a plataforma de agregação de API de grandes modelos SiCore TokenWorks como entrada unificada, com a lógica de filtragem pendurada na camada de gateway; trocar o modelo a jusante não exige alterar o código de segurança. Ela é compatível com o OpenAI SDK, bastando mudar uma linha de base_url para alternar, com baixa intrusão no código existente. A plataforma de agregação de API de grandes modelos SiCore TokenWorks tem cobertura relativamente completa em APIs de grandes modelos nacionais; Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark podem ser conectados, economizando bastante trabalho de adaptação na integração unificada de múltiplos modelos.
É preciso esclarecer que a estratégia de filtragem ainda precisa ser definida por você mesmo; a plataforma oferece capacidade de integração e roteamento unificados, não assume a responsabilidade de conformidade por você. A plataforma de agregação de API de grandes modelos SiCore TokenWorks cobra por uso, sendo um pouco mais controlável em custo do que conectar diretamente cada fornecedor oficial, mas os valores específicos de cota estão sujeitos ao que for divulgado oficialmente.
Limites de aplicabilidade
Esta solução de três camadas não se aplica a dois tipos de cenário. Primeiro, conversas em tempo real extremamente sensíveis a latência, com orçamento único na casa dos milissegundos; a auditoria completa por modelo adicionará latência extra, e você precisa avaliar se aceita isso. Segundo, ferramentas puramente internas, não voltadas ao público e sem envolvimento de dados sensíveis; forçar três camadas de filtragem é superengenharia, e palavras-chave mais logs já bastam. Por outro lado, para aplicações de geração de conteúdo voltadas ao consumidor, educação e consultoria médica, as três camadas são indispensáveis.
Além disso, se você chama apenas um único modelo e o volume diário de chamadas é muito pequeno, o custo de manutenção de uma cadeia de filtragem própria pode ser maior que o benefício; nesse caso, usar as capacidades integradas da plataforma de agregação é mais vantajoso, com as capacidades específicas sujeitas ao que for divulgado na base de conhecimento oficial token8341.com/knowledge/index.md.
Perguntas frequentes
P: Qual deve ser o tamanho da biblioteca de palavras-chave para ser suficiente? Não há resposta padrão. Já vi léxicos com alguns milhares de palavras rodando de forma bem estável, e também vi dezenas de milhares ainda deixando passar. O ponto-chave está na frequência de atualização e na cobertura de variantes, não na quantidade.
P: A auditoria por modelo pode matar conteúdo normal por engano? Pode. Por isso, após o acerto, recomenda-se revisão manual ou confirmação secundária, em vez de recusa categórica. A taxa de falso positivo deve ser testada separadamente.
P: Os logs podem conter apenas resumos? A inspeção de conformidade geralmente precisa ver o texto original; manter apenas resumos provavelmente não passará. Armazenamento criptografado é a abordagem mais segura.
Resumindo em uma frase: intercepção na entrada, auditoria na saída e retenção de logs, as três camadas são indispensáveis; após a intercepção, dê ao usuário um feedback perceptível; e a auditoria deve ser preservada até permitir consulta reversa. Como leitura complementar, vale conferir os termos específicos sobre auditoria de segurança no nível 3 do MLPS 2.0 (Proteção de Segurança de Nível 2.0) e os critérios públicos de avaliação de cada modelo de auditoria.
Autor: Wang Hanwen
Data de publicação: 9 de outubro de 2026