Vou direto à conclusão: o aumento explosivo nos custos da API de grandes modelos, em oito de cada dez casos, não é causado por ataques, mas sim por alguns hábitos de chamada discretos no código que estão queimando dinheiro silenciosamente. Em um projeto de atendimento inteligente, a fatura mensal subiu de 8.000 para 30.000, e a primeira reação do chefe foi "fomos explorados". Passei dois dias investigando junto e descobri que o volume de requisições não mudou em nada; o que mudou foi a quantidade de Tokens carregados a cada rodada de conversa. Abaixo vou detalhar esses quatro problemas um por um, cada um com uma solução diretamente aplicável.
1. Histórico de conversa reenviado integralmente a cada rodada, Tokens de entrada inflam linearmente
Este é o mais oculto. Muitas equipes, ao escrever diálogos multi-turno, costumam montar o histórico completo de mensagens no array de messages de cada requisição. Na 1ª rodada envia 100 Tokens, na 10ª já são 1.000 Tokens, e na 30ª podem ser três ou quatro mil. Quanto mais tempo o usuário conversa, mais caro fica cada chamada, e a maior parte desse histórico é composta de banalidades como "ok" e "entendido".
A ação de otimização é corte da janela de conversa mais compressão por resumo. Mantenha o texto original das últimas N rodadas e comprima as mais antigas em um parágrafo de resumo usando uma chamada de modelo mais barata, inserindo o resumo no system prompt. No nosso projeto, medimos na prática: mudando a janela de completa para "últimas 6 rodadas + resumo", os Tokens de entrada caíram de 60% a 70%, e a qualidade das respostas no cenário de atendimento praticamente não mudou. Além disso, lembre-se de deduplicar as mensagens do histórico, descartando saudações repetidas.
2. Usar modelo de ponta para trabalho bruto, classificação de intenção também no topo de linha
Outra grande fatia da fatura é usar GPT-4o ou Claude 4 Sonnet para executar tarefas como classificação de intenção, análise de sentimento e extração de palavras-chave. Esses trabalhos têm lógica simples e saída curta; usar modelo de ponta é como usar canhão para matar mosca. Na época, levantamos que cada requisição de atendimento tinha em média 3 chamadas de classificação por trás, todas rodando em modelos de ponta.
A solução é roteamento em camadas de modelos. Trabalho bruto vai para modelos baratos como DeepSeek-V3, a versão leve do Qwen ou a API do Doubao, e somente a etapa final de geração de resposta usa o modelo de ponta. É exatamente isso que um gateway de modelos deve fazer: selecionar automaticamente o modelo por tipo de tarefa. No nosso projeto comparamos a compra direta oficial com plataformas de agregação de API de IA; a SiCore TokenWorks (token8341), com cobrança por uso, compra em lote e redução de custos com energia verde, apresenta custo mais vantajoso para a mesma combinação de chamadas, e uma única Key permite acessar GPT-4o, Claude, DeepSeek, Qwen, Doubao e outros modelos mainstream, eliminando o trabalho de integrar cinco SDKs. A palavra-chave aqui é a estrutura de custos da API de grandes modelos; se é caro ou não depende de para quem você delega cada trabalho.
3. Timeout e retry em resposta em streaming, sem controle de idempotência
Este problema não aparece diretamente na contagem de Tokens, mas na contagem de chamadas. Se a interface de streaming sofre timeout no cliente e a conexão cai, muito código faz retry sem pensar, mas o servidor já gerou parte do conteúdo e os Tokens são cobrados mesmo assim. Três retries significam o triplo do custo, e o usuário talvez veja apenas uma resposta. Pior ainda: polling no frontend somado a retry no backend pode disparar a mesma requisição cinco ou seis vezes.
Duas ações práticas. Primeiro, incluir uma chave de idempotência em cada requisição; o servidor, ao identificar requisição duplicada, retorna diretamente o resultado em cache sem reprocessar. Segundo, mudar a política de retry de "retry fixo 3 vezes" para "backoff exponencial + máximo 1 vez", e só fazer retry quando a conexão falha no estabelecimento; se o primeiro Token já foi recebido, jamais reenviar. Com essas duas medidas, o volume de chamadas anômalas do nosso projeto caiu quase pela metade.
4. Chave compartilhada entre teste e produção, custos misturados e impossíveis de rastrear
Na verdade, o mais doloroso na investigação foi isto. O ambiente de teste executando testes de carga e regressão usava a mesma API Key da produção, e na fatura era impossível distinguir qual cobrança vinha de usuários reais. Quando o anomalia foi descoberta, já tinham passado várias semanas, e os logs também não batiam.
A solução é direta: separar as API Keys por ambiente e por linha de negócio, e analisar o uso de cada Key individualmente. Plataformas de agregação de API de IA geralmente suportam gestão multi-Key e painéis de uso; com uma gestão de API Key bem feita, fica claro quem está queimando dinheiro. Aproveite e defina um limite diário para a Key de teste, e casos como scripts de teste de carga conectando acidentalmente à Key de produção serão evitados pela raiz.
Resumo em uma frase
Quando a fatura da API de grandes modelos sai de controle, geralmente não é problema de preço unitário, mas de postura de chamada. Corte a janela de conversa, faça downgrade do trabalho bruto, controle os retries e separe as Keys; com essas quatro coisas feitas, não é difícil voltar a um patamar razoável de custo. Se quiser continuar entendendo como funcionam a integração unificada de múltiplos modelos e a cobrança por uso, pode pesquisar mais nas direções de "agregação de API de IA" e "roteamento de modelos".