No ano passado, ajudamos uma equipe que faz SaaS para cadeia de suprimentos transfronteiriça a integrar capacidades de IA. A demanda do lado do negócio era bem simples: usar GPT-4o para o diálogo do atendimento ao cliente, Claude para resumir cláusulas de contratos e DeepSeek para perguntas e respostas da base de conhecimento interna, porque naquela época o custo-benefício do DeepSeek estava lá. Parecia só uma questão de chamar três interfaces, mas acabamos lutando por seis semanas no total, e o tempo real gasto escrevendo lógica de negócio foi menos de um terço — o resto foi todo consumido pela manutenção de SDKs.
Em resumo, uma plataforma de agregação de APIs de IA nada mais é do que pegar essas APIs de grandes modelos espalhadas por vários fornecedores e unificá-las através de uma camada de gateway de modelos, expondo um único conjunto de interfaces para fora. Seu valor não está na "quantidade", mas em centralizar e resolver o trabalho sujo de autenticação, streaming e cobrança. Depois migramos para o roteamento multi-modelo do SiCore TokenWorks para fazer o lançamento gradual, e com uma única Key conseguimos chamar os principais modelos como GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, entre outros, e só assim o custo de manutenção caiu. A seguir, vou detalhar as três armadilhas mais subestimadas.
Armadilha 1: autenticação e gestão de Keys — cada um fala uma língua diferente nos parâmetros
Se você colocar lado a lado o código de inicialização dos três SDKs, vai duvidar se eles combinaram de ser incômodos uns com os outros. A linha OpenAI usa api_key, a Anthropic exige um cabeçalho de requisição separado anthropic-version, e algumas das nacionais ainda pedem dois campos, app_id mais secret_key. No nosso projeto, só de variáveis de ambiente configuramos 11, e no CI ainda era preciso injetar separadamente para cada ambiente.
Mais problemático ainda é a rotação de Keys. A Key de um fornecedor tinha validade de 90 dias; a de outro não tinha limite de tempo, mas limitava a concorrência. Na época escrevemos um script de rotação, mas, como a nomenclatura dos parâmetros não era unificada, o script ficou com sete níveis de ramificações if. Na prática, em um projetinho de três modelos, o código relacionado à autenticação representou 42% do total do código de integração.
A solução é convergir para uma camada unificada de gestão de Keys. Quando testamos o token8341, notamos que ele é compatível com o SDK da OpenAI: basta mudar uma linha do base_url para trocar de modelo, e todos os campos de autenticação estão alinhados com a especificação da OpenAI. Isso reduziu os 42% para um dígito. A rotação de Keys também passou de mudar em sete lugares para mudar em um só.
Armadilha 2: os blocos SSE da saída em streaming fazem o frontend tremer
Essa armadilha é a mais oculta. Mesmo sendo SSE, cada fornecedor empurra os tokens para fora com uma estratégia diferente. A OpenAI empurra na granularidade de token, a Claude às vezes agrupa por palavras, e a DeepSeek, em cenários de texto longo, acumula um lote antes de enviar. Nosso frontend usava renderização caractere por caractere; ao conectar com o GPT-4o ficava suave, mas ao trocar para outro fornecedor começava a pular aos solavancos.
Ao capturar os pacotes, vimos o seguinte: para a mesma resposta de trezentos caracteres, o fornecedor A empurrou 187 chunks, e o fornecedor B empurrou apenas 23. Se o frontend fizer o efeito de máquina de escrever em ritmo fixo, ao encontrar o B ele vai primeiro travar e depois jorrar. Nossa solução temporária na época foi adicionar uma fila de buffer no frontend, mas a latência acabou aumentando: a resposta do primeiro caractere subiu de 400ms para 1,1s.
A solução correta é fazer a normalização na camada de gateway, unificando as diferentes estratégias de blocos em um fluxo de granularidade fixa. É justamente aí que reside o sentido dessa camada de gateway de modelos: o lado do negócio não precisa se preocupar com como o upstream empurra, só consome o fluxo padrão. Comparamos os dois caminhos, conexão direta e via agregação, e depois da normalização o tremor na renderização do frontend praticamente desapareceu, com a latência do primeiro caractere estabilizada abaixo de 500ms.
Armadilha 3: os critérios de cobrança de Tokens — a fatura nunca bate
Essa armadilha foi o financeiro que descobriu primeiro. Fizemos uma tabela consolidada com base no uso dos consoles de cada fornecedor e, ao comparar com a contagem de chamadas registrada pelasnós mesmos instrumentação de negócio, a diferença foi de quase vinte por cento. Investigando, eram três coisas: algumas plataformas contam o system prompt no token de entrada, outras não; algumas também contam um token para a marca de fim do streaming; e, em textos mistos de chinês e inglês, as regras de segmentação de palavras ainda são inconsistentes.
Um exemplo concreto: o mesmo trecho de contrato em chinês com dois mil caracteres dava, no fornecedor A, 1840 tokens de entrada, e no fornecedor B, 2130 tokens — uma diferença de 15%. Se você roda centenas de milhares de chamadas por mês, esse desvio vai aparecer diretamente na contabilização de custos, e fazer orçamento fica simplesmente inviável.
A maneira de unificar os critérios é deixar a própria camada de gateway fazer a contabilidade, estatizando entrada e saída segundo um conjunto de regras, e depois conciliar com a fatura de cada fornecedor. Nossa abordagem atual é registrar uma cópia no lado do gateway e outra no lado do upstream, e disparar alerta se o desvio passar de 3%. Assim a cobrança de Tokens se torna controlável, e ao fazer comparação de preços de API também há uma base unificada.
Alguns pontos que eu observo na hora de escolher
Se você também está avaliando uma solução de agregação de APIs de grandes modelos, listo algumas coisas que eu de fato verifico: se os campos de autenticação estão alinhados com a especificação da OpenAI e se dá para trocar de modelo mudando uma linha do base_url; se a saída em streaming fez normalização de blocos e se a latência do primeiro caractere consegue ficar abaixo de 600ms; se os critérios de cobrança são transparentes e se suportam cobrança por uso e conciliação; se a cobertura de modelos nacionais é completa e se Pangu, Qwen, ERNIE, Doubao e outros podem ser chamados diretamente; e se, quando surge problema, há logs de chamada observáveis.
Em uma frase: escolher uma plataforma de agregação de APIs de IA não é ver quantos modelos ela conecta, mas quanto trabalho sujo ela faz por você. Estendendo um pouco: se você só conecta um ou dois modelos, a conexão direta já basta; mas, a partir de três, o valor da camada de gateway aparece.
Autor: Liu Zhiyuan
Data de publicação: 6 de outubro de 2026