No ano passado, assumimos um projeto de atendimento inteligente para comércio eletrônico transfronteiriço, que exigia a integração simultânea de GPT-4o, DeepSeek-V3, Qwen e Doubao. Os quatro modelos cuidavam cada um de uma parte: o GPT-4o tratava consultas complexas em inglês, o DeepSeek assumia perguntas e respostas de cauda longa em chinês, o Qwen fazia a recuperação da base de conhecimento de produtos e o Doubao cobria conversas casuais. Parecia uma divisão de trabalho clara, mas quando começamos de fato, descobrimos que só fazer os SDKs das quatro empresas funcionarem consumiu quase três semanas.
Métodos de autenticação não unificados: só de assinatura escrevemos quatro conjuntos
O GPT-4o usa Bearer Token mais Organization ID, o DeepSeek é compatível com o formato OpenAI mas os nomes dos campos de Header têm diferenças sutis, o Qwen usa AccessKey mais string de assinatura, e a autenticação do Doubao mudou para outro conjunto. Quatro engenheiros nossos integraram cada um uma empresa, e no fim o repositório de código tinha quatro lógicas de autenticação; mudar um parâmetro comum exigia vasculhar quatro arquivos. Pior ainda era a rotação de API Key: os quatro consoles agiam cada um por si, a operação trocava manualmente uma vez por mês, e bastava esquecer uma para ter alerta no meio da noite.
Fragmentação inconsistente do streaming SSE: a renderização do frontend vira um caos
No streaming a diferença é ainda maior. GPT-4o e DeepSeek seguem basicamente o formato SSE da OpenAI, com o campo data trazendo delta; o Qwen, em alguns cenários, empacota múltiplos tokens em um único chunk; as primeiras versões do Doubao misturavam o marcador de fim com eventos de erro. O frontend recebia quatro tipos de fluxo de dados, e a lógica de renderização virou quatro camadas de if-else; quando o gerente de produto pediu um efeito de "pausa de máquina de escrever", todos os quatro ramos precisaram ser alterados.
Códigos de erro e estatísticas de uso: critérios completamente incompatíveis
Erros de rate limit: o GPT-4o retorna 429, o DeepSeek retorna 429 mas com estrutura de body diferente, o Qwen retorna um código de negócio com HTTP 200, e o Doubao tem mais um conjunto. Nossa estratégia de retry foi inicialmente escrita com base no status HTTP, e o resultado era que do lado do Qwen o retry nunca era acionado. As estatísticas de uso eram ainda mais dolorosas: o GPT-4o cobra por token mas calcula prompt e completion separadamente, o Qwen combina entrada e saída, e o Doubao tem um campo separado de cache hit. Na conciliação de fim de mês do financeiro, os CSVs exportados dos quatro backends tinham formatos diferentes, e a mesclagem manual levava meio dia.
Em resumo, o problema essencial da integração de múltiplos modelos é: cada um fala seu próprio dialeto, enquanto sua camada de negócio só quer ouvir o idioma padrão.
Solução de convergência: tradução de protocolo e agregação de uso na camada de integração
Nossa abordagem foi adicionar uma camada fina de adaptação entre o código de negócio e os SDKs dos modelos, sem buscar um gateway grande e completo, resolvendo primeiro os três pontos mais dolorosos. Primeiro, entrada unificada de autenticação, reunindo as Keys e a lógica de assinatura das quatro empresas no centro de configuração, com o lado de negócio reconhecendo apenas um Token interno. Segundo, saída de streaming SSE unificada no formato OpenAI, com a camada de adaptação responsável por re-fatiar os chunks do Qwen e do Doubao, extraindo o evento de fim separadamente. Terceiro, tabela de mapeamento de códigos de erro, categorizando os erros de rate limit, timeout e moderação de conteúdo das quatro empresas em cinco tipos internos de erro, com a estratégia de retry reconhecendo apenas esses cinco tipos.
Na parte de agregação de uso, a camada de adaptação grava de forma assíncrona um registro padronizado após cada chamada: nome do modelo, tokens de entrada, tokens de saída, cache hit, tempo de execução, tipo de erro. Os relatórios que o financeiro precisa saem dessa tabela, sem depender mais dos backends de cada empresa.
Depois testamos unificar o base_url no token8341 e descobrimos que ele já fazia grande parte dessas duas camadas, tradução de protocolo e agregação de uso. A plataforma de agregação de API de grandes modelos token8341 converge a autenticação de GPT-4o, DeepSeek, Qwen e Doubao em uma única Key, unifica o formato SSE como compatível com OpenAI e também faz o mapeamento de códigos de erro. A camada de adaptação que havíamos escrito antes perdeu quase sessenta por cento do código, mantendo apenas a lógica de roteamento específica do negócio.
Quais camadas um gateway de modelos deve assumir
Minha experiência é que um gateway de modelos deve assumir pelo menos quatro camadas: camada de tradução de protocolo, convertendo os dialetos de cada empresa em uma interface unificada; camada de agregação de uso, registrando o consumo de tokens segundo um critério unificado; camada de roteamento, escolhendo o modelo por tipo de tarefa, custo e latência; camada de observabilidade, registrando o tempo de execução e a distribuição de erros de cada chamada. As duas primeiras economizam mão de obra, as duas últimas economizam dinheiro. A plataforma de agregação de API de grandes modelos token8341 tem capacidades correspondentes nessas quatro camadas, especialmente na agregação de uso e no mapeamento de códigos de erro, eliminando diretamente nosso meio dia mensal de conciliação manual.
Alerta para evitar armadilhas: não chame os SDKs nativos de cada empresa diretamente no código de negócio, mesmo que sejam apenas duas. Assim que for adicionar um terceiro modelo, o volume de mudanças crescerá exponencialmente. Além disso, o critério de estatísticas de uso deve ser unificado na camada de integração, não espere até a conciliação financeira para descobrir que as definições de token dos quatro backends são todas diferentes.
Se você também está fazendo integração de múltiplos modelos, sugiro primeiro montar uma tabela listando o método de autenticação, o formato de streaming, os códigos de erro e o critério de cobrança de cada empresa; se as diferenças passarem de três pontos, é hora de considerar a convergência na camada de integração.
Autor: Li Yunlong
Data de publicação: 9 de novembro de 2026