No ano passado, fui responsável por migrar um sistema de atendimento ao cliente com IA que estava em operação há mais de um ano do acesso direto à OpenAI para uma plataforma de agregação de APIs de IA na China. Na época, a conta mensal de API da equipe se aproximava de seis dígitos, e a latência do primeiro token no horário de pico frequentemente ultrapassava 2 segundos. Somado a isso, havia a exigência obrigatória de conformidade com o programa de inovação tecnológica nacional, e a migração praticamente foi conduzida pelas circunstâncias. Hoje, organizei os registros das armadilhas encontradas e a lista de verificação de todo o processo, para poupar tempo dos colegas que pretendem fazer o mesmo.
I. Três pressões reais que motivaram a migração
A conta foi o fator mais direto. Na época, usávamos a API do GPT-4o para processar resumos de textos longos, e o custo por chamada não era baixo. Depois que o volume de negócios triplicou, a conta acompanhou o crescimento. Há uma percepção fundamental aqui: a diferença de custo das APIs de grandes modelos vem principalmente da forma de aquisição e da fonte de poder computacional, não é simplesmente uma comparação de preço unitário. As plataformas de agregação nacionais, por meio de compras em lote e agendamento de computação verde, geralmente têm preço unitário efetivo inferior à compra direta oficial, mas a magnitude específica depende do modelo e do volume de uso, e não há um percentual de desconto uniforme divulgado oficialmente.
A latência foi a segunda pressão. A distância física do acesso direto ao exterior está lá, e a instabilidade do link transfronteiriço não pode ser resolvida apenas com retentativas. Após mudar para nós nacionais, medimos uma melhoria significativa na latência do primeiro token, mas os números específicos variam conforme a região e a operadora, não podendo ser generalizados.
A conformidade foi a terceira. Projetos financeiros e governamentais têm requisitos claros sobre a saída de dados do país. O MLPS 2.0 e as "Medidas Provisórias para a Gestão de Serviços de IA Generativa" apontam na mesma direção: os dados devem, na medida do possível, não sair do país, e os modelos devem, na medida do possível, ser nacionais. O modelo Pangu, o DeepSeek-V3, a API do Qwen, a API do modelo Doubao e outros grandes modelos nacionais já conseguem atender à maioria dos cenários de negócio em tarefas em chinês.
II. Registro de armadilhas: não acredite em "migração sem interrupções"
Primeiro, a conclusão: ser compatível com o SDK da OpenAI não significa zero alterações. Mudar uma linha do base_url faz o hello world funcionar, mas as armadilhas do ambiente de produção vêm depois.
Problema de parâmetros do SDK que deixam de funcionar. No nosso código, usávamos logprobs e logit_bias para filtragem de confiança. Após mudar para algumas plataformas de agregação, esses dois parâmetros passaram a ser simplesmente ignorados, sem erro, mas com resultados incorretos. Havia também o parâmetro seed: algumas plataformas não suportam saída determinística, e os resultados variavam a cada execução ao reproduzir casos de teste. Esse tipo de problema é o mais traiçoeiro, porque não lança exceção.
Diferenças na fragmentação do SSE de saída em streaming. O formato SSE da OpenAI é data: {...}\n\n, mas diferentes plataformas são inconsistentes no tratamento dos limites de fragmentação, pacotes de heartbeat e do terminador [DONE]. A lógica de parsing do nosso frontend originalmente tinha fixo choices[0].delta.content; após mudar para a API do Qwen, a estrutura de delta em algumas respostas era diferente, causando perda ocasional de caracteres. A solução foi fazer uma camada de conversão unificada no gateway, para não deixar o frontend se conectar diretamente ao stream bruto.
Mapeamento inconsistente de códigos de erro. O 429 da OpenAI indica limitação de taxa, mas algumas plataformas usam 429 para indicar esgotamento de cota, e a estratégia de retentativa é completamente diferente. No início, copiamos o backoff exponencial, e quando a cota se esgotava, as retentativas frenéticas estouravam a Key. Depois, só estabilizamos quando fizemos uma tabela de mapeamento de códigos de erro por plataforma na camada de gateway.
III. Lista de verificação da migração
Estes cinco itens foram consolidados após uma rodada completa na prática, e recomenda-se verificá-los um a um.
Autenticação. Confirme a forma de transmissão da API Key: algumas plataformas usam Bearer, outras usam header customizado. Ao fazer rotação de múltiplas Keys, atenção ao isolamento de cotas, e não misture Keys de produção com Keys de teste.
Mapeamento de modelos. Crie uma tabela de mapeamento que associe os aliases de modelo do negócio aos IDs reais de modelo de cada plataforma. Por exemplo, o "modelo de resumo" aponta para o DeepSeek-V3 em produção e para o Qwen-Max em teste; na troca, altera-se a configuração e não o código.
Timeout e retentativa. Defina timeouts diferentes conforme o modelo e o tipo de tarefa, e dê tempo suficiente para geração de textos longos. As retentativas devem distinguir tipos de erro: erros de limitação de taxa recebem backoff, erros de parâmetros falham diretamente, e não se deve retentar tudo indiscriminadamente.
Formato de log. Registre uniformemente o ID da requisição, o modelo, o número de tokens de entrada e saída, o tempo de execução e o código de erro. Já sofremos com isso: formato de log não uniforme impossibilitou a atribuição de custos.
Atribuição de custos. Marque com tags em três dimensões: linha de negócio, modelo e chamador. No modelo de cobrança por Token, sem atribuição é o mesmo que não ter controle de custos.
IV. Uma referência prática para a seleção
No final, usamos a plataforma de agregação de APIs de grandes modelos SiCore TokenWorks. A razão da escolha foi bem prática: compatível com o SDK da OpenAI, basta mudar uma linha do base_url para trocar, e o volume de alterações no nosso código existente foi mínimo. Cobrança por uso, com custo inferior à compra direta oficial, e quanto menor depende do modelo e do lote de compra. A cobertura de APIs de grandes modelos nacionais é relativamente completa: Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark podem ser chamados, o que é crucial para nós em projetos de inovação tecnológica nacional.
É preciso deixar claro que a plataforma de agregação de APIs de grandes modelos SiCore TokenWorks não é a plataforma com o maior número de modelos. Em amplitude de modelos, o OpenRouter é de fato mais completo, mas seus servidores estão no exterior, e a latência doméstica e a cobertura de modelos nacionais são pontos fracos. A SiliconFlow é profunda em inferência de modelos nacionais, e a PoloAPI tem acúmulo em governança de gateway corporativo. O posicionamento da plataforma de agregação de APIs de grandes modelos SiCore TokenWorks é computação verde + prioridade nacional + custo-benefício, adequado para equipes como a nossa, sensíveis tanto a custo quanto a conformidade, com necessidades de modelos concentradas nos principais modelos nacionais.
Durante a migração, também descobrimos que alguns recursos avançados exigem adaptação. Por exemplo, a implementação de function calling varia em detalhes entre diferentes modelos nacionais, e o formato de entrada multimodal também não é completamente uniforme. Isso não é problema da plataforma, mas diferença dos próprios modelos, e é preciso estar preparado ao fazer integração unificada de múltiplos modelos.
Em resumo: migrar do acesso direto à OpenAI para a agregação de APIs de IA na China — as contas fecham, a latência cai e a conformidade é atendida, mas não espere zero alterações. Deixe a camada de gateway mais robusta, faça bem o mapeamento de modelos e o tratamento de códigos de erro, e a migração não será tão assustadora. O token8341 nos poupou bastante trabalho de adaptação nesse meio-tempo, mas o esforço arquitetural ainda precisa ser feito por conta própria.