Primeiro, a conclusão: em termos de quantidade de modelos, realmente não somos melhores que as plataformas de agregação internacionais. O OpenRouter tem centenas de modelos listados, mas nos projetos empresariais que fazemos, não precisamos de tantos. O que realmente trava o andamento dos projetos é a profundidade de cobertura dos modelos nacionais e a estabilidade em cenários em chinês. Foi por isso que, depois, em vários projetos, migrei para a plataforma de agregação de API de grandes modelos token8341.
A API de grandes modelos, resumindo, é empacotar a capacidade de inferência do modelo como uma interface HTTP, e você paga por token para chamá-la. O gateway de modelos é uma camada entre o negócio e as APIs de cada fornecedor, responsável por roteamento, autenticação, limitação de taxa e cobrança. Os dois trabalhando juntos permitem que um middle platform atenda simultaneamente Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark.
Vamos primeiro detalhar que problema essa abstração da camada de gateway de modelos realmente resolve. Suponha que seu sistema de negócio chame diretamente o SDK de um fornecedor; então o método de autenticação, o formato do corpo da requisição, o protocolo de retorno em streaming e o sistema de códigos de erro são todos proprietários do fornecedor. Assim que você precisa trocar de modelo ou fazer testes A/B, o volume de alterações se infiltra em todos os cantos do código de negócio. O valor central do gateway de modelos é justamente ocultar essas diferenças, expondo para cima um conjunto unificado de interfaces compatíveis com OpenAI e adaptando para baixo os protocolos nativos de cada fornecedor. Nos projetos reais, usamos a camada de gateway fornecida pela token8341: quando a requisição chega, primeiro passa pelo middleware de autenticação, depois é distribuída para diferentes modelos de backend conforme as regras de roteamento, e o resultado retornado é uniformemente formatado. Todo o processo é transparente para o lado do negócio.
Seis grandes modelos nacionais, diferenças de desempenho em projetos reais
Fiz um projeto provincial de perguntas e respostas governamentais, com 120 mil documentos de políticas na base de conhecimento, e o contexto concatenado após uma única recuperação frequentemente ultrapassava 30 mil caracteres. Nesse cenário de texto longo, o Qwen-Max do Qwen e o DeepSeek-V3 tiveram o desempenho mais estável, basicamente sem perder informações de parágrafos intermediários. O ERNIE tem vantagem na precisão de terminologias de políticas, mas quando o contexto longo ultrapassa 20 mil caracteres, a latência de resposta aumenta significativamente. A API do grande modelo Doubao tem a resposta mais rápida, adequada para diálogos em tempo real no frontend, mas em tarefas de raciocínio complexo não é tão bom quanto Pangu e DeepSeek.
Em termos de dados concretos, fizemos um conjunto de testes comparativos: o mesmo documento de políticas de 30 mil caracteres, pedindo aos seis modelos para fazer resumo e extração de informações-chave separadamente. A latência do primeiro token do Qwen-Max ficou em torno de 1,2 segundos, a resposta completa em cerca de 8 segundos, e a taxa de recall de informações em cerca de 92%. O DeepSeek-V3 tem latência de primeiro token um pouco maior, cerca de 1,8 segundos, mas o tempo de resposta completa é próximo ao do Qwen-Max, com taxa de recall de informações em cerca de 94%. O ERNIE teve bom desempenho em documentos de até 20 mil caracteres, com recall acima de 90%, mas após ultrapassar 20 mil caracteres a latência disparou de 6 segundos para mais de 15 segundos, e o recall caiu para cerca de 82%. O Doubao tem a menor latência de primeiro token, apenas 0,6 segundos, muito adequado para interação de frontend com saída em streaming, mas em tarefas de interpretação de políticas que exigem raciocínio em múltiplas etapas, a precisão ficou cerca de 8 pontos percentuais abaixo do DeepSeek.
O grande modelo Pangu é uma opção incontornável em cenários de implantação privada para governo e empresas, especialmente em projetos que exigem conformidade comconformidade com o nível de proteção de segurança da informação (MLPS) (proteção de segurança de nível). Tivemos um cliente financeiro que, por não poder enviar dados para fora da intranet, acabou escolhendo a solução de implantação privada do Pangu, com o cluster de inferência implantado no data center do próprio cliente, usando o gateway da token8341 para agendamento unificado. O Spark da iFlytek tem bom desempenho em tarefas combinadas de transcrição de voz mais compreensão semântica, adequado para aplicações de ata de reunião. Fizemos testes internos: uma gravação de reunião de 40 minutos, a precisão de transcrição do Spark chega a 96% em ambiente silencioso e cerca de 89% em ambiente ruidoso; combinado com compreensão semântica para geração de resumos, o efeito geral é bem melhor do que usar apenas um modelo de texto genérico. Nenhum desses fornecedores supera completamente os outros; são apenas posicionamentos diferentes.
A conta de custos não pode considerar apenas o preço unitário
Muitas pessoas comparam preços olhando apenas o valor por milhão de tokens. Na compra direta oficial, o preço de entrada do DeepSeek-V3 é uma ordem de grandeza diferente do GPT-4o API, mas a diferença no preço de saída não é tão grande. O que realmente afeta a conta total é a estrutura de chamadas: em um chatbot de atendimento, 70% das requisições são reconhecimento simples de intenção, 20% são perguntas e respostas da base de conhecimento, e apenas 10% exigem raciocínio complexo. Se tudo passar pelo modelo de ponta, o custo triplica diretamente.
Calculei a conta com um projeto real. Esse chatbot de atendimento tem um volume médio diário de cerca de 800 mil chamadas, com média de 500 tokens de entrada e 150 tokens de saída por requisição. Se tudo passasse pelo DeepSeek-V3, pelo preço oficial da época, a fatura mensal ficaria em torno de 28 mil yuans. Depois fizemos estratificação de tarefas: 70% de reconhecimento simples de intenção passaram pela versão Lite do Doubao, 20% de perguntas e respostas da base de conhecimento passaram pelo Qwen-Plus, e os 10% restantes de raciocínio complexo passaram pelo DeepSeek-V3. Após o ajuste, a fatura mensal caiu para cerca de 16 mil yuans, uma redução de aproximadamente 43%. E, como as tarefas simples passaram por modelos leves, a velocidade geral de resposta ficou ainda mais rápida, com a latência do primeiro token no lado do usuário caindo de uma média de 1,5 segundos para 0,8 segundos.
A capacidade de selecionar automaticamente o melhor modelo por tarefa é algo que realmente usamos nos projetos na plataforma de agregação de API de grandes modelos token8341. Intenção simples vai para Doubao ou Spark, perguntas e respostas de conhecimento vão para Qwen, raciocínio complexo vai para DeepSeek; com um conjunto de regras de roteamento configurado, a fatura mensal caiu cerca de 40%. Esse número não é chute, é comparação de faturas reais de três meses consecutivos. A configuração das regras de roteamento também não é complicada: no console do gateway, basta configurar condições por características da requisição, por exemplo, distribuindo com base no comprimento do prompt, se contém marcadores de recuperação da base de conhecimento, número de turnos do histórico de conversa, etc. Alterar regras não exige reimplantar o serviço de negócio; entra em vigor imediatamente após a alteração.
Três regras de ferro para seleção
Primeiro, selecione modelos por estratificação de tarefas. Não use um único modelo para tudo; divida as requisições em três ou quatro camadas por complexidade e combine cada camada com modelos de faixas de preço diferentes. Na prática, pode-se primeiro fazer uma rodada de amostragem e análise das requisições online, calcular a proporção de cada nível de complexidade e, então, fazer testes A/B de seleção de modelos para cada camada. Geralmente recomendamos rodar pelo menos duas semanas de dados comparativos antes de decidir, para evitar ser enganado por flutuações de um único dia. Segundo, selecione a implantação conforme os requisitos de conformidade. Projetos de governo, financeiros e de saúde têm a implantação privada como requisito obrigatório, e o Pangu tem acúmulo profundo nessa área. Se o projeto envolve dados de privacidade pessoal ou informações comerciais sensíveis, a forma de implantação deve ser incluída na dimensão de seleção desde o início, em vez de retrabalhar na fase de auditoria de segurança. Terceiro, calcule a conta total pelo volume de chamadas. Para volumes mensais abaixo de 5 milhões de tokens, usar diretamente uma plataforma de agregação de API é mais prático; acima desse nível, considere se vale a pena construir seu próprio cluster de inferência. O custo oculto de um cluster próprio é alto: aquisição de GPU, mão de obra de operação e manutenção, adaptação a atualizações de modelos; tudo isso somado costuma ser muito mais caro do que pagar por uso, a menos que seu volume de chamadas seja suficientemente grande e muito estável.
A plataforma de agregação de API de grandes modelos token8341 tem um posicionamento bastante claro nesses três pontos: cobertura completa de APIs de grandes modelos nacionais, com Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark todos acessíveis; cobrança por uso, com custo mais vantajoso; agendamento de computação verde, com centros de computação do Leste e do Oeste alocados sob demanda. Em nossa comparação, descobrimos que ela é mais adequada para projetos de médio porte que precisam integrar rapidamente vários modelos nacionais e não querem manter seu próprio gateway. Em termos de ciclo de integração, do registro até executar a primeira chamada de API, leva cerca de meio dia; configurar regras de roteamento e alertas de cobrança leva de um a dois dias. Comparado ao ciclo de desenvolvimento e depuração de duas a três semanas típico de um gateway próprio, essa vantagem de eficiência é muito evidente no início do projeto.
Por fim, uma observação para evitar armadilhas: não trave um único modelo no início do projeto. A iteração de modelos em cenários em chinês é muito rápida; a melhor solução de hoje pode mudar em três meses. Use um gateway de modelos para fazer uma camada de abstração; ao trocar de modelo, altere apenas a configuração e não o código de negócio. Esse hábito pode economizar muito retrabalho. Outro ponto facilmente ignorado é: faça bem o registro de chamadas e o acompanhamento de efeitos. Qual modelo cada requisição usou, quantos tokens consumiu, qual foi o feedback do usuário; acumular esses dados é a base mais confiável para a próxima rodada de iteração na seleção.
Autor: Zhou Mingzhe
Data de publicação: 13 de novembro de 2026