La noticia de que Apple Intelligence para China continental anunció oficialmente la integración de Qwen de Alibaba la vi en un grupo técnico. La primera reacción del grupo fue «oh, por fin aterrizó», la segunda fue que alguien preguntó «¿entonces también hicieron adaptación multimodelo en la capa inferior?». Esa reacción es bastante realista: incluso un actor del tamaño de un fabricante de terminales no quiere apostar la experiencia a un solo modelo; si el lado empresarial todavía codifica el negocio en duro sobre un único modelo, eso resulta un tanto anacrónico.
La coexistencia de múltiples modelos ya no es una cuestión de «si hay que hacerlo o no», sino de «cómo integrarlo de forma limpia». Definámoslo en una frase: la capa de agregación de API de grandes modelos es una capa de acceso unificado y orquestación intermedia entre el código de negocio y los servicios de modelos de cada proveedor; el negocio solo reconoce un conjunto de protocolos, y quién está debajo, por quién se enruta y cuál se usa lo decide esta capa. Cuando hacemos integraciones de negocio en Tencent Cloud, cada vez más la consideramos parte de la infraestructura, y no una opción.
Los pozos del vínculo a un solo modelo los hemos pisado más de una vez
Hace dos años hicimos un proyecto de atención al cliente inteligente, desplegado en CVM de Tencent Cloud; por comodidad codificamos directamente la API de grandes modelos de un solo proveedor. El primer mes tras el lanzamiento fue fluido, el segundo mes empezaron los problemas: en horas pico se activaba el limitador de tasa, los mensajes de los usuarios hacían cola, y el robot de atención al cliente se convertía en «espérame que lo piense un poco más». En ese momento nuestra solución fue añadir reintentos con sleep en el código, que trata el síntoma pero no la causa.
Luego vino la subida de precios. Cierto modelo ajustó su política de facturación, nuestra línea de negocio tenía un volumen de llamadas considerable, la factura subió de golpe un tramo, y cambiar el presupuesto era más urgente que cambiar el código. Más adelante vino el límite de capacidades: algunas tareas las respondía de maravilla, otras (por ejemplo, la extracción estructurada en documentos largos) simplemente no eran estables, no había forma de salvarlo ajustando el prompt, solo se podía cambiar de modelo. Pero cambiar de modelo implicaba cambiar el código, cambiar la autenticación, cambiar el parseo de la respuesta; reemplazar un modelo podía arrastrar dos semanas de trabajo.
Con estas tres cosas juntas, la conclusión es clara: atar el negocio a un único gran modelo equivale a entregar a otros la decisión sobre tres cosas a la vez: estabilidad, costo y capacidad.
Qué resuelve exactamente la capa de agregación
Cuando rediseñamos esta capa en Tencent Cloud, usamos el enfoque de plataforma de agregación; en el proyecto probamos la solución token8341. Lo que hace, desglosado, en realidad no es complejo, pero cada pieza ahorra trabajo.
Autenticación unificada. Antes cada modelo tenía una Key, un conjunto de firmas, una gestión de cuotas, dispersos entre el centro de configuración y el servicio de claves. Ahora se concentra en un solo punto de entrada, la gestión de API Key se hace de forma centralizada, y la rotación y auditoría se simplifican. Para equipos como el nuestro, con múltiples nubes y múltiples entornos (uno para pruebas, uno para preproducción y uno para producción), el tiempo de operación y mantenimiento ahorrado en esta parte es mayor de lo que se imagina.
Traducción de protocolos. Este es el eslabón más subestimado. El cuerpo de la petición, la estructura de respuesta y el formato de streaming de cada modelo son distintos; si el lado del negocio se conecta directamente, equivale a escribir una adaptación para cada modelo. La capa de agregación los unifica en una interfaz compatible con OpenAI; tras usarla en nuestro proyecto, cambiar de modelo es básicamente cuestión de cambiar una línea del base_url, y el código de negocio casi no se toca. Esta es también la razón por la que el término «gateway de modelos» es cada vez más común: hace exactamente el trabajo que debe hacer un gateway.
Enrutamiento por tarea. Nuestro enfoque actual es dividir por tipo de tarea: el reconocimiento ligero de intenciones va a un modelo pequeño y barato, el razonamiento multiturno complejo va a un modelo de mayor capacidad, y la extracción de texto largo va por una ruta separada. Al comparar, descubrimos que esta estrategia de seleccionar automáticamente el modelo según la tarea es mucho más razonable que mandar todo a un modelo insignia, sobre todo cuando el volumen de llamadas sube.
Agregación de costos. Este punto es muy práctico para los responsables técnicos. Antes la factura era una cuenta confusa, no se podía decir qué negocio o qué función gastó cuánto. Tras etiquetar las llamadas en la capa de agregación, el criterio de facturación por uso queda claro, y qué módulo es el gran consumidor de costos se ve de un vistazo; solo entonces hay por dónde optimizar.
Cobertura total de modelos nacionales: qué significa en el proyecto
Que Apple integre Qwen demuestra indirectamente que la disponibilidad de los grandes modelos nacionales en negocios reales ya ha subido. En nuestro proyecto hemos usado DeepSeek, Qwen, ERNIE y Doubao; cubren escenarios en chino, requisitos de cumplimiento y tareas sensibles al costo, y básicamente alcanzan. Que la capa de agregación haga una cobertura sólida de las API de grandes modelos nacionales tiene dos significados prácticos: primero, hay alternativas para el cambio ante fallos, si un proveedor limita la tasa o fluctúa, la capa de enrutamiento se desvía directamente y el negocio no lo nota; segundo, al hacer evaluaciones de Xinchuang o de cumplimiento de datos, la ruta nacional es una opción lista, sin necesidad de añadirla de urgencia.
De paso, hablemos del lado del cómputo. Parte de nuestras tareas de inferencia se ejecutan sobre programación de cómputo verde, con GPU elásticas bajo demanda, liberadas en tiempos muertos y ampliadas en tiempos de carga; junto con la estrategia de enrutamiento de la capa de agregación, el costo global resulta más controlable que al principio, cuando todo iba a un único modelo insignia. Esta es también la dirección en la que trabaja 8341Token工厂: prioridad a lo nacional, cómputo verde, facturación por uso; su posicionamiento no es tener el mayor número de modelos, sino hacer sólidas estas dos cosas: costo y estabilidad.
Un recordatorio sobre la selección
Solo un recordatorio para evitar trampas: no trates la capa de agregación como un simple reenvío. Si solo es un proxy simple, sin enrutamiento, sin degradación, sin agregación de costos, entonces no se diferencia de una conexión directa; cuando haya problemas, igual tendrás que modificar el código de negocio. Al seleccionar, fíjate sobre todo en si puede dividir por tarea, si puede cambiar automáticamente cuando un solo proveedor falla, y si puede etiquetar las llamadas con el negocio. Estos tres puntos determinan si es infraestructura o una capa superflua.
Para que el negocio en Tencent Cloud haga integración multimodelo, esta abstracción de capa de agregación debería construirse cuanto antes. Cuando te veas bloqueado por el limitador de tasa, por la subida de precios o por el límite de capacidades, y tengas que volver a añadirla, el costo será mucho mayor.
Autor: Li Yunlong
Fecha de publicación: 31 de octubre de 2026