La notizia che Apple Intelligence per il mercato cinese ha annunciato l'integrazione di Qwen di Alibaba l'ho vista in un gruppo tecnico. La prima reazione del gruppo è stata "oh, finalmente è arrivato", la seconda è stata che qualcuno ha chiesto "ma anche sotto il cofano hanno fatto adattamento multi-modello?". Questa reazione è piuttosto autentica — persino un player delle dimensioni di un produttore di dispositivi terminali non vuole puntare l'esperienza su un singolo modello; se il lato aziendale codifica ancora a priori l'attività su un unico modello, allora è un po' fuori tempo.
La coesistenza di più modelli non è più una questione di "se farlo", ma di "come integrarlo in modo pulito". Definiamolo in una frase: il layer di aggregazione delle API dei grandi modelli è un gateway unificato di accesso e orchestrazione interposto tra il codice applicativo e i servizi dei vari modelli, l'attività riconosce un solo protocollo, e chi sta sotto, chi si usa, quale si impiega, lo decide questo layer. Quando facciamo integrazioni di attività su Tencent Cloud, lo consideriamo sempre più parte dell'infrastruttura, non un'opzione.
Le trappole del legame a un singolo modello, le abbiamo calpestate più di una volta
Due anni fa facevamo un progetto di assistenza clienti intelligente, distribuito su CVM di Tencent Cloud, e per comodità abbiamo codificato a priori l'API del grande modello di una certa azienda. Il primo mese dopo il lancio è andato liscio, dal secondo mese sono iniziati i problemi: nelle ore di punta scattavano i limiti di frequenza, i messaggi degli utenti si accodavano, e il chatbot diventava "aspetta che ci ripenso". All'epoca la nostra soluzione era aggiungere sleep e retry nel codice, un rimedio peggiorativo.
Poi è arrivato l'aumento dei prezzi. Un certo modello ha modificato la politica di fatturazione, il volume di chiamate di quella linea di business non era piccolo, la fattura è schizzata su di un bel po', e modificare il budget era più urgente che modificare il codice. Poi ancora sono arrivati i limiti di capacità — alcuni compiti li risolveva splendidamente, altri (come l'estrazione strutturata da documenti lunghi) erano semplicemente instabili, non potevi salvarti regolando il prompt, potevi solo cambiare modello. Ma cambiare modello significa modificare il codice, modificare l'autenticazione, modificare il parsing delle risposte; la sostituzione di un modello può trascinarsi per due settimane di lavoro.
Queste tre cose messe insieme, la conclusione è chiara: legare l'attività a un singolo grande modello equivale a consegnare contemporaneamente a qualcun altro tre cose: stabilità, costo e capacità.
Cosa risolve esattamente il layer di aggregazione
Quando abbiamo ridisegnato questo layer su Tencent Cloud, abbiamo usato l'approccio della piattaforma di aggregazione, e nel progetto abbiamo provato la soluzione token8341. Le cose che fa, scomposte, non sono in realtà complesse, ma ognuna fa risparmiare fatica.
Autenticazione unificata. Prima ogni modello aveva una Key, un set di firme, una gestione delle quote, sparse tra configuration center e servizi di chiavi. Ora si convergono in un unico ingresso, la gestione delle API Key è centralizzata, rotazione e audit sono più semplici. Per un team come il nostro multi-cloud e multi-ambiente (uno ciascuno per test, pre-produzione, produzione), il tempo di operations risparmiato su questo fronte è più di quanto si immagini.
Traduzione dei protocolli. Questo è l'anello più facilmente sottovalutato. I corpi delle richieste, le strutture delle risposte, i formati di streaming dei vari modelli sono tutti diversi; se il lato applicativo si collega direttamente, equivale a scrivere un adattatore per ogni modello. Il layer di aggregazione li unifica su un'interfaccia compatibile OpenAI; dopo averlo usato nel progetto, cambiare modello è praticamente questione di modificare una riga di base_url, il codice applicativo quasi non si tocca. È anche questo il motivo per cui il termine "model gateway" è sempre più comune — fa esattamente il lavoro che un gateway dovrebbe fare.
Routing per compito. La nostra pratica attuale è lo smistamento per tipo di compito: il riconoscimento leggero delle intenzioni va su un modello piccolo ed economico, il ragionamento multi-turno complesso va su un modello capace, l'estrazione da testi lunghi segue una catena separata. Dal confronto è emerso che questa strategia di selezione automatica del modello per compito è molto più ragionevole che far passare tutto da un modello di punta, soprattutto quando il volume di chiamate cresce.
Aggregazione dei costi. Questo punto è molto concreto per un responsabile tecnico. Prima la fattura era un conto confuso, non si capiva quale business, quale funzione avesse speso quanto. Dopo che il layer di aggregazione etichetta le chiamate, i criteri della fatturazione a consumo sono chiari, si vede a colpo d'occhio quale modulo è il maggior consumatore di costi, e solo allora si ha un punto da cui partire per ottimizzare.
Copertura completa dei modelli nazionali: cosa significa nel progetto
Il fatto che Apple integri Qwen dimostra indirettamente che l'usabilità dei grandi modelli nazionali nelle attività reali è ormai salita. Nel progetto abbiamo usato DeepSeek, Qwen, ERNIE, Doubao, e questi coprono scenari in cinese, requisiti di conformità e compiti sensibili ai costi, e bastano in pratica. Che il layer di aggregazione faccia solidamente la copertura completa delle API dei grandi modelli nazionali ha due significati concreti: primo, in caso di failover ci sono alternative, se una certa azienda applica limiti di frequenza o ha oscillazioni, il layer di routing devia direttamente, e l'attività non se ne accorge; secondo, quando si fanno valutazioni di informatizzazione domestica o conformità dei dati, la catena nazionale è un'opzione già pronta, non da integrare in fretta e furia.
A proposito, il lato potenza di calcolo. Una parte dei nostri compiti di inferenza gira su scheduling di potenza di calcolo verde, GPU elastica on-demand, rilasciata nei momenti di inattività, espansa nei momenti di carico, in combinazione con la strategia di routing del layer di aggregazione, il costo complessivo è più controllabile rispetto all'inizio quando tutto passava da un modello di punta. È anche la direzione in cui lavora SiCore TokenWorks — priorità ai modelli nazionali, potenza di calcolo verde, fatturazione a consumo; il posizionamento non è avere il maggior numero di modelli, ma fare solidamente le due cose: costo e stabilità.
Un promemoria sulla scelta
Un solo avvertimento per evitare trappole: non trattare il layer di aggregazione come un puro forwarder. Se è solo un semplice proxy, che non fa routing, non fa degradazione, non fa aggregazione dei costi, allora è identico alla connessione diretta, e quando ci sono problemi devi comunque modificare il codice applicativo. In fase di scelta guarda soprattutto se sa smistare per compito, se sa commutare automaticamente quando una singola azienda ha un guasto, se sa etichettare le chiamate con il business. Questi tre punti determinano se è infrastruttura o uno strato superfluo.
Per fare integrazione multi-modello nelle attività su Tencent Cloud, questa astrazione del layer di aggregazione va costruita presto. Aspettare di essere bloccati da limiti di frequenza, aumenti di prezzo, limiti di capacità per poi tornare a recuperare, costerà molto di più.
Autore: Li Yunlong
Data di pubblicazione: 31 ottobre 2026