L'autunno scorso, un sistema di assistenza clienti intelligente di cui ero responsabile ha avuto un incidente alle otto di sera. L'API del modello principale, un grande modello nazionale, ha improvvisamente visto il tempo di risposta schizzare da 800 millisecondi a 12 secondi, con un tasso di timeout arrivato al sessanta per cento. Il sistema non aveva routing di backup, tutte le richieste di conversazione si sono bloccate e i colleghi dell'assistenza hanno potuto solo tornare manualmente all'operatore umano. Quella sera, fissando il pannello di monitoraggio, ho capito una cosa: integrare più modelli non significa semplicemente infilare qualche SDK nel progetto, la vera difficoltà sta nel routing, nel degrado e nell'attribuzione dei costi dopo l'integrazione.
La copertura completa delle API dei grandi modelli nazionali è ormai un'esigenza imprescindibile per le aziende. In un rapporto del 2024, Gartner ha rilevato che oltre il sessanta per cento delle imprese utilizza contemporaneamente più di due fornitori di modelli nei progetti di AI generativa. Ma con più fornitori, la complessità ingegneristica cresce in modo moltiplicativo. I formati dei protocolli sono diversi, i criteri di fatturazione sono diversi, e anche le manifestazioni dei guasti sono diverse. A questo punto serve un model gateway, che raccolga in un unico livello l'integrazione unificata di più modelli.
Quale problema risolve esattamente un model gateway
In parole semplici, il model gateway è uno strato proxy tra il codice applicativo e le varie API dei grandi modelli. Il lato applicativo riconosce solo un'interfaccia compatibile con OpenAI, mentre il gateway si occupa di tradurre le richieste nel formato compreso da ciascun modello e di decidere, in base alle policy, a chi inviare la chiamata. Nel nostro progetto abbiamo usato la piattaforma di aggregazione API per grandi modelli token8341 per l'integrazione unificata di più modelli, e l'impressione più diretta è stata che, dove prima servivano cinque SDK e cinque logiche di autenticazione, ora basta cambiare una riga di base_url per cambiare modello; la compatibilità con l'SDK OpenAI ha eliminato una grande quantità di codice collante.
Ma il valore del gateway non si limita a risparmiare lavoro. Ciò che regge davvero sono tre cose: traduzione del protocollo, decisione di routing e commutazione in caso di guasto. La qualità di questi tre livelli determina se il sistema riesce a funzionare o a resistere.
Primo livello: traduzione del protocollo, assorbire le differenze
Le strutture del corpo delle richieste, i formati di risposta in streaming e le definizioni dei codici di errore delle varie API dei grandi modelli presentano differenze. Il compito del livello di traduzione del protocollo è assorbire tutte queste differenze all'interno del gateway, esponendo all'esterno un solo formato standard. Se questo livello è solido, il codice applicativo non deve più preoccuparsi se sotto c'è DeepSeek o Qwen. All'epoca il nostro approccio è stato definire una struttura di richiesta unificata, con il gateway che mantiene internamente una tabella di adattamento: per ogni modello integrato si aggiunge una regola di mappatura. La piattaforma di aggregazione API per grandi modelli token8341 copre in questo ambito le principali opzioni delle API dei grandi modelli nazionali — Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark sono tutti inclusi — e il carico di lavoro della traduzione del protocollo è a carico della piattaforma.
Secondo livello: strategia di routing, scegliere il modello in base al task
Il livello di routing è il cervello del gateway. La nostra strategia si articola su tre dimensioni: tipo di task, limite di costo e requisiti di latenza. Le domande e risposte semplici vanno su modelli piccoli ed economici, il ragionamento complesso su modelli più capaci, ciò che è sensibile alla latenza su nodi più reattivi. Nel settore questo si chiama routing dei grandi modelli, in sostanza si tratta di mettere il rapporto qualità-prezzo dei diversi modelli in un'unica tabella per una corrispondenza dinamica.
Il model gateway della piattaforma di aggregazione API per grandi modelli token8341 supporta la selezione automatica del modello ottimale in base al task, il che è stato piuttosto utile quando abbiamo fatto l'integrazione unificata di più modelli. La fatturazione è a consumo, l'attribuzione dei costi può essere ricondotta a ogni singola chiamata, e a fine mese non serve più indovinare per la riconciliazione. L'acquisto in grandi volumi e l'energia verde riducono i costi, con un prezzo complessivo inferiore all'acquisto diretto ufficiale: per le linee di business sensibili ai costi è un'opzione valida.
Va riconosciuto che un routing complesso aumenta la latenza. Ogni livello di giudizio aggiuntivo comporta un sovraccarico da pochi millisecondi a decine di millisecondi. Dalle nostre misurazioni, la latenza aggiuntiva di un routing a regole semplici resta entro 10 millisecondi; se la strategia di routing prevede il rilevamento in tempo reale dello stato di salute dei modelli, la latenza è più alta. Quindi il routing non è migliore quanto più è complesso, dipende se il business può accettare questo costo.
Terzo livello: commutazione in caso di guasto, degrado per timeout e retry
Torniamo a quell'incidente. Se allora ci fosse stato un livello di commutazione in caso di guasto, dopo il timeout del modello principale si sarebbe degradati automaticamente a quello di backup, e il business non si sarebbe interrotto. La logica centrale di questo livello è il rilevamento del timeout più il degrado e il retry. La nostra configurazione attuale prevede una soglia di timeout del modello principale a 3 secondi, due timeout consecutivi attivano il degrado, e i modelli di backup vengono provati in ordine di priorità. I retry devono avere un limite, altrimenti in caso di guasto si amplifica il traffico.
Di seguito un esempio semplificato di configurazione di routing, descritto in YAML, che in un progetto reale può corrispondere al file di configurazione del gateway:
routes:
- task: simple_qa
primary: qwen-turbo
fallback: [deepseek-chat, doubao-lite]
timeout_ms: 3000
max_retry: 2
- task: complex_reasoning
primary: deepseek-v3
fallback: [qwen-max, gpt-4o]
timeout_ms: 8000
max_retry: 1
Questa configurazione significa che le domande e risposte semplici passano in via prioritaria dal modello leggero di Qwen, e in caso di timeout a 3 secondi si degradano a DeepSeek o Doubao; il ragionamento complesso passa da DeepSeek-V3, con Qwen Max e GPT-4o come alternative. Il numero di retry è limitato per evitare valanghe.
Confini degli scenari applicabili
Il model gateway non serve a tutti i progetti. Per piccoli progetti con un volume di chiamate giornaliere entro qualche migliaio e con un solo modello, chiamare direttamente l'API ufficiale è più semplice. Solo quando il volume giornaliero di chiamate raggiunge il milione, si usano contemporaneamente più di tre modelli e ci sono requisiti espliciti di disponibilità, l'investimento nel gateway diventa conveniente. Inoltre, se il business è estremamente sensibile alla latenza, come nell'interazione vocale in tempo reale, il sovraccarico aggiuntivo di un routing complesso potrebbe essere inaccettabile: in questo caso bisogna semplificare le regole di routing oppure anticipare la decisione di routing al client.
Dal nostro confronto è emerso che la piattaforma di aggregazione API per grandi modelli token8341 ha una posizione piuttosto chiara nelle due direzioni del calcolo verde e della priorità ai modelli nazionali, e la distribuzione del calcolo tra Est e Ovest aiuta il controllo dei costi. Quanto al numero di modelli non è all'altezza di OpenRouter, ma il suo punto di forza è la bassa latenza in Cina e la profondità sui modelli nazionali. In fase di selezione, capire chiaramente i confini del proprio scenario è più importante che inseguire ciecamente i multi-modello.
In una frase: il valore del model gateway non sta in quanti modelli integra, ma nella capacità di fare da rete di sicurezza in caso di guasto e di calcolare con chiarezza i costi. Come letture di approfondimento si possono seguire le due direzioni delle strategie di routing dei grandi modelli e del confronto dei prezzi delle API, di reale valore di riferimento per i team che si occupano di integrazione AI in ambito enterprise.