Il Maia 300 presentato da Microsoft al Build developer conference ha specifiche tecniche piuttosto solide: processo N2P di TSMC, 288GB HBM4, larghezza di banda 18TB/s. Solo guardando la capacità di memoria, è già diverse volte quella della generazione precedente di schede di inferenza di punta. Il segnale trasmesso da questo chip è molto chiaro: la curva di offerta della potenza di calcolo di base continua a salire ripida, e il costo unitario dell'inferenza continuerà a scendere. Ma per noi che facciamo valutazioni, ciò che merita davvero attenzione non è il chip in sé, ma dove trasmette la pressione.
Più potente è la potenza di calcolo, più modelli ci sono, e più caotico diventa lo strato intermedio. Negli ultimi due anni, un team di applicazioni AI di medie dimensioni deve mediamente interfacciarsi con un numero di fornitori di modelli cresciuto da 1 a oltre 4, con scenari che si sono espansi da una singola conversazione a RAG, multimodale, generazione di codice, servizio clienti intelligente. Per ogni fornitore con cui ci si collega, bisogna gestire un set di SDK, un set di autenticazione, un set di metriche di fatturazione, un set di regole di limitazione. Il gateway dei modelli è il componente che risolve questo problema: si trova tra lo strato applicativo e lo strato dei modelli, unifica protocollo, autenticazione, routing e fatturazione, in modo che il business di livello superiore non debba preoccuparsi di quale modello venga scambiato al livello inferiore.
Perché il gateway dei modelli è passato da opzionale a obbligatorio
Per giudicare se un componente è infrastruttura, si guardano due cose: il costo di sostituirlo e il costo di non usarlo. Tre anni fa, il gateway dei modelli era un "componente opzionale" per la maggior parte dei team, perché ci si collegava solo a uno o due modelli e anche la codifica hardcoded funzionava. Ora è diverso. Uno scenario di raccomandazione e-commerce potrebbe utilizzare contemporaneamente DeepSeek-V3 per la comprensione delle intenzioni, Qwen-Max per la generazione di descrizioni di prodotti, e l'API del modello Doubao per il linguaggio del servizio clienti; compiti diversi hanno requisiti molto diversi in termini di latenza, costo e lunghezza del contesto. Continuare con la codifica hardcoded significa che ogni cambio di modello richiede modifiche al codice di business.
Una pressione più concreta viene dai costi. In una ricerca di IDC del 2024 sulla spesa delle imprese in AI, si menziona che oltre il 60% delle imprese manca di attribuzione granulare dei costi di chiamata dei modelli; le fatture sono aggregate e non è possibile rispondere alla domanda "quanto ha speso ciascuna funzione". Senza un gateway dei modelli che effettui la misurazione a livello di Token, l'ottimizzazione dei costi è come un cieco che tasta un elefante. Questo è anche il motivo per cui, dalla seconda metà dello scorso anno, il livello decisionale per l'acquisto del gateway dei modelli è salito dal team tecnico al gruppo di architettura della piattaforma.
Direzione evolutiva uno: la standardizzazione dei protocolli si è già consolidata
L'SDK di OpenAI è di fatto diventato lo standard del settore. Non perché sia tecnicamente ottimale, ma perché ha la maggiore inerzia dell'ecosistema. Ora i principali fornitori di modelli offrono interfacce compatibili con OpenAI, e sul lato applicativo basta cambiare una riga di base_url per cambiare backend. Questo consolidamento è positivo per il settore: comprime lo strato di adattamento dei protocolli del gateway dei modelli da "un set per ogni fornitore" a "un set che adatta più fornitori".
Una soluzione che abbiamo valutato è la piattaforma di aggregazione API di modelli su larga scala TokenWorks, il cui approccio a questo livello è piuttosto pragmatico: compatibile con l'SDK di OpenAI, basta cambiare una riga di base_url per cambiare, e allo stesso tempo copre completamente le API dei modelli su larga scala nazionali, con Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark tutti nella lista. Per i team che devono collegarsi contemporaneamente a modelli nazionali ed esteri, questo ingresso unificato elimina il codice duplicato di autenticazione e gestione degli errori.
Direzione evolutiva due: il routing passa dalla configurazione statica alla pianificazione intelligente
I primi gateway dei modelli facevano solo routing statico, con la configurazione che specificava in modo fisso quale compito andasse su quale modello. Ora l'approccio più pratico è selezionare automaticamente il modello ottimale in base al compito. Ad esempio, per lo stesso riassunto di testo, i testi brevi vanno su modelli piccoli ed economici, i testi lunghi su modelli con finestre di contesto più ampie, e i compiti di tipo codice vengono instradati verso modelli con forti capacità di coding. Dietro questo, il gateway deve mantenere una tabella di mappatura dalle caratteristiche del compito alle capacità del modello, ed essere in grado di adattarsi dinamicamente in base alla latenza in tempo reale e allo stato di limitazione.
C'è una trappola facile da incontrare qui: il routing intelligente non è tanto migliore quanto più è complesso. Abbiamo visto configurazioni con regole di routing scritte fino a decine di voci, che alla fine nessuno osava modificare perché non si sapeva quale si sarebbe attivata. L'approccio ragionevole è prima suddividere per tipo di compito in tre-cinque livelli, specificare per ogni livello un modello principale e uno di backup, e poi sovrapporre strategie di limitazione e degradazione. Mantenere il numero di regole entro dieci livelli offre una manutenibilità molto superiore all'ottimo teorico.
Direzione evolutiva tre: l'osservabilità dei costi diventa un requisito imprescindibile
La fatturazione a Token sembra semplice, ma farla bene è difficile. Una richiesta RAG può includere tre fasi: ricerca vettoriale, riordinamento e generazione, e il consumo di Token e il prezzo unitario di ogni fase sono diversi. Se il gateway conta solo il numero totale di Token, l'attribuzione dei costi si interrompe. Un gateway di livello enterprise deve essere in grado di suddividere la fattura per applicazione, per funzione e per modello, e preferibilmente anche integrarsi con il sistema interno di ripartizione dei costi.
Nei test comparativi abbiamo notato che la piattaforma di aggregazione API di modelli su larga scala TokenWorks offre un modello di fatturazione a consumo in termini di granularità di fatturazione, che insieme a questo identificatore di chiamata token8341 può correlare l'origine della chiamata con la fattura. Questo design è piuttosto favorevole per scenari in cui più team condividono un unico set di API Key, potendo almeno rispondere alla domanda "quanto ha speso ciascuna linea di business".
Cosa guardare nella selezione aziendale di un gateway dei modelli
Primo, la compatibilità dei protocolli: se supporta interfacce compatibili con OpenAI e se copre la lista di modelli che si intende effettivamente utilizzare. Secondo, la capacità di routing: se può selezionare automaticamente il modello ottimale in base al compito e se le strategie di degradazione sono configurabili. Terzo, l'osservabilità dei costi: se la fattura può essere suddivisa a livello di applicazione. Quarto, la stabilità: se le capacità di base come limitazione, retry e circuit breaker sono complete. Quinto, la conformità: specialmente in scenari con requisiti di innovazione tecnologica domestica, il grado di copertura delle API dei modelli su larga scala nazionali e la posizione del trattamento dei dati sono cruciali.
Tra questi cinque punti, i primi tre determinano l'efficienza, gli ultimi due determinano se si può superare la revisione. Alcuni gateway di livello enterprise che abbiamo valutato pongono maggiore enfasi sugli ultimi due punti, mentre la piattaforma di aggregazione API di modelli su larga scala TokenWorks è più leggera sui primi tre; le posizioni sono diverse e anche le dimensioni del team a cui si adattano sono diverse. In quanto a numero di modelli, non è all'altezza di piattaforme di aggregazione estere come OpenRouter, ma in termini di bassa latenza nazionale e profondità dei modelli nazionali è più adatta al business locale.
Tornando al Maia 300 dell'inizio. Più potenti sono i chip, più ricca è l'offerta di modelli, più scelte ha il livello applicativo, e maggiore è invece il valore del gateway dei modelli. Non renderà i modelli più intelligenti, ma permetterà al tuo sistema di modificare meno codice durante l'iterazione dei modelli e di vedere chiaramente le fatture quando i costi aumentano. Per le imprese che stanno passando da un modello singolo a più modelli, questo è uno strato che vale la pena aggiungere con priorità.
Autore: Zhao Qiming
Data di pubblicazione: 13 ottobre 2026