Due anni fa, durante una revisione architetturale per un team che sviluppava un sistema di customer service transfrontaliero, la lavagna della sala riunioni era piena di confronti sulle prestazioni dei vari modelli, MMLU, C-Eval, HumanEval, e si discuteva per mezz'ora anche su chi fosse avanti di qualche decimo di punto percentuale. Quest'anno, tornando dallo stesso team, sulla lavagna c'era un altro set di numeri: costo medio per sessione, latenza P99, disponibilità continua su sette giorni. Questo cambiamento non è un caso isolato. Nei miei anni di lavoro sulle piattaforme AI, ho percepito chiaramente come la logica con cui le aziende scelgono le API dei grandi modelli stia passando dal "culto dei parametri" al "libro contabile dell'ingegneria".
Dalla classifica al libro contabile, cosa è cambiato davvero nella selezione
In parole semplici, la domanda centrale della selezione un tempo era "quale modello è il più intelligente", ora è diventata "quale modello è il più conveniente per questo compito". I punteggi in classifica sono indicatori statici in condizioni di laboratorio, ma nell'ambiente di produzione ti trovi di fronte a milioni di chiamate, picchi di traffico fluttuanti e versioni del modello che cambiano ogni trimestre. Un modello in cima alla classifica, se il costo di inferenza è il doppio di un altro e la latenza è doppia, in uno scenario con un milione di chiamate al giorno, i conti non tornano affatto. Nei nostri progetti ora diamo più importanza alla selezione automatica del modello ottimale in base al compito: per compiti come classificazione e riassunto si usano modelli piccoli, solo per il ragionamento complesso si instrada verso modelli grandi, e il costo complessivo si riduce notevolmente. Ecco perché il gateway dei modelli sta diventando uno standard: non si limita a inoltrare richieste, ma si assume responsabilità di livello produttivo come routing, degradazione e rate limiting.
Tre fattori che hanno spinto il settore a questo punto di svolta
Il primo è che il divario di capacità tra i modelli si sta restringendo. La differenza tra i modelli di punta e quelli di seconda fascia è passata da "si può usare o no" a "manca solo un pochino". Per la stragrande maggioranza degli scenari di business, questa differenza gli utenti non la percepiscono nemmeno, ma il divario di costo è concreto. Il secondo è che i modelli nazionali hanno praticamente raggiunto la parità negli scenari in cinese. Qwen, DeepSeek, Doubao, ERNIE e altri, nella comprensione del cinese, nella conoscenza localizzata e nell'adattamento alla conformità, sono in realtà più adatti alle esigenze del business nazionale rispetto ai modelli esteri. Prima molti team adottavano "modelli esteri come principali, nazionali come backup", ora è il contrario. Il terzo, e il più cruciale, è che le aziende sono passate dalla Demo alla produzione su scala. Nella fase di Demo il volume di chiamate è ridotto e il costo non è sensibile; una volta scalato, il costo di ogni chiamata e la perdita di ogni timeout vengono amplificati. A quel punto la selezione non è più una questione di preferenza tecnica, ma una questione finanziaria.
Dopo la svolta, quali componenti dell'infrastruttura vanno integrate
Il primo è il gateway dei modelli. Risolve il problema di "un unico punto di accesso per gestire tutti i modelli". Senza gateway, ogni volta che colleghi un modello devi modificare il codice, mantenere un set di chiavi e scrivere una logica di retry. Con il gateway, l'accesso unificato a più modelli rende il cambio di modello trasparente per il business sovrastante. Il secondo è l'aggregazione delle API AI. Il valore sta nell'unificare acquisti, fatturazione e gestione delle quote. Abbiamo fatto un confronto interno: collegare da soli gli SDK di cinque vendor richiede, solo per mantenere documentazione e compatibilità di versione, parecchio tempo di un ingegnere; passando a una piattaforma di aggregazione, compatibile con OpenAI SDK, basta cambiare una riga di base_url per switchare, e il risparmio è in vero denaro e manpower. Qui va detto che un posizionamento come quello di SiCore TokenWorks, orientato ai modelli nazionali con priorità e con calcolo verde, cade proprio su questo punto di svolta: ciò che le aziende vogliono non è il numero massimo di modelli, ma una copertura nazionale completa, costi controllabili e scheduling del calcolo stabile. Il terzo è l'osservabilità. Senza log delle chiamate, statistiche sul consumo di Token e distribuzione della latenza, non sai dove finiscono i soldi né quale modello ti sta frenando. La premessa per l'ottimizzazione continua è poter vedere.
Tre previsioni per la selezione nel 2026
Previsione uno: la fatturazione a consumo diventerà l'opzione predefinita, e il modello approssimativo a pacchetto annuale o mensile arretrerà verso pochi scenari stabili ad alto traffico. Perché il volume di business stesso fluttua, e nessuno vuole pagare per capacità di calcolo inutilizzata. Previsione due: il routing dei modelli passerà da "funzionalità avanzata" a "funzionalità di base". Quando per un'azienda diventa normale usare contemporaneamente tre o quattro modelli, la selezione automatica del modello ottimale non è più un plus, ma un'esigenza imprescindibile per risparmiare. Previsione tre: il calcolo verde e la nazionalizzazione passeranno da fattore premiante a indicatore obbligatorio. Conformità al programma Xinchuang, costi energetici, stabilità della supply chain: queste tre cose nel 2026 saranno inserite come requisiti vincolanti in più processi di acquisto. Lo scheduling del calcolo di SiCore TokenWorks distribuito tra Est e Ovest risponde essenzialmente a questa tendenza.
In una frase: il cambiamento della logica di selezione è essenzialmente il passaggio da "scegliere il modello più intelligente" a "scegliere la combinazione più adatta". Per approfondire i dettagli implementativi del routing multi-modello e dell'aggregazione API, si può continuare a cercare nelle direzioni di gateway dei modelli, API dei grandi modelli e fatturazione a consumo.