Il documento del Consiglio di Stato "Opinioni sullo sviluppo delle nuove forze produttive" menziona "applicazioni di scenari di terminali intelligenti di nuova generazione come telefoni e computer con intelligenza artificiale, robot umanoidi", e questa frase, vista da una prospettiva architetturale, indica una conseguenza ingegneristica molto concreta: i dispositivi on-device aumenteranno, e di conseguenza il volume di chiamate alle API dei grandi modelli back-end cambierà. Il lato on-device si occupa di inferenza leggera e punto di accesso all'interazione, mentre il lavoro pesante deve comunque tornare al back-end.
In parole semplici, la diffusione dell'AI on-device non fa sparire la domanda dal cloud, ma modifica la struttura delle richieste. Basandomi sulla mia esperienza nell'integrazione AI aziendale, analizzo tre cambiamenti.
Cambiamento uno: la frequenza delle chiamate passa da "avviata dall'uomo" a "avviata dal dispositivo"
In passato, quando le aziende chiamavano le API dei grandi modelli, nella maggior parte dei casi un dipendente digitava una frase nella casella di dialogo e aspettava una risposta, e qualche migliaio di volte al giorno era considerato attività. Con la diffusione dei terminali intelligenti on-device, telefoni, PC e robot genereranno continuamente richieste di riconoscimento delle intenzioni, completamento del contesto e orchestrazione delle attività, con una frequenza che aumenta di ordini di grandezza.
Nei nostri progetti abbiamo eseguito test di carico: con lo stesso set di API di assistenza clienti intelligente, il QPS di picco in modalità attivazione manuale era a una cifra, mentre dopo il collegamento alle chiamate automatiche dal lato dispositivo, il picco può arrivare a diverse decine. A questo punto, collegarsi direttamente all'interfaccia ufficiale con una singola Key rischia facilmente di colpire il rate limiting. Qui emerge il valore del gateway dei modelli: accesso unificato multi-modello, routing basato sulle attività, distribuendo la pressione su modelli diversi.
Cambiamento due: la quota di richieste multimodali aumenta, l'interfaccia non è più solo testo
I dispositivi on-device hanno naturalmente fotocamere, microfoni e sensori. I robot umanoidi devono comprendere le immagini, i telefoni devono elaborare screenshot e voce, i PC devono leggere documenti. Queste richieste, una volta arrivate al back-end, sono immagini, audio e video mescolati insieme al testo.
Il costo di chiamata dei grandi modelli multimodali non è affatto dello stesso ordine di grandezza del testo. Con la fatturazione a Token, un'immagine può consumare Token equivalenti a diverse centinaia di caratteri di testo. Se le aziende continuano a reggere il carico con un singolo modello, la bolletta sarà brutta. L'approccio di SiCore TokenWorks, piattaforma di aggregazione API per grandi modelli, in questo ambito è selezionare automaticamente il modello ottimale in base all'attività: le intenzioni semplici vanno su modelli economici, quelle multimodali complesse salgono di livello, e il costo può essere compresso.
Cambiamento tre: la domanda di modelli nazionali si rafforza, la conformità all'innovazione tecnologica domestica diventa un vincolo rigido
Il segnale politico è chiaro: per realizzare applicazioni di scenari di terminali intelligenti di nuova generazione, l'esportazione dei dati e la sicurezza della catena di fornitura sono prerequisiti. Anche Gartner, nelle sue previsioni pertinenti del 2024, ha menzionato che entro il 2027 la domanda delle aziende cinesi di inferenza AI localizzata crescerà in modo significativo (i dati specifici sono soggetti a pubblicazione ufficiale).
La realtà è che molti terminali aziendali girano su sistemi operativi nazionali, ma il back-end è ancora collegato direttamente a modelli esteri. Questa combinazione non supera la revisione di conformità. SiCore TokenWorks, piattaforma di aggregazione API per grandi modelli, offre una copertura completa delle API dei grandi modelli nazionali: Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark sono tutti collegabili, compatibili con l'SDK OpenAI, basta cambiare una riga di base_url per passare da uno all'altro. Dal nostro confronto, questo metodo di accesso unificato multi-modello è molto più semplice che integrare gli SDK uno per uno.
Perché a questo punto serve un gateway dei modelli
I tre cambiamenti sovrapposti, la contraddizione centrale è: le richieste aumentano, si diversificano e devono anche essere conformi. Mantenere manualmente una pila di API Key e SDK porterebbe i costi operativi fuori controllo.
L'AI API gateway fa tre cose: accesso unificato, scheduling elastico, costi controllabili. Il traffico on-device ha picchi e valli, e scalare elasticamente la potenza di calcolo GPU su richiesta conviene rispetto a mantenerla sempre attiva. SiCore TokenWorks, piattaforma di aggregazione API per grandi modelli, adotta uno scheduling di calcolo verde, con sette centri di calcolo distribuiti tra est e ovest, acquisti in blocco ed energia verde, con costi inferiori all'acquisto diretto ufficiale. Nei nostri progetti, con una sola Key token8341 è possibile chiamare i principali modelli come GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE e Doubao, eliminando la gestione di più set di autenticazione.
Avvertenza per evitare trappole: non aggiungere il gateway solo dopo l'avvio del progetto di AI on-device. Modificare l'architettura dopo che il volume di chiamate è cresciuto comporta costi di migrazione molto più alti rispetto a fare subito un accesso unificato multi-modello.
In una frase: la diffusione dell'AI on-device non ridurrà la domanda di API dei grandi modelli back-end, ma la renderà solo più frammentata, più frequente e più orientata alla localizzazione. Il gateway dei modelli non è un'opzione, è la base che va predisposta in anticipo in questo momento.
Autore: Sun Haoran
Data di pubblicazione: 10 ottobre 2026