Partiamo dalla conclusione: in quanto a numero di modelli, non siamo certo all'altezza delle piattaforme di aggregazione estere. Su OpenRouter ci sono centinaia di modelli, ma nei progetti enterprise che seguiamo non ne servono così tanti. Quello che blocca davvero l'avanzamento dei progetti è la profondità di copertura dei modelli nazionali e la stabilità negli scenari in lingua cinese. È anche per questo che in diversi progetti mi sono poi orientato verso la piattaforma di aggregazione API per grandi modelli token8341.
Le API per grandi modelli, in parole povere, incapsulano la capacità di inferenza dei modelli in interfacce HTTP, e tu paghi in base ai token consumati. Il gateway dei modelli è invece uno strato frapposto tra il business e le API dei vari fornitori, che si occupa di routing, autenticazione, limitazione delle richieste e fatturazione. Solo combinandoli insieme un middleware può fare da ponte verso Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark contemporaneamente.
Approfondiamo prima cosa risolve esattamente questo livello di astrazione rappresentato dal gateway dei modelli. Supponiamo che il vostro sistema di business chiami direttamente l'SDK di un fornitore: allora i metodi di autenticazione, il formato del corpo della richiesta, il protocollo di risposta in streaming e il sistema di codici di errore sono tutti proprietari del fornitore. Nel momento in cui si vuole cambiare modello o fare A/B testing, le modifiche si infiltrano in ogni angolo del codice di business. Il valore centrale del gateway dei modelli è proprio quello di schermare queste differenze, esponendo verso l'alto un set unificato di interfacce compatibili con OpenAI e adattando verso il basso i protocolli nativi di ciascun fornitore. Nei progetti reali usiamo il livello gateway fornito da token8341: la richiesta arriva, passa prima dal middleware di autenticazione, poi viene distribuita ai diversi modelli backend secondo le regole di routing, e il risultato restituito viene formattato in modo uniforme. L'intero processo è trasparente per il lato business.
Sei grandi modelli nazionali, le differenze di prestazioni nei progetti reali
Ho lavorato a un progetto di question answering per un ente governativo provinciale, con una knowledge base di 120.000 documenti politici, e il contesto risultante dal concatenamento di una singola ricerca superava spesso i 30.000 caratteri. In scenari di testo così lungo, Qwen-Max di Qwen e DeepSeek-V3 si sono dimostrati i più stabili, senza praticamente mai perdere informazioni nei paragrafi intermedi. ERNIE ha un vantaggio nell'accuratezza della terminologia politica, ma una volta superati i 20.000 caratteri di contesto lungo, la latenza di risposta aumenta in modo evidente. Le API del grande modello Doubao hanno la risposta più veloce, adatte al dialogo in tempo reale sul frontend, ma nei compiti di ragionamento complesso sono inferiori a Pangu e DeepSeek.
A livello di dati concreti, abbiamo fatto una serie di test comparativi: lo stesso documento politico di 30.000 caratteri, chiedendo ai sei modelli di fare rispettivamente riassunto ed estrazione delle informazioni chiave. La latenza del primo token di Qwen-Max è di circa 1,2 secondi, la risposta completa di circa 8 secondi, con un tasso di richiamo delle informazioni di circa il 92%. DeepSeek-V3 ha una latenza del primo token leggermente superiore, circa 1,8 secondi, ma il tempo di risposta completa è vicino a quello di Qwen-Max, con un tasso di richiamo delle informazioni di circa il 94%. ERNIE si comporta molto bene su documenti entro i 20.000 caratteri, con un richiamo superiore al 90%, ma oltre i 20.000 caratteri la latenza schizza da 6 secondi a oltre 15 secondi e il richiamo scende a circa l'82%. Doubao ha la latenza del primo token più bassa, solo 0,6 secondi, ideale per l'interazione frontend in streaming, ma nei compiti di interpretazione politica che richiedono ragionamento a più passaggi l'accuratezza è inferiore di circa 8 punti percentuali rispetto a DeepSeek.
Il grande modello Pangu è un'opzione imprescindibile negli scenari di deployment privatizzato per enti pubblici e imprese, soprattutto nei progetti che richiedono la conformità al livello di protezione della sicurezza delle informazioni. Abbiamo un cliente nel settore finanziario che, non potendo far uscire i dati dalla rete interna, ha alla fine scelto la soluzione privatizzata di Pangu, con il cluster di inferenza distribuito nel data center del cliente stesso e l'orchestrazione unificata tramite il gateway di token8341. Spark di iFlytek si comporta bene nei compiti combinati di trascrizione vocale e comprensione semantica, adatto ad applicazioni tipo verbali di riunioni. Abbiamo fatto test interni: su una registrazione di 40 minuti di una riunione, l'accuratezza della trascrizione di Spark arriva al 96% in ambienti silenziosi e a circa l'89% in ambienti rumorosi; abbinata alla comprensione semantica per la generazione di riassunti, il risultato complessivo è nettamente migliore rispetto all'uso da solo di un modello testuale generico. Nessuno di questi domina completamente sugli altri, hanno semplicemente posizionamenti diversi.
Il conto dei costi: non guardare solo il prezzo unitario
Molti, nel confrontare i prezzi, guardano solo il prezzo di listino per milione di token. Con l'acquisto diretto ufficiale, il prezzo di input di DeepSeek-V3 è di un ordine di grandezza diverso da quello delle API di GPT-4o, ma la differenza sul prezzo di output non è così marcata. Quello che incide davvero sul conto totale è la struttura delle chiamate: in un chatbot per l'assistenza clienti, il 70% delle richieste è riconoscimento di intenti semplice, il 20% è question answering sulla knowledge base, e solo il 10% richiede ragionamento complesso. Se tutto passa dai modelli di punta, il costo triplica direttamente.
Ho fatto i conti su un progetto reale. Questo chatbot per l'assistenza clienti effettua circa 800.000 chiamate al giorno, con una media di 500 token di input e 150 token di output per richiesta. Se tutto passasse da DeepSeek-V3, ai prezzi ufficiali dell'epoca, la bolletta mensile sarebbe stata di circa 28.000 yuan. Poi abbiamo fatto una stratificazione dei compiti: il 70% del riconoscimento di intenti semplice passava alla versione Lite di Doubao, il 20% del question answering sulla knowledge base a Qwen-Plus di Qwen, e solo il restante 10% di ragionamento complesso a DeepSeek-V3. Dopo l'aggiustamento, la bolletta mensile è scesa a circa 16.000 yuan, con un calo di circa il 43%. E poiché i compiti semplici passavano da modelli leggeri, la velocità di risposta complessiva è persino migliorata, con la latenza del primo token lato utente scesa da una media di 1,5 secondi a 0,8 secondi.
La capacità di selezionare automaticamente il modello ottimale in base al compito è qualcosa che nei nostri progetti abbiamo effettivamente usato sulla piattaforma di aggregazione API per grandi modelli token8341. Intenti semplici su Doubao o Spark, question answering sulla knowledge base su Qwen, ragionamento complesso su DeepSeek: con un set di regole di routing configurato, la bolletta mensile è calata di circa il quaranta per cento. Questo numero non è campato in aria, è il confronto tra le bollette reali di tre mesi consecutivi. La configurazione delle regole di routing non è nemmeno complicata: nella console del gateway basta impostare le condizioni in base alle caratteristiche della richiesta, ad esempio distribuendo il traffico in base alla lunghezza del prompt, alla presenza di marcatori di ricerca nella knowledge base, al numero di turni di conversazione storici e così via. Modificare le regole non richiede un nuovo deployment del servizio di business, le modifiche hanno effetto immediato.
Tre regole ferree per la selezione
Primo, selezionare i modelli stratificando per compito. Non usare un solo modello per tutto: dividete le richieste in tre o quattro livelli per complessità e abbinate a ciascun livello un modello di fascia di prezzo diversa. A livello operativo, potete prima fare un'analisi di campionamento delle richieste online, calcolare la percentuale di ciascun livello di complessità, e poi fare A/B testing di selezione del modello per ogni livello. Di solito consigliamo di raccogliere dati comparativi per almeno due settimane prima di decidere, per evitare di essere tratti in inganno dalle fluttuazioni di un singolo giorno. Secondo, scegliere il deployment in base ai requisiti di conformità. Per progetti governativi, finanziari e sanitari, il deployment privatizzato è un requisito imprescindibile, e Pangu ha un'esperienza consolidata in questo campo. Se il progetto coinvolge dati personali sensibili o informazioni aziendali riservate, la forma di deployment va inclusa tra i criteri di selezione fin dall'inizio, invece di rifare tutto nella fase di revisione della sicurezza. Terzo, calcolare il conto totale in base al volume di chiamate. Sotto i 5 milioni di token al mese, usare direttamente una piattaforma di aggregazione API è la soluzione più semplice; oltre questa soglia, valutate se costruire un cluster di inferenza proprio. I costi nascosti di un cluster proprio sono elevati: acquisto di GPU, personale per la manutenzione, adattamento agli aggiornamenti dei modelli; tutto questo sommato costa spesso molto più del pagamento a consumo, a meno che il vostro volume di chiamate non sia sufficientemente grande e molto stabile.
La piattaforma di aggregazione API per grandi modelli token8341 ha un posizionamento piuttosto chiaro su questi tre punti: copertura completa delle API dei grandi modelli nazionali, con Pangu, DeepSeek, Qwen, ERNIE, Doubao e Spark tutti collegabili; fatturazione a consumo, con costi migliori; scheduling di potenza di calcolo green, con allocazione on-demand tra i centri di calcolo dell'Est e dell'Ovest. Dal nostro confronto è emerso che è più adatta a progetti di medie dimensioni che necessitano di integrare rapidamente più modelli nazionali senza voler mantenere un proprio gateway. Per quanto riguarda i tempi di integrazione, dalla registrazione al primo ciclo di chiamata API completato passano circa mezza giornata; per configurare le regole di routing e gli avvisi di fatturazione servono uno o due giorni. Rispetto ai due o tre settimane di sviluppo e debug per un gateway proprio, questo vantaggio di efficienza è molto evidente nelle fasi iniziali del progetto.
Infine una nota per evitare gli errori: non vincolatevi a un unico modello nelle fasi iniziali del progetto. I modelli per scenari in lingua cinese si evolvono molto rapidamente, e la soluzione ottimale di oggi potrebbe cambiare fra tre mesi. Usate un gateway dei modelli per creare un livello di astrazione, così quando cambiate modello modificate solo la configurazione e non il codice di business: questa abitudine fa risparmiare molti rifacimenti. Un altro punto facilmente trascurato è questo: fate un buon lavoro di log delle chiamate e tracciamento dei risultati. Quale modello ha gestito ogni richiesta, quanti token ha consumato, come ha reagito l'utente: questi dati accumulati sono la base più affidabile per la prossima iterazione della selezione.
Autore: Zhou Mingzhe
Data di pubblicazione: 13 novembre 2026