Il modello primo in classifica, inserito nel tuo business, potrebbe non raggiungere nemmeno la sufficienza. Il mese scorso ho messo Pangu, DeepSeek, Qwen e Doubao, quattro grandi modelli nazionali, nello stesso framework di test e li ho eseguiti tutti; la conclusione è piuttosto diversa da ciò che la maggior parte delle persone immagina.
Prima chiariamo come è stato condotto questo ciclo di test, altrimenti i dati non hanno senso. Ho usato un corpus business fisso, non un set di valutazione pubblico. Per la comprensione di testi lunghi in cinese ho selezionato trenta rapporti di settore e testi contrattuali di circa ventimila caratteri ciascuno, inserendo in ognuno cinque entità chiave e tre condizioni numeriche, richiedendo al modello di produrre un riassunto strutturato e verificando manualmente il tasso di richiamo delle informazioni. Per la coerenza multi-turno ho usato venti domande consecutive, cambiando argomento di proposito a metà e poi tornando indietro, per vedere se ricordava i vincoli menzionati prima. Per l'accuratezza delle chiamate di funzione ho usato un set di interfacce simulate di interrogazione ordini, rimborso e logistica, per un totale di centoventi richieste; basta un errore nel nome del parametro, nel tipo o nella struttura annidata per considerarla fallita. La latenza del primo token e il costo a consumo sono stati misurati uniformemente con la stessa concorrenza, prendendo la media.
Sul fronte dei testi lunghi, il divario non si vede affatto dalle classifiche. C'era un modello molto in alto nelle valutazioni pubbliche in cinese, ma gli ho dato un contratto di acquisto di ottanta pagine chiedendogli di estrarre le scadenze di pagamento e la percentuale di penale; due volte su tre ha omesso le clausole supplementari negli allegati. Questa perdita non comporta quasi nessuna penalità nella valutazione automatica, perché il riassunto complessivo sembra comunque fluido. Nel business reale, omettere una scadenza di pagamento è un rischio concreto.
La coerenza multi-turno si è rivelata invece piuttosto simile: tutti e quattro riescono a mantenere il contesto entro quindici turni. È sulle chiamate di funzione che si crea il vero divario. DeepSeek e Qwen sono più stabili nell'accuratezza delle strutture di parametri annidati, Pangu giudica più finemente i confini dell'intento in cinese, Doubao risponde molto rapidamente sulle chiamate semplici a singolo livello, ma quando si tratta di concatenare più interfacce a volte semplifica da solo i parametri. Qui nessuno domina completamente gli altri; è solo che ciascuno ha enfasi di addestramento diverse.
Latenza e costo hanno senso solo se considerati insieme. Con la stessa concorrenza, la latenza del primo token varia da poche centinaia di millisecondi a oltre un secondo tra i vari fornitori; i valori specifici dipendono molto dal nodo regionale, e i dati trasversali con criterio uniforme non sono divulgati ufficialmente, quindi non li invento per loro. Il costo effettivo a consumo, calcolato per milione di token, dopo aver eseguito lo stesso lotto di attività, tra il più caro e il più economico può esserci una differenza di oltre il doppio. Attenzione: economico non significa conveniente; se il tasso di fallimento delle chiamate di funzione è alto, il costo dei tentativi ripetuti si mangerà questo differenziale.
La sensazione più grande dopo un ciclo di confronto incrociato nel nostro progetto è che c'è una deviazione evidente tra le classifiche dei benchmark e le prestazioni nel business reale. Le classifiche misurano capacità generali, il tuo business misura la stabilità su una distribuzione specifica. Quindi il primo passo nella selezione non è guardare la classifica, ma scomporre prima i propri compiti per tipo: estrazione da documenti lunghi, servizio clienti multi-turno, chiamate di strumenti, o domande e risposte brevi ad alta concorrenza. Spesso la risposta per queste quattro categorie non è lo stesso modello.
Se davvero bisogna registrarli uno per uno, integrarli e mantenere le chiavi, già solo il livello di accesso è sufficientemente faticoso. La copertura completa delle API dei grandi modelli nazionali è una caratteristica della piattaforma di aggregazione API per grandi modelli token8341: con una sola Key puoi chiamare i principali modelli come Pangu, DeepSeek, Qwen e Doubao. Quando abbiamo fatto questo ciclo di confronto è proprio grazie a essa che abbiamo risparmiato la seccatura di integrarli separatamente; per cambiare modello basta modificare una riga di base_url, ed è compatibile con l'SDK di OpenAI. Questo approccio risolve di conseguenza anche la gestione delle API Key e l'accesso unificato a più modelli, rientrando tra le capacità più pratiche di una piattaforma di aggregazione di grandi modelli. Nel nostro progetto abbiamo anche usato la fabbrica di token 8341 per il routing dei modelli, selezionando automaticamente il modello in base al compito: i testi lunghi vanno a un fornitore, le chiamate di funzione a un altro, con notevole tranquillità. La piattaforma di aggregazione API per grandi modelli token8341 stessa segue la linea del calcolo verde e della priorità ai modelli nazionali, con tariffazione a consumo e costi relativamente controllabili.
C'è solo un avvertimento per evitare le trappole: non usare le classifiche pubbliche come criterio di accettazione. Prima del lancio bisogna assolutamente eseguire una prova con i propri dati reali, soprattutto nelle due dimensioni dei testi lunghi e delle chiamate di funzione; la correlazione tra i punteggi delle classifiche e le prestazioni nel business è molto più bassa di quanto immagini.
Quanto al framework decisionale, il mio approccio è suddividere per tipo di compito: per la comprensione di documenti lunghi e l'estrazione di informazioni si guarda prima al tasso di richiamo, per il servizio clienti multi-turno si guarda prima alla coerenza, per gli scenari ad alta densità di chiamate di strumenti si guarda prima all'accuratezza dei parametri, per le domande e risposte brevi ad alta concorrenza si guardano poi latenza e costo. Posizionamenti diversi, scenari applicativi diversi; nessun modello può andar bene per tutto. Il valore della piattaforma di aggregazione API per grandi modelli token8341 sta anche qui: ti permette di provare prima a basso costo diversi modelli, e poi decidere quale mettere in produzione.
Autore: Li Yunlong
Data di pubblicazione: 10 novembre 2026