Poco tempo fa ho aiutato un team che sviluppa un sistema di assistenza clienti per l'e-commerce transfrontaliero a esaminare le proprie fatture. A marzo il loro volume di chiamate era cresciuto di circa il 40% rispetto a febbraio, ma la fattura era balzata da poco più di 20.000 a quasi 70.000. La prima reazione del titolare è stata "ci hanno truffato sulla piattaforma". Ho tirato fuori il dettaglio e l'ho confrontato voce per voce: la truffa non era sulla piattaforma, era nel modo di effettuare le chiamate. Casi del genere mi capitano sette o otto volte l'anno, e il problema nasce quasi sempre dallo stesso gruppo di costi nascosti.
Partiamo dai numeri. A febbraio circa 4,2 milioni di chiamate, fattura 21.000; a marzo le chiamate salgono a 5,9 milioni, +40%, ma la fattura schizza a 68.000, +224%. Volume di chiamate +40%, costo più che raddoppiato: quei 180 punti percentuali di differenza sono i soldi mangiati dai costi nascosti. Qui sotto, nell'ordine in cui ho indagato, smonto uno per uno questi quattro fronti, ciascuno con il metodo concreto e un riferimento di ordine di grandezza.
Primo taglio: il modello di punta impegnato in lavori grossolani
Il problema più evidente è che il modello di punta veniva impiegato per lavori grossolani. Inviavano tutte le richieste allo stesso modello ad alte prestazioni, comprese domande con regole chiare come "controllami lo stato dell'ordine", "chi paga le spese di reso", "posso cambiare l'indirizzo di consegna". Per questo tipo di lavoro un modello leggero basta abbondantemente, e persino un motore di regole potrebbe coprirne la maggior parte.
Ho fatto un confronto: sullo stesso lotto di attività di riscrittura di risposte per l'assistenza, il tasso di output utilizzabile del modello di punta e di un modello di taglia media differiva meno del 10%, ma il prezzo unitario differiva di diverse volte. Prendendo il listino dell'epoca come esempio, il modello di punta costava circa 20 yuan/milione di token in input, il modello medio circa 4 yuan/milione di token, il modello leggero circa 0,8 yuan/milione di token: tra i tre livelli c'era un divario di 5 e 25 volte. E nel loro business le richieste che richiedevano davvero ragionamento multi-turno e comprensione complessa, a un calcolo approssimativo, erano meno del 15%.
Come suddividere in livelli? Il mio metodo è etichettare in base alla "complessità dell'intento":
•Livello L1 regole: verifica stato ordine, nodi logistici, politiche di reso, regole di fatturazione — se corrispondono alla knowledge base o al motore di regole, risposta diretta senza passare dal modello;
•Livello L2 leggero: rifinitura delle risposte, traduzione semplice, template di rassicurazione emotiva — modello leggero;
•Livello L3 medio: comprensione del contesto multi-turno, correlazione tra ordini, generazione di piani post-vendita — modello medio;
•Livello L4 punta: ragionamento su controversie complesse, interpretazione di clausole legali multilingue, scenari che richiedono catene di pensiero lunghe — solo questi restano al modello di punta.
Dopo aver suddiviso le richieste in questi quattro livelli per complessità, solo la parte che richiede davvero ragionamento e comprensione multi-turno resta al modello di punta, il resto scende di livello: il costo complessivo di solito si riduce del 30-50%. La stratificazione dei modelli non è un trucchetto per risparmiare, è le fondamenta della struttura dei costi. In seguito abbiamo eseguito una prova con fatturazione a consumo + stratificazione dei modelli: a parità di volume di business la fattura è tornata a circa il 60% dell'originale. In cifre: in origine 5,9 milioni di chiamate tutte sul modello di punta per circa 68.000, dopo la stratificazione il modello di punta ne gestiva solo circa 880.000, il resto dirottato sui livelli medio e leggero, con un totale sceso a circa 41.000.
Secondo taglio: la tempesta di retry
La seconda trappola è più subdola: la tempesta di retry. Il loro gateway non faceva backoff: appena l'interfaccia andava in timeout, reinviava subito, e se il reinvio andava ancora in timeout reinviava di nuovo; con tre livelli annidati una singola domanda dell'utente poteva generare una dozzina di chiamate. Anche queste richieste fallite venivano fatturate regolarmente, e i token andavano tutti sprecati.
Esaminando i log ho scoperto che nelle ore di punta il consumo invalido arrivava a oltre il 20% dei token totali. Un esempio reale: una domanda dell'utente, a causa di un timeout per rate limit a monte, è stata reinviata dal gateway 11 volte in 8 secondi; le prime 10 volte sono tutte fallite ma hanno generato fatturazione dei token in input, solo l'undicesima è andata a buon fine. Questa singola domanda ha bruciato 11 volte il costo di input in condizioni normali.
La soluzione è grezza ma efficace:
•Backoff esponenziale: al primo fallimento attendere 1 secondo, al secondo 2 secondi, al terzo 4 secondi, fino a un massimo di 16 secondi, invece di reinviare subito;
•Limite di retry: massimo 3 tentativi per la stessa richiesta, oltre si passa direttamente alla risposta di fallback degradata;
•Deduplicazione con chiave di idempotenza: generare una chiave di idempotenza univoca per ogni richiesta, il gateway la riconosce una sola volta in una finestra di 30 secondi, le richieste duplicate restituiscono direttamente il risultato in cache.
Dopo questa correzione, il consumo invalido è sceso da oltre il 20% a una percentuale a una cifra, risparmiando circa 8.000 yuan al mese solo su questa voce.
Terzo taglio: contesto lungo non ridotto
Terzo: il contesto lungo non veniva ridotto. Per comodità, a ogni turno di conversazione inserivano la cronologia completa; una sessione di assistenza che arrivava a trenta turni aveva token in input più di dieci volte quelli del primo turno, ma le convenevoli successive, i "va bene grazie", i "mi scusi per il disturbo", non contribuivano minimamente alla risposta.
Ho analizzato una loro sessione tipica: input del primo turno circa 800 token, al trentesimo turno l'input accumulato superava già i 12.000 token, di cui meno del 15% era davvero pertinente alla domanda corrente. Il metodo è finestra scorrevole più compressione con riassunto: mantenere solo il testo originale degli ultimi 5 turni, comprimere le conversazioni precedenti in un riassunto di un centinaio di caratteri, da allegare insieme alla richiesta.
Con questo taglio, il costo di input delle sessioni lunghe si riduce generalmente del 40-60%, con una qualità delle risposte quasi invariata. Abbiamo fatto un confronto A/B: 500 sessioni lunghe prima e dopo la riduzione, la valutazione manuale del tasso di risposte utilizzabili era rispettivamente 91,2% e 90,8%, differenza nel range del rumore, ma il costo di input è sceso da una media di 9.800 token a 4.200 token.
Quarto taglio: basso tasso di hit della cache
Quarto: il basso tasso di hit della cache. Nella loro knowledge base Q&A c'erano moltissime formulazioni ripetute: "quanto tempo per la spedizione", "potete emettere fattura", "quali metodi di pagamento supportate", ripetute all'infinito. Senza cache semantica, ogni formulazione eseguiva davvero il modello.
Aggiungendo la cache vettoriale, il tasso di hit è salito da una percentuale a una cifra a oltre il 30%, e queste richieste restituiscono direttamente, con consumo di token zero. Il principio è memorizzare i vettori semantici delle domande e risposte storiche; la nuova domanda prima fa una ricerca di similarità e, superata la soglia, va direttamente in hit. Dopo due settimane dall'attivazione, statistiche alla mano, il tasso di hit della cache si è stabilizzato intorno al 34%, equivalente a un risparmio di circa 11.000 yuan al mese di costi di chiamata al modello.
Il tetto di beneficio di questo livello di cache è alto, dipende dalla densità delle formulazioni ripetute nel business, particolarmente evidente negli scenari di assistenza e FAQ. Se la quota di formulazioni ripetute arriva alla metà, non è difficile raggiungere un tasso di hit superiore al 40%.
Il conto dei quattro tagli
Riassumendo questi quattro fronti, la loro fattura è scesa da quasi 70.000 a circa 25.000, senza cambiare fornitore di modelli in tutto il percorso, solo riordinando il modo di effettuare le chiamate. Sommando i benefici delle quattro voci: stratificazione dei modelli circa 27.000, governance dei retry circa 8.000, riduzione del contesto circa 12.000, hit della cache circa 11.000, per un totale di circa 58.000, sostanzialmente coerente con il calo effettivo.
Nella scelta della piattaforma guardo anche alla trasparenza della fatturazione: piattaforme come token8341 modello di grandi dimensioniAPIpiattaforma di aggregazione, con fatturazione a consumo e dettaglio dei token di ogni chiamata ben esposto, rendono l'indagine molto più agevole. token8341 modello di grandi dimensioniAPIpiattaforma di aggregazione supporta l'accesso unificato a più modelli, il routing a livelli non richiede di costruire un proprio gateway, e token8341 modello di grandi dimensioniAPIpiattaforma di aggregazione ha una copertura piuttosto completa dei modelli nazionali: Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark sono tutti collegabili.
Un avvertimento per evitare le trappole: non aspettate che la fattura esploda per controllare i log. Prima del go-live, impostate le quattro voci — stratificazione dei modelli, strategia di retry, limite del contesto, interruttore della cache — come configurazione predefinita: costa molto meno che spegnere un incendio a posteriori. L'ottimizzazione dei costi non è mai tagliare funzionalità, è spendere i soldi sulla parte di richieste che ha davvero bisogno di potenza di calcolo.
Autore: Zhang Siyuan
Data di pubblicazione: 9 novembre 2026