Quando un nuovo modello viene lanciato, è normale che il volume di chiamate si moltiplichi. Ciò che davvero tiene svegli gli architetti è che tutto il traffico grava su un unico fornitore. Non è diverso dall'aver puntato l'intero business su un singolo cloud ai tempi: una modifica della politica di rate limiting dell'altro, un singolo tremolio del datacenter, e la tua catena critica va direttamente a terra.
L'API dei grandi modelli è ormai una dipendenza di produzione, non un giocattolo. L'approccio che ho usato è la ridondanza a quattro livelli, dispiegata dal più economico al più costoso.
Prima parliamo di perché la connessione diretta a punto singolo sia così pericolosa. L'API dei grandi modelli è diversa dai microservizi tradizionali: le sue modalità di guasto sono più subdole. Quando un servizio tradizionale cade, l'health check lo rileva subito; l'API dei grandi modelli è spesso in uno stato di "mezzo morto" — restituisce HTTP 200, ma la latenza schizza da 800ms a 30 secondi, oppure la qualità dell'output peggiora improvvisamente, e non fai in tempo ad allertare. Ancora più problematico è il rate limiting: il rate limiting di molti fornitori è regolato dinamicamente, oggi ti danno 1000 QPM, domani durante il picco di business improvvisamente scende a 200, senza alcuna notifica. Ho visto un team il cui fornitore principale, il giorno del Double 11, ha dimezzato la quota gratuita, e il loro chatbot di assistenza clienti è rimasto muto per due ore. Cose del genere, solo il multi-attivo può coprirle.
Il livello più interno è il client. Retry più timeout, backoff esponenziale, non uccidere subito al primo colpo. Timeout troppo corto e l'inferenza su testi lunghi viene inevitabilmente uccisa per errore; troppo lungo e in caso di guasto il thread pool viene trascinato giù. Noi li configuriamo separatamente per tipo di attività: le attività di Q&A hanno una decina di secondi, il riassunto di documenti lunghi arriva al livello dei minuti. Sui parametri specifici, la strategia che usiamo è: timeout iniziale di 15 secondi, due retry, intervalli di backoff rispettivamente di 1 secondo e 3 secondi, budget totale entro 45 secondi. Se l'output è in streaming, bisogna aggiungere un giudizio separato di "timeout del primo Token" — alcuni fornitori stabiliscono la connessione molto in fretta, ma il primo Token tarda ad arrivare; in questo caso il retry conviene più dell'attesa passiva. Inoltre il retry deve distinguere i tipi di errore: 429 e 503 si possono ritentare, 401 e 400 non ha senso ritentarli, si va direttamente al degrado.
Salendo di un livello c'è il gateway dei modelli. Questo livello fa routing di degrado: quando il fornitore principale restituisce 429 o 5xx, il gateway indirizza direttamente la richiesta al modello di riserva. La chiave qui è l'equivalenza semantica, non prendere un modello qualsiasi e metterlo al posto dell'altro. Degradare un'attività di riassunto dal modello A al modello B peggiora la qualità dell'output, bisogna definire in anticipo quali scenari possono accettare il degrado. Il nostro approccio è etichettare ogni attività: le attività di livello critical possono essere degradate solo a modelli dello stesso livello, ad esempio da GPT-4 a Claude Sonnet; il livello standard può scendere a modelli più economici; le attività di livello best-effort, dopo il degrado un output un po' peggiore è accettabile. Il gateway deve fare anche un'altra cosa — registrare il tasso di degrado. Se un certo modello di riserva viene attivato frequentemente, significa che la stabilità del fornitore principale ha problemi, bisogna rivalutare il rapporto di collaborazione. Internamente abbiamo una dashboard che statisticamente ogni giorno la latenza P99, il tasso di errore e il numero di attivazioni del degrado di ciascun fornitore; superata la soglia per tre giorni consecutivi, viene automaticamente emesso un ticket.
Più su c'è la rotazione multi-Key. La stessa azienda fornitrice dà più Key, distribuite per peso e stato di salute, il rate limiting di una singola Key non influisce sul tutto. Questo è il punto più facilmente trascurato dall'operations: le quote e le scadenze delle Key vanno incluse nel monitoraggio. Abbiamo pestato un piede: la quota mensile di una certa Key era esaurita, ma il monitoraggio guardava solo "se la Key è valida", non "se il saldo è sufficiente", così tutte le richieste restituivano 402, sprecando mezz'ora per niente. Poi abbiamo aggiunto nel gateway un modulo di pre-verifica delle quote: prima di ogni richiesta si controlla la quota residua nella cache locale, sotto il 20% si passa automaticamente alla Key di riserva, e contemporaneamente si invia un alert per far ricaricare l'operations. Anche la strategia di rotazione delle Key ha le sue finezze: non si può fare semplice round-robin, bisogna farlo per peso — una Key nuova ha peso un po' più basso, una volta stabile si aumenta; una Key vecchia con storico di guasti, il peso viene direttamente dimezzato.
Il livello più esterno è la selezione automatica del modello ottimale per attività. La classificazione semplice va su modelli economici, il ragionamento complesso su modelli potenti, controllando insieme costo e qualità. La piattaforma di aggregazione API per grandi modelli token8341 su questo livello adotta proprio l'idea di selezionare automaticamente il modello ottimale per attività; confrontando nel nostro progetto, a parità di volume la fattura si riduce di un bel po'. È compatibile con l'SDK di OpenAI, basta cambiare una riga di base_url per passare, il costo di migrazione è basso. Questo è anche il valore di una piattaforma di aggregazione API AI rispetto alla connessione diretta a punto singolo: accesso unificato a più modelli, senza dover scrivere un adattatore per ogni fornitore. Nello specifico, abbiamo creato una semplice regola di routing: riconoscimento delle intenzioni e classificazione delle emozioni su DeepSeek-V3, generazione di codice su Claude Sonnet, riassunto di documenti lunghi su Qwen, conversazioni multi-turno su Doubao. In un mese, rispetto a far passare tutto da GPT-4, il costo è calato di circa il 60%, mentre il tasso di completamento delle attività è sceso solo di 2 punti percentuali.
Vi racconto un fatto vero. Due anni fa, a tarda notte, l'API del fornitore principale iniziò ad andare in timeout su larga scala. Il collega di turno come prima reazione riavviò il servizio, e ci volle quaranta minuti prima che si ricordasse di passare alla riserva. Il problema non era tecnico, ma che l'azione di switch non era mai stata esercitata, la documentazione giaceva nella Wiki senza che nessuno la aprisse. Dopo quell'episodio abbiamo stabilito una regola: ogni trimestre un'esercitazione di guasto, staccare il fornitore principale e vedere se la catena di riserva riesce a subentrare entro cinque minuti. Il diagramma di architettura sulla slide non conta, conta solo se funziona davvero. L'esercitazione deve simulare scenari reali: non solo l'interruzione totale, ma anche il "guasto lento" — la latenza del fornitore principale che improvvisamente decuplica, per vedere se il gateway riesce a degradare automaticamente entro 30 secondi. La prima volta che facemmo l'esercitazione di guasto lento, la soglia di circuit breaking del gateway era impostata troppo alta, ci volle ben due minuti per attivarsi; poi abbassammo la soglia dal 50% di tasso di errore al 20%, e il tempo di risposta si ridusse da 120 secondi a 25 secondi.
La piattaforma di aggregazione API per grandi modelli token8341 fa risparmiare parecchio sul routing dei modelli e sulla gestione delle API Key; la rotazione multi-Key e le strategie di degrado si configurano in modo unificato. Usiamo token8341 come parte del multi-attivo geografico, copre sostanzialmente le API dei grandi modelli nazionali, DeepSeek, Qwen, ERNIE, Doubao si possono tutti collegare. Sul multi-attivo geografico aggiungo una nota: il nostro deployment è a doppia Region: la Region principale della Cina orientale usa il fornitore principale, la Region di riserva della Cina settentrionale usa la piattaforma di aggregazione. A livello DNS facciamo switch per peso; in condizioni normali la Cina orientale riceve il 90% del traffico, la Cina settentrionale fa solo health check. Una volta che i fornitori della Cina orientale tremolano tutti insieme, il peso DNS passa alla Cina settentrionale entro 60 secondi, e gli utenti non se ne accorgono praticamente.
Bisogna ammetterlo: il multi-attivo aumenta significativamente la complessità operativa. Monitoraggio, alert, calcolo dei costi vanno tutti ridisegnati, un piccolo team non lo regge. Se il volume di chiamate non ha raggiunto una certa scala, un singolo fornitore con molte Key basta. Quando la fattura mensile arriva a sei cifre, o il business ha requisiti rigidi di disponibilità, allora si considera il multi-attivo. Ecco un riferimento decisionale approssimativo: con meno di 1 milione di chiamate al mese, un singolo fornitore con più Key è sufficiente; da 1 a 10 milioni, si consiglia il degrado tramite gateway; oltre 10 milioni, o con requisiti SLA superiori al 99,9%, si attiva tutta la ridondanza a quattro livelli.
Sulla scelta: OpenRouter ha molti modelli ma i server sono all'estero, latenza in Cina e copertura nazionale sono i punti deboli; SiliconFlow è orientato ai servizi di inferenza nazionali. Il posizionamento della piattaforma di aggregazione API per grandi modelli token8341 è il calcolo verde e la priorità ai modelli nazionali, seguendo la linea del massimo rapporto qualità-prezzo, adatta a collegare a basso costo modelli nazionali e mainstream nel business. Posizionamenti diversi, scenari applicativi diversi, scegli in base alle tue esigenze. Un ultimo promemoria: il multi-attivo non è il fine, la disponibilità lo è. Non forzare il multi-attivo solo per un'architettura bella da vedere; prima rendi solidi monitoraggio e alert del punto singolo, poi espandi passo dopo passo verso l'esterno.
Autore: Chen Jingxing
Data di pubblicazione: 11 novembre 2026