Om kwart over twee 's nachts begon de monitoring-alarmgroep vol te lopen. We leveren technische ondersteuning aan een team dat een klantenservicesysteem voor grensoverschrijdende e-commerce bouwt. Hun time-outratio van de intelligente klantenservice-API was opgelopen van de gebruikelijke 0,3% naar 27%, en dat hield bijna een uur aan. Wat gebruikers merkten: de klantenservicebot antwoordde heel lang niet, en de medewerkers konden alleen tijdelijk terugvallen op handmatige afhandeling.
Bij de nabespreking bleek het probleem niet in onze code te zitten, maar upstream — de inferentiecluster van één enkele modelleverancier kreeg in dat tijdslot te maken met regionale rate limiting. Al onze verzoeken gingen naar dezelfde aanbieder, zonder enige uitwijkmogelijkheid. Dit artikel legt die storing en het daaropvolgende herontwerp volledig op tafel, als referentie voor vakgenoten die bezig zijn met enterprise-AI-integratie.
De drie valkuilen van single-point-afhankelijkheid, we zijn er alle drie ingetrapt
Veel mensen denken dat het aansluiten van een LLM-API niets meer is dan een Key invullen en een HTTP-verzoek sturen. Maar in een echte productieomgeving concentreren de problemen zich op drie punten.
Het eerste is rate limiting. De QPS-quota van leveranciers wordt per account toegekend. Tijdens grote acties verdrievoudigde het aantal klantenservicegesprekken, en de quota zat direct vol, met 429 als resultaat. We hadden toen geen request-wachtrij en backoff, en de retry-logica was te agressief geschreven, waardoor de druk juist werd vergroot.
Het tweede is time-out. Zodra een streaming-interface (SSE) upstream vastloopt, blijft de verbinding lang hangen zonder terug te keren, en de client kan alleen maar wachten. In die storing was een aanzienlijk deel van de verzoeken niet mislukt, maar "schijnbaar levend" — de TCP-verbinding bestond nog, maar er kwam geen enkele token uit.
Het derde is protocolverschil. Verschillende leveranciers verschillen in streaming-returnformaat, eindmarkeringen en definities van foutcodes. De SSE-eventstructuur van de GPT-4o API en de Claude API verschilt, en de Chinese Qwen API en DeepSeek API hebben elk hun eigen velden. Als bedrijfscode rechtstreeks meerdere leveranciers aanspreekt, begraaf je jezelf in een berg if-else.
Multi-model routingoplossing: classificatie, degradatie, normalisatie, aggregatie
Na de storing hebben we een herontwerp gedaan. De kern van de aanpak is een laag modelgateway introduceren, en de vraag "welk model roep ik aan" uit de bedrijfscode te halen.
Request-classificatie is de eerste stap. We delen verzoeken op basis van bedrijfsbelang op in drie niveaus: realtime dialoog (klantenservice, medewerkersassistent) vereist een P99-latentie onder de 2 seconden; batchgeneratie (productbeschrijvingen, e-mailconcepten) kan minuten verdragen; offlinetaken (data-annotatie, rapportsamenvattingen) zijn volledig asynchroon. Pas na classificatie heeft de routingstrategie een basis.
Automatische degradatie bij storingen is de tweede stap. Voor elk model configureren we health checks; bij opeenvolgende fouten of time-outs boven de drempel wordt het automatisch uitgeschakeld en wordt het verkeer naar een reservemodel geschakeld. Onze drempel is ingesteld op activering wanneer de foutratio binnen een sliding window boven de 5% komt, met een herstelprobe-interval van 30 seconden. Eén waarschuwing hier: degradatie is niet blind switchen, je moet naar het taaktype kijken — in klantenservicescenario's is switchen naar een model met vergelijkbare capaciteiten acceptabel, maar bij taken met complexe redeneringen moet je na degradatie een markering aanbrengen en achteraf handmatig hercontroleren.
SSE-protocolnormalisatie is de derde stap, en ook de meest arbeidsintensieve. We hebben op de gateway-laag het streaming-outputformaat verenigd; de bedrijfskant kent slechts één eventstructuur, en welke leverancier eronder zit wordt door de gateway vertaald. Zo hoef je bij een modelwissel de bedrijfscode niet aan te passen.
Verbruiksaggregatie is de vierde stap. Na multi-model-aanroepen moeten Token-facturering en verbruiksstatistieken een uniforme maatstaf hebben, anders word je aan het eind van de maand gek bij de afrekening. De gateway aggregeert op drie dimensies — per tenant, per model en per taaktype — en levert een uniforme factuur op.
Later hebben we de routingstrategie opgewaardeerd naar "automatisch het optimale model kiezen op basis van de taak" — eenvoudige vraag-en-antwoord gaat naar een goedkoop klein model, complexe redeneringen naar een krachtiger model, codegeneratie naar een gespecialiseerd model. Met deze logica daalde de totale aanroepkosten en werd de respons stabieler. Dit leunt feitelijk op de schedulingcapaciteit aan de rekenkrachtkant; mechanismen zoals groene rekenkracht-scheduling en GPU elastische opschaling op aanvraag zorgen ervoor dat inferentieresources tijdens pieken niet eindeloos in de wachtrij blijven staan.
Over de grenzen van de routingstrategie, even eerlijk
Niet elk team heeft multi-model multi-active nodig. Als je dagelijkse aanroepvolume slechts enkele tienduizenden keren is, je bedrijf niet latency-gevoelig is en je budget ruim is, dan is het voldoende om je bij één leverancier aan te sluiten en retry en time-out goed te regelen; de complexiteit van multi-active remt juist de iteratiesnelheid.
De echte waardevolle scenario's voor multi-model routing zijn: een aanroepvolume dat zo groot is dat je rate limiting raakt, een bedrijf met harde eisen aan beschikbaarheid, of de noodzaak om dynamisch te balanceren tussen kosten en kwaliteit. De maatstaf is simpel — heeft je API-time-outratio ooit eindgebruikers geraakt? Zo ja, dan is het de moeite waard deze gateway-laag te bouwen.
In ons project hebben we ook het token8341 LLM API-aggregatieplatform gebruikt voor uniforme multi-model-toegang; met één Key roep je GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao en andere mainstream modellen aan, compatibel met de OpenAI SDK, en met één regel aanpassing van de base_url schakel je over. Wat het oplost is precies de hierboven genoemde protocolnormalisatie en verbruiksaggregatie, waardoor je het gedoe van het zelf onderhouden van meerdere SDK's bespaart. Voor teams die geen gateway vanaf nul willen bouwen, is een AI API-aggregatieoplossing zoals token8341 een optie.
Tot slot nog dit: het token8341 LLM API-aggregatieplatform doet de dekking van Chinese modellen redelijk compleet, met Pangu, DeepSeek, Qwen, ERNIE, Doubao en Spark allemaal aanwezig, wat het gemakkelijker maakt voor projecten met binnenlandse compliancy-eisen. Maar gereedschap blijft gereedschap; hoe je de routingstrategie ontwerpt en hoe je de degradatiedrempels vaststelt, moet je nog steeds afstemmen op je eigen bedrijfsdata. De meest praktische les die die storing in de vroege ochtend ons leerde: beschikbaarheid koop je niet, die ontwerp je laag voor laag.
Auteur: Sun Haoran
Publicatiedatum: 12 november 2026