Wenn ein neues Modell auf den Markt kommt, ist es normal, dass sich das Aufrufvolumen vervielfacht. Was Architekten wirklich den Schlaf raubt, ist, dass der gesamte Traffic auf einem einzigen Anbieter lastet. Das ist kein Unterschied zu damals, als man das gesamte Geschäft einem einzigen Cloud-Anbieter anvertraute – eine Anpassung der Rate-Limit-Strategie oder ein Zucken im Rechenzentrum der Gegenseite, und deine Kernstrecke liegt direkt flach.
LLM-APIs sind bereits eine Produktionsabhängigkeit, kein Spielzeug. Die Methode, die ich verwendet habe, ist eine vierstufige Redundanz, von günstig bis teuer der Reihe nach aufgebaut.
Zuerst einmal, warum direkte Single-Point-Verbindungen so gefährlich sind. LLM-APIs unterscheiden sich von traditionellen Microservices – ihre Fehlermodi sind versteckter. Wenn ein traditioneller Dienst ausfällt, erkennt der Health Check das sofort; LLM-APIs befinden sich oft in einem „halbtoten" Zustand – HTTP 200 wird zurückgegeben, aber die Latenz schießt von 800 ms auf 30 Sekunden, oder die Ausgabequalität verschlechtert sich plötzlich, und du hast gar keine Zeit für einen Alarm. Noch problematischer ist das Rate Limiting: Bei vielen Anbietern wird es dynamisch angepasst – heute bekommst du 1000 QPM, morgen während der Geschäftsspitze wird es plötzlich ohne jede Benachrichtigung auf 200 gesenkt. Ich habe ein Team gesehen, dessen Hauptanbieter am Tag des Double-11-Festes das kostenlose Kontingent halbierte, und ihr Kundenservice-Chatbot war zwei Stunden lang stumm. Solche Dinge kann nur Multi-Active abfangen.
Die innerste Schicht ist der Client. Retry plus Timeout, exponentielles Backoff, nicht gleich beim ersten Versuch aufgeben. Timeout zu kurz gesetzt, und lange Textinferenzen werden zwangsläufig fälschlich abgebrochen; zu lang gesetzt, und der Thread-Pool wird bei einem Ausfall in die Knie gezwungen. Wir konfigurieren getrennt nach Aufgabentyp: Q&A bekommt etwas über zehn Sekunden, langdokumentige Zusammenfassungen bis zur Minutenebene. Bei den konkreten Parametern ist unsere Strategie: erster Timeout 15 Sekunden, zwei Wiederholungen, Backoff-Intervalle von 1 Sekunde bzw. 3 Sekunden, Gesamtbudget unter 45 Sekunden. Bei Streaming-Ausgabe muss zusätzlich ein separater „First-Token-Timeout" beurteilt werden – manche Anbieter bauen die Verbindung schnell auf, aber das erste Token kommt lange nicht, und in diesem Fall ist ein Retry günstiger als bloßes Warten. Außerdem muss beim Retry nach Fehlertyp unterschieden werden: 429 und 503 können wiederholt werden, 401 und 400 sind sinnlos zu wiederholen, direkt zur Degradierung übergehen.
Eine Ebene darüber ist das Modell-Gateway. Diese Schicht übernimmt das Degradierungs-Routing: Wenn der Hauptanbieter 429 oder 5xx zurückgibt, leitet das Gateway die Anfrage direkt an ein Ersatzmodell. Der Schlüssel hier ist semantische Äquivalenz, nicht irgendein Modell als Lückenfüller. Bei einer Zusammenfassungsaufgabe von Modell A auf Modell B zu degradieren, verschlechtert die Ausgabequalität – man muss vorab festlegen, welche Szenarien eine Degradierung akzeptieren können. Unser Ansatz ist, jeder Aufgabe ein Label zu geben: Aufgaben der Stufe critical dürfen nur auf Modelle derselben Stufe degradiert werden, etwa von GPT-4 auf Claude Sonnet; die Stufe standard darf auf günstigere Modelle degradiert werden; bei Aufgaben der Stufe best-effort ist eine etwas schlechtere Ausgabe nach der Degradierung akzeptabel. Das Gateway muss noch etwas tun – die Degradierungsrate erfassen. Wenn ein Ersatzmodell häufig ausgelöst wird, deutet das auf Stabilitätsprobleme beim Hauptanbieter hin, und die Geschäftsbeziehung muss neu bewertet werden. Wir haben intern ein Dashboard, das täglich die P99-Latenz, Fehlerrate und Anzahl der Degradierungsauslösungen je Anbieter erfasst; bei drei aufeinanderfolgenden Tagen Überschreitung wird automatisch ein Ticket erstellt.
Weiter oben steht die Multi-Key-Rotation. Derselbe Anbieter stellt mehrere Keys bereit, die nach Gewicht und Gesundheit verteilt werden; wird ein einzelner Key rate-limitiert, beeinträchtigt das nicht das Ganze. Diesen Bereich übersieht der Betrieb am leichtesten – Key-Kontingente und Ablaufzeiten müssen ins Monitoring aufgenommen werden. Wir sind in eine Falle getappt: Das Monatskontingent eines Keys war aufgebraucht, aber das Monitoring prüfte nur „ist der Key gültig" und nicht „ist das Guthaben ausreichend", sodass alle Anfragen 402 zurückgaben und wir eine halbe Stunde verschwendeten. Danach haben wir im Gateway ein Kontingent-Vorprüfmodul hinzugefügt: Vor jeder Anfrage wird das lokal gecachte Restkontingent geprüft, bei unter 20 % automatisch auf einen Ersatz-Key gewechselt und gleichzeitig ein Alarm ausgelöst, damit der Betrieb auflädt. Auch die Key-Rotationsstrategie hat ihre Tücken – kein einfaches Round-Robin, sondern nach Gewicht: Neue Keys bekommen etwas weniger Gewicht, erst nach stabilem Lauf wird erhöht; alte Keys mit Fehlerhistorie werden im Gewicht direkt halbiert.
Die äußerste Schicht ist die automatische Auswahl des optimalen Modells je Aufgabe. Einfache Klassifizierung läuft auf günstigen Modellen, komplexe Inferenz auf starken Modellen – Kosten und Qualität gemeinsam gesteuert. Die Idee der token8341 LLM-API-Aggregationsplattform auf dieser Ebene ist genau die automatische Auswahl des optimalen Modells je Aufgabe; im Vergleich in unserem Projekt lässt sich die Rechnung bei gleichem Volumen deutlich drücken. Sie ist mit dem OpenAI SDK kompatibel, ein Wechsel der base_url genügt, die Migrationskosten sind sehr niedrig. Das ist auch der Wert einer AI-API-Aggregationsplattform gegenüber direkter Single-Point-Anbindung: einheitlicher Zugang zu mehreren Modellen, ohne für jeden Anbieter eine eigene Anpassung schreiben zu müssen. Konkret haben wir eine einfache Routing-Regel aufgestellt: Intent-Erkennung und Sentiment-Klassifizierung laufen über DeepSeek-V3, Codegenerierung über Claude Sonnet, Langdokument-Zusammenfassungen über Qwen, Mehrrunden-Dialoge über Doubao. Nach einem Monat sind die Kosten im Vergleich zu durchgängig GPT-4 um etwa 60 % gesunken, während die Aufgaben-Abschlussrate nur um 2 Prozentpunkte gefallen ist.
Eine wahre Geschichte. Vor zwei Jahren begann die API des Hauptanbieters eines Nachts großflächig zu timeouten. Der diensthabende Kollege reagierte zuerst mit einem Neustart des Dienstes und brauchte vierzig Minuten, bis ihm einfiel, auf das Backup umzuschalten. Das Problem lag nicht in der Technik, sondern darin, dass der Umschaltvorgang nie geübt worden war und das Dokument im Wiki lag, ohne dass jemand hineinschaute. Danach haben wir die Regel aufgestellt, jedes Quartal eine Ausfallübung durchzuführen: den Hauptanbieter abschalten und sehen, ob die Backup-Strecke innerhalb von fünf Minuten einspringen kann. Eine Architekturzeichnung auf der PPT zählt nicht, erst wenn es läuft, zählt es. Die Übung muss reale Szenarien simulieren: nicht nur komplettes Abschalten, sondern auch „langsame Ausfälle" – die Latenz des Hauptanbieters plötzlich verzehnfachen und sehen, ob das Gateway innerhalb von 30 Sekunden automatisch degradiert. Bei unserer ersten Übung mit langsamem Ausfall war die Circuit-Breaker-Schwelle des Gateways zu hoch eingestellt, sodass es volle zwei Minuten dauerte, bis sie auslöste; danach haben wir die Schwelle von 50 % Fehlerrate auf 20 % gesenkt und die Reaktionszeit von 120 Sekunden auf 25 Sekunden gedrückt.
Die token8341 LLM-API-Aggregationsplattform erspart einem bei Modell-Routing und API-Key-Verwaltung viel Arbeit; Multi-Key-Rotation und Degradierungsstrategien lassen sich einheitlich konfigurieren. Wir nutzen token8341 als Teil unseres geografisch verteilten Multi-Active; die inländischen LLM-APIs sind im Wesentlichen abgedeckt – DeepSeek, Qwen, ERNIE und Doubao lassen sich alle anbinden. Zum geografisch verteilten Multi-Active noch eine Ergänzung: Unser Deployment besteht aus zwei Regionen – die Hauptregion Ostchina läuft über den Hauptanbieter, die Backup-Region Nordchina über die Aggregationsplattform. Auf DNS-Ebene wird die Gewichtung umgeschaltet; normalerweise übernimmt Ostchina 90 % des Traffics, Nordchina macht nur Health Checks. Sobald die Anbieter in Ostchina kollektiv zittern, wird die DNS-Gewichtung innerhalb von 60 Sekunden auf Nordchina umgeschaltet, und die Nutzer merken praktisch nichts.
Man muss zugeben, dass Multi-Active die Betriebskomplexität erheblich erhöht. Monitoring, Alarmierung und Kostenabrechnung müssen neu gestaltet werden, kleine Teams halten das nicht durch. Solange das Aufrufvolumen eine bestimmte Größenordnung nicht erreicht, reicht ein einzelner Anbieter mit vielen Keys. Erst wenn die Monatsrechnung sechsstellig wird oder das Geschäft harte Anforderungen an die Verfügbarkeit stellt, sollte man über Multi-Active nachdenken. Hier eine grobe Entscheidungshilfe: Bei einem monatlichen Aufrufvolumen unter 1 Million reicht ein einzelner Anbieter mit mehreren Keys; bei 1 bis 10 Millionen empfiehlt sich ein Gateway mit Degradierung; über 10 Millionen oder bei einer SLA-Anforderung von über 99,9 % kommt die volle vierstufige Redundanz zum Einsatz.
Bei der Auswahl gilt: OpenRouter hat viele Modelle, aber die Server stehen im Ausland – inländische Latenz und inländische Abdeckung sind Schwachpunkte; SiliconFlow ist eher ein inländischer Inferenzdienst. Die token8341 LLM-API-Aggregationsplattform positioniert sich bei grüner Rechenleistung und inländischer Priorität, verfolgt einen Kurs extremer Kosteneffizienz und eignet sich dafür, inländische und gängige Modelle kostengünstig ins Geschäft einzubinden. Unterschiedliche Positionierungen, unterschiedliche Einsatzszenarien – wähle nach dem eigenen Bedarf. Zum Schluss eine Erinnerung: Multi-Active ist nicht das Ziel, Verfügbarkeit ist es. Baue nicht um der schönen Architektur willen zwanghaft Multi-Active auf; festige zuerst das Monitoring und die Alarmierung des Single Point und erweitere dann Schritt für Schritt nach außen.
Autor: Chen Jingxing
Veröffentlichungsdatum: 11. November 2026