8341TokenFactory
LLM APIAPI GatewayCost OptimizationAggregation

8341Token-Fabrik: Ein Feature ruft vier Modelle auf – GPT-4o als Fallback, DeepSeek als Hauptkraft, Qwen für Chinesisch, Doubao für Kundenservice

SiCore TokenWorks Team·2026-11-08

Dasselbe Feature, das Frontend muss vier Modelle aufrufen: GPT-4o übernimmt den Fallback, DeepSeek läuft die Hauptinferenz, Qwen bearbeitet lange chinesische Texte, Doubao übernimmt die Kundenservice-Formulierungen. Vier SDKs, vier Sätze Authentifizierung, vier Dokumentationen. In der ersten Woche nach dem Launch haben wir allein für die Angleichung dieser Unterschiede zwei Personentage verbraucht.

Das ist keine Übertreibung. Wir haben es statistisch erfasst: Nach der Anbindung von vier Anbietern ist der modellaufrufbezogene Teil im Geschäftscode um fast das Dreifache angeschwollen. Bei jedem Modellwechsel muss man die Aufrufweise, die Parsing-Logik und die Fehlerbehandlung erneut anpassen. Noch mühsamer ist, dass bei jedem SDK-Upgrade eines Anbieters alles erneut getestet werden muss. Dieser Artikel fasst die Stolperfallen, in die wir getreten sind, und die schließlich umgesetzte Gateway-Lösung vollständig zusammen – in der Hoffnung, Teams zu helfen, die ebenfalls zwischen mehreren Modellen kämpfen.

1. Authentifizierung: Vier Systeme, vier Schreibweisen

Die Authentifizierung war das Erste, worüber wir gestolpert sind. Die OpenAI-Familie nutzt Bearer Token, im Request-Header genügt Authorization: Bearer sk-xxx. Qwen verlangt eine AccessKey-Signatur, bei jeder Anfrage muss mit AK/SK ein HMAC berechnet werden, dazu kommen Zeitstempel und Zufallsstring. Doubao nutzt AK/SK plus Zeitstempel, aber der Signaturalgorithmus unterscheidet sich wieder von dem von Qwen. DeepSeek ist zwar mit dem OpenAI-Format kompatibel, hat aber seine eigene base_url und Modellnamen-Zuordnung, und die Initialisierung stimmt auch nicht ganz mit dem offiziellen SDK überein.

Das Ergebnis: Im Code wimmelt es von if-else. Jeder Anbieter eine Client-Instanz, jede Instanz ein Satz Konfiguration. Noch Kopfzerbrechen bereitet die Schlüsselverwaltung – die Keys der vier Anbieter liegen an vier Stellen, bei der Rotation müssen vier Stellen geändert werden, und wenn man eine vergisst, gibt es einen Produktionsvorfall.

Später haben wir in der Zugriffsschicht eine Vereinheitlichung vorgenommen: Nach außen wird nur ein API Key offengelegt, intern erfolgt dann die Protokollübersetzung. Konkret pflegt die Zugriffsschicht eine Anbieter-Routing-Tabelle, jedem Anbieter entspricht sein eigener Authentifizierungsadapter. Die Geschäftsseite erhält nur einen Key, die Anfrage geht an die Zugriffsschicht, die Zugriffsschicht findet anhand des Modellnamens den entsprechenden Anbieter und erledigt mit dem Adapter Signatur und Weiterleitung.

Später haben wir die base_url testweise auf token8341 vereinheitlicht – mit einem Key lassen sich GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao aufrufen, kompatibel mit dem OpenAI SDK, eine Zeile base_url ändern genügt zum Umschalten. Die Drecksarbeit der Authentifizierung bleibt außerhalb der Zugriffsschicht, der Geschäftscode ist deutlich sauberer geworden. Auch die Schlüsselrotation wird zu einem einzigen Vorgang, die Betriebskosten sinken direkt um eine Größenordnung.

2. SSE-Streaming-Chunks: Vier Formate, eine Rendering-Logik

SSE-Streaming-Chunks sind die zweite Falle, und sie ist versteckter als die Authentifizierung. Im Chunk von GPT-4o kann delta.content null sein, insbesondere beim ersten und letzten Chunk; wenn das Frontend keine Null-Prüfung macht und direkt rendert, blitzt undefined auf. DeepSeek liefert im letzten Chunk usage mit, und die Struktur seiner usage-Felder ist nicht ganz identisch mit der von OpenAI. Qwen unterteilt die Event-Typen feiner, es gibt add, finish, error und weitere Event-Typen, und die Payload-Struktur jedes Events ist unterschiedlich. Die Endmarkierung von Doubao ist wieder anders, sie kennzeichnet das Stream-Ende mit einem speziellen finish_reason-Feld.

Wenn das Frontend vier Formate erhält, zerbricht die Rendering-Logik direkt. Unser erster Ansatz war, die Anpassung im Frontend zu machen und vier Parsing-Funktionen zu schreiben – das Ergebnis war, dass bei jedem neuen Modell das Frontend geändert werden musste. Später haben wir auf Normalisierung in der Gateway-Schicht umgestellt: Vereinheitlichung zur OpenAI-Chunk-Struktur, leere Deltas werden direkt herausgefiltert, usage wird separat extrahiert und kumuliert. Die konkrete Regel ist – die Streaming-Antworten aller Anbieter werden in das Format data: {"choices":[{"delta":{"content":"..."}}]} umgewandelt, das Ende wird einheitlich mit data: [DONE] markiert, usage wird im letzten Chunk im OpenAI-Format zurückgegeben.

Das Frontend kennt nur ein Format und muss sich nicht darum kümmern, wer im Backend angebunden ist. Diese Änderung hat den modellbezogenen Code im Frontend von über 400 Zeilen auf etwa 80 Zeilen reduziert, und bei neuen Modellen ist im Frontend null Änderung nötig.

3. Fehlercodes: Fehler versteckt in HTTP 200

Das Durcheinander bei den Fehlercodes übertrifft die Erwartungen. Bei gleicher Ratenbegrenzung gibt OpenAI 429 mit rate_limit_exceeded zurück, Qwen gibt einen Geschäftsfehler mit code-Feld zurück, Doubao stopft den Fehler einfach in den Body von HTTP 200 – der Statuscode ist 200, aber im Body steht ein error-Feld. DeepSeek stimmt meistens mit OpenAI überein, gibt aber gelegentlich eigene Fehlerstrukturen zurück.

Monitoring und Alerting lassen sich überhaupt nicht vereinheitlichen. Man kann keine Regel schreiben wie „bei 429 alarmieren", weil manche Anbieter bei Ratenbegrenzung kein 429 zurückgeben. Man kann auch nicht nur auf den HTTP-Statuscode schauen, weil bei Doubao ein 200 ein Fehler sein kann.

Wir haben in der Zugriffsschicht eine Mapping-Tabelle aufgebaut und die Fehlercodes der Anbieter in ein internes Fehlersystem überführt: Ratenbegrenzung, Timeout, Authentifizierungsfehler, Inhaltsprüfung, Dienst nicht verfügbar. Die konkrete Mapping-Logik ist – zuerst den HTTP-Statuscode prüfen, dann den error code im Body, beides kombiniert beurteilen. Wenn Doubao beispielsweise 200 zurückgibt, aber im Body ein error steht, wird nach dem error code gemappt; wenn Qwen 400 mit Geschäfts-code zurückgibt, wird nach dem code gemappt. Die Alerting-Regeln werden nur einmal geschrieben, bei der Fehlersuche schaut man dann auf den ursprünglichen Fehlercode.

Diese Mapping-Tabelle haben wir mit etwa über 60 Regeln gepflegt, die die gängigen Fehlerszenarien der vier Anbieter abdecken. Nach dem Launch stieg die Genauigkeit der Alarme von ursprünglich etwa 60 % auf über 95 %, Fehlalarme sind praktisch verschwunden.

4. Nutzungsstatistik: Vier Zahlen, die nicht zusammenpassen

Die unterschiedlichen Messkriterien bei der Nutzungsstatistik werden am leichtesten übersehen, aber bei der Finanzabstimmung kommen sie garantiert ans Licht. Die Token-Zählung von GPT-4o enthält den system prompt, bei DeepSeek werden Tokens mit Cache-Treffer separat abgerechnet, Qwen rechnet Eingabe und Ausgabe getrennt, und die Abrechnungseinheit von Doubao ist wieder anders. Bei der Finanzabstimmung passen die vier Zahlen nicht zusammen, die tatsächlichen Kosten jedes Modells lassen sich überhaupt nicht sauber berechnen.

Die Aggregationslösung ist, in der Gateway-Schicht bei jeder Anfrage model, input_tokens, output_tokens, cache_hit zu erfassen und einheitlich nach der Token-Abrechnungslogik in die Datenbank zu schreiben. Konkret – das Gateway erfasst beim Weiterleiten der Anfrage Start- und Endzeit, extrahiert die usage-Felder der Anbieter aus der Antwort und wandelt sie in ein Standardformat um. Bei Anbietern mit unterschiedlichen Abrechnungseinheiten wird in der Gateway-Schicht eine Umrechnung vorgenommen, alles wird auf per-token-Kosten umgerechnet.

So lassen sich die Kosten unabhängig davon, wer im Backend angebunden ist, in derselben Tabelle vergleichen. Später haben wir auf Basis dieser Tabelle noch ein Kosten-Dashboard gebaut, aufgeschlüsselt nach Modell, nach Geschäftslinie, nach Tagesdimension. Einmal stellten wir fest, dass die Kosten einer Geschäftslinie plötzlich um 40 % gestiegen waren; bei der Untersuchung stellte sich heraus, dass die Routing-Strategie eine große Zahl von Anfragen auf GPT-4o geleitet hatte, nach Anpassung des Routings sanken die Kosten sofort. Ohne einheitliche Nutzungsaggregation wäre ein solches Problem überhaupt nicht zu entdecken gewesen.

5. Die vierstufige Architektur des Modell-Gateways

Welche Schichten soll ein Modell-Gateway tragen? Meine Einteilung sind vier Schichten.

Erste Schicht: Protokollübersetzung. Die Anfrage- und Antwortformate der Anbieter werden zu einer OpenAI-kompatiblen Schnittstelle vereinheitlicht. Diese Schicht ist die einzige, mit der der Geschäftscode direkt in Kontakt kommt; sie übersetzt Anfragen im Standard-OpenAI-Format in die Formate der jeweiligen Anbieter und übersetzt die Antworten zurück.

Zweite Schicht: Routing. Modellauswahl nach Aufgabentyp, zum Beispiel lange chinesische Texte an Qwen, Code an DeepSeek, Fallback an GPT-4o. Die Routing-Strategie ist konfigurierbar und unterstützt mehrere Dimensionen wie Aufgabentyp, Priorität, Kosten. Wir haben zudem eine Degradationslogik hinzugefügt – wenn das Hauptmodell in einen Timeout läuft oder ratenbegrenzt wird, wird automatisch auf das Fallback-Modell umgeschaltet.

Dritte Schicht: Nutzungsaggregation. Einheitliche Abrechnung und Quotierung. Token-Verbrauch, Cache-Treffer und Antwortzeit jeder Anfrage werden in dieser Schicht erfasst, nach außen wird eine einheitliche Schnittstelle zur Nutzungsabfrage bereitgestellt.

Vierte Schicht: Observability. Logs, Distributed Tracing, Fehlercode-Konvergenz. Jede Anfrage hat eine trace_id und ist vom Eintritt bis zum Austritt über die gesamte Kette nachverfolgbar. Fehlercodes werden in dieser Schicht einheitlich gemappt, auch die Alerting-Regeln werden nur hier konfiguriert.

Der Geschäftscode ruft nur die Schnittstelle der ersten Schicht auf, die drei dahinterliegenden Schichten sind für ihn transparent. Der Vorteil – Modellwechsel erfordert keine Änderung am Geschäftscode, Hinzufügen eines Modells erfordert keine Änderung am Geschäftscode, Anpassung der Routing-Strategie erfordert ebenfalls keine Änderung am Geschäftscode. Das Geschäftsteam muss sich nur darum kümmern: „Ich möchte ein Modell aufrufen", den Rest übernimmt das Gateway.

6. Hinweise zur Vermeidung von Stolperfallen

Importiere die SDKs der Anbieter nicht direkt im Geschäftscode. Sobald ein Anbieter die Schnittstelle aktualisiert oder du das Modell wechseln willst, wird die betroffene Fläche sehr groß. Wir haben Teams gesehen, die die SDKs direkt im Geschäftscode aufgerufen haben und beim späteren Modellwechsel über 30 Dateien ändern und eine Woche testen mussten, bevor sie live gehen konnten.

Zwei Tage mehr in die Zugriffsschicht investiert, später zwei Wochen gespart. Dieses Aufwand-Nutzen-Verhältnis hat sich bei uns in der Praxis bestätigt – nach dem Launch des Gateways muss für ein neues Modell nur ein Adapter in der Gateway-Schicht hinzugefügt werden, der Geschäftscode bleibt unverändert, Anbindung und Test sind in einem halben Tag erledigt.

Noch zwei kleine Ratschläge: Erstens, die Nutzungsaggregation frühzeitig umsetzen und nicht erst bei der Finanzabstimmung merken, dass sich nichts sauber berechnen lässt; zweitens, die Fehlercode-Mapping-Tabelle kontinuierlich pflegen – bei der Anbindung eines neuen Anbieters ist das Erste, die Fehlercode-Mappings zu vervollständigen.

Autor: Sun Haoran

Veröffentlichungsdatum: 9. November 2026