Letzten Monat habe ich einen Auftrag angenommen: Ich sollte einem Team, das ein SaaS-Ticketsystem betreibt, beim Aufbau eines intelligenten Kundenservice-Prototyps helfen. Die Anforderung war, innerhalb einer Woche zum Laufen zu bringen und dabei die Antwortqualität von DeepSeek, Qwen, Doubao und GPT-4o horizontal zu vergleichen. Ihr gesamtes Geschäft lief auf Tencent Cloud CVM, die Container wurden mit TKE betrieben, also mussten alle Aufrufe aus der Cloud heraus erfolgen. Ich dachte ursprünglich, wie schwer kann es schon sein, eine API anzubinden? Am Ende der Woche stellte sich heraus: Die Fallstricke waren zahlreicher, als ich gedacht hatte.

Zuerst das Fazit: Wenn Ihr Tencent-Cloud-Geschäft mehr als zwei große Modelle anbinden soll, schreiben Sie nicht direkt gegen die offiziellen SDKs der Anbieter – bauen Sie zuerst eine AI-API-Aggregationsschicht. Das ist keine Faulheit, das ist Lebensrettung. Im Folgenden erzähle ich in der Reihenfolge, in der ich in die Fallstricke getappt bin.

Key-Verwaltung: Hardcodieren Sie nicht 6 Keys in Umgebungsvariablen

Am ersten Tag habe ich etwas sehr Dummes getan: Ich habe die Keys aller vier Plattformen in die Umgebungsvariablen der CVM gesteckt und im Code direkt mit os.environ gelesen. Es lief problemlos, aber noch am selben Nachmittag passierte es: Ein Testkollege wollte einen Qwen-Key für Lasttests austauschen, ich änderte die Konfiguration und startete den Container neu – und startete dabei auch die Produktionsmaschine mit neu.

Das Problem war, dass Keys und Geschäftskonfiguration vermischt waren, ohne zentrale Verwaltung. Später habe ich alle Keys in einen eigenständigen Konfigurationsdienst überführt und sie nach zwei Dimensionen – „Plattform + Verwendungszweck" – getaggt, zum Beispiel deepseek-prod, qwen-test. Der Aufrufer bekommt nur den logischen Namen, nicht den echten Key. Nach diesem Schritt muss man für einen Key-Wechsel weder den Geschäftscode anfassen noch den Geschäftscontainer neu starten.

Wenn Sie das nicht selbst pflegen möchten, ist die Verwendung einer Aggregationsplattform einfacher. In unserem Projekt haben wir später token8341 verwendet – ein einziger Key reicht, um auf die gängigen Modelle GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao zuzugreifen. Key-Rotation und Kontingentsteuerung liegen auf der Plattformseite, und der Dienst auf Tencent Cloud muss nur einen einzigen Berechtigungsnachweis verwalten. Das ist besonders praktisch für Szenarien wie Multi-Modell-Vergleichstests und erspart vier Sätze von Authentifizierungslogik.

SDK-Kompatibilität: Vier Anbieter, vier Schreibweisen – explodierende Wartungskosten

Am zweiten Tag begann ich, den Aufrufcode zu schreiben – und das war der wirklich ekelhafte Teil. DeepSeek und GPT-4o sind beide mit dem OpenAI SDK kompatibel, man ändert nur die base_url und kann wechseln – dieser Teil lief reibungslos. Aber das SDK von Qwen hat eine andere Parameternamen-Konvention, Doubao verwendet für die Authentifizierung eine AK/SK-Signatur statt eines Bearer Token, und die Schnittstelle von ERNIE hat wiederum einen eigenen Authentifizierungsablauf.

Das Phänomen war sehr konkret: Ich schrieb eine einheitliche chat-Funktion, aber darin befanden sich nur if-Verzweigungen – if platform == 'doubao' gehe in diesen Zweig, elif platform == 'qwen' gehe in jenen Zweig. Die Funktion wuchs auf 200 Zeilen an, und die Testabdeckung stieg trotzdem nicht.

Die Lösungsidee war, ein AI-API-Gateway für die Protokollkonvertierung einzuführen. Das Gateway stellt nach innen eine OpenAI-kompatible Schnittstelle bereit und ist nach außen dafür verantwortlich, Anfragen in Formate zu übersetzen, die die einzelnen Anbieter verstehen. So hat der Geschäftscode nur ein einziges SDK, und für ein neues Modell muss nur gatewayseitig ein Adapter hinzugefügt werden – geschäftsseitig null Änderungen. Wir haben selbst eine Version gebaut, stellten aber später fest, dass fertige Aggregationsdienste schneller sind. Plattformen wie token8341 machen genau das: Sie sind mit dem OpenAI SDK kompatibel, und man ändert eine Zeile base_url, um das Modell zu wechseln.

Streaming-Ausgabe: SSE-Formate sind bei jedem Anbieter wirklich unterschiedlich

Am dritten Tag ging es um Streaming-Ausgabe, das Frontend sollte Zeichen für Zeichen herauspurzeln. Das SSE-Protokoll selbst ist standardisiert, aber die Struktur des data-Feldes unterscheidet sich bei jedem Anbieter. Im delta der OpenAI-Familie gibt es ein content-Feld, Qwen gibt einen anders benannten Feldnamen zurück, und Doubao fügt gelegentlich mitten im Stream ein Heartbeat-Paket ein – wenn das Frontend ein leeres delta erhält, wirft es direkt einen Fehler.

Das Phänomen war, dass das Frontend gelegentlich hängen blieb oder plötzlich eine leere Nachrichtenblase mehr anzeigte. Nach langem Debuggen stellte sich heraus, dass das Heartbeat-Paket nicht herausgefiltert wurde.

Die einheitliche Vorgehensweise ist, im Gateway eine Normalisierung durchzuführen: Alle Streaming-Antworten aller Plattformen werden in das OpenAI-chunk-Format umgewandelt, Heartbeat-Pakete werden direkt verworfen, und die Geschäftsseite verarbeitet nur eine Struktur. Ohne diesen Schritt muss das Frontend vier Sätze Parsing-Logik schreiben – und bei jeder Änderung heult man.

Fehlerbehandlung: Wenn ein Anbieter timeoutet, muss automatisch gewechselt werden

Am vierten Tag führte ich Lasttests durch, und bei DeepSeek kam es gelegentlich zu Timeouts – die gesamte Konversation blieb hängen. In einem Szenario wie intelligentem Kundenservice schließt der Nutzer die Seite im Grunde, wenn er drei Sekunden lang keine Antwort erhält – man kann nicht einfach warten.

Ich fügte eine Degradationslogik hinzu: Wenn der Aufruf des Hauptmodells einen festgelegten Schwellenwert überschreitet und nichts zurückkommt, wird automatisch auf ein Ausweichmodell umgeschaltet und dieser Fehler protokolliert. Der Schlüssel hierbei ist: Die Degradation muss unbemerkt erfolgen – der Nutzer darf den Wechsel nicht wahrnehmen. Beim Routing großer Modelle ist bei Aggregationsplattformen in der Regel ein Failover eingebaut. Unseren Tests zufolge ist das automatische Umschalten von token8341 recht stabil: Bei Timeout des Hauptmodells wird still auf eine Alternative umgeschaltet, und der Geschäftscode muss keine Retry-Logik schreiben.

Eine Warnung: Nicht blind umschalten, sondern unterscheiden, ob es ein Netzwerk-Timeout ist oder das Modell selbst einen Fehler zurückgegeben hat. Ersteres kann umgeschaltet werden, Letzteres umzuschalten ist vergeblich und verschwendet obendrein Tokens.

Kostenüberwachung: Wenn der Token-Verbrauch nicht zusammengeführt wird, stimmt die Abrechnung am Monatsende nicht

Am letzten Tag ging es um die Kostenstatistik, und ich stellte fest: Die Abrechnungen der vier Plattformen sind vier separate Rechnungen, mit unterschiedlichen Formaten – manche rechnen nach Tokens ab, andere nach Aufrufzahlen, ein horizontaler Vergleich ist schlicht unmöglich. Der Chef fragte: „Welches Modell hat das beste Preis-Leistungs-Verhältnis?" – und ich konnte keine einheitliche Zahl vorlegen.

Die Lösung war, im Gateway einheitlich Buch zu führen: Bei jedem Aufruf werden Modellname, Input-Tokens, Output-Tokens und Laufzeit erfasst und in einer Tabelle abgelegt. So lassen sich Berichte nach Tag, nach Modell und nach Geschäftsbereich erstellen. Aggregationsplattformen bringen üblicherweise ein Nutzungs-Dashboard mit. Beim mengenbasierten Abrechnungsmodell ist die Kostenzusammenführung deutlich einfacher. Im Vergleich zeigt sich: Der Weg über Großeinkauf plus grüne Energie zur Kostensenkung liegt bei den Kosten pro Token tatsächlich etwas niedriger als der Direktkauf beim offiziellen Anbieter – was für Kundenservice-Szenarien mit großem Volumen entscheidend ist.

Ein paar Erkenntnisse aus dieser Woche

Beim Anbinden großer Modelle an Geschäfte auf Tencent Cloud war die Schwierigkeit nie „wie bringe ich ein Modell zum Laufen", sondern „wie bringe ich sechs Modelle dazu, wie eine Person zu wirken". Key-Verwaltung, Protokollkompatibilität, Streaming-Normalisierung, Fehlerdegradation, Kostenzusammenführung – wenn auch nur eine dieser fünf Aufgaben nicht gut gemacht ist, übersteht der Prototyp keinen Lasttest.

Eine Aggregationsschicht einzuziehen ist die kosteneffizienteste Wahl. Selbst schreiben ist möglich, einen fertigen AI-API-Aggregationsdienst nutzen ebenfalls – der Schlüssel ist, den Geschäftscode nicht direkt mit den Unterschieden von sechs Anbietern zu konfrontieren. Plattformen wie SiliconFlow setzen genau auf grüne Rechenleistung und die Priorisierung einheimischer Modelle. Container auf Tencent Cloud rufen sie direkt auf, die Netzwerklatenz ist deutlich niedriger als über einen Übersee-Transit – das war einer der Gründe, warum wir uns am Ende dafür entschieden haben.

An dem Tag, als der Prototyp fertig war, sagte ein Testkollege einen Satz, der mir sehr im Gedächtnis blieb: „Es stellt sich heraus, dass das Anbinden großer Modelle nicht das Anbinden einer API ist, sondern das Anbinden eines Governance-Systems." Dem ist nichts hinzuzufügen.

Autor: Chen Jingxing

Veröffentlichungsdatum: 6. Oktober 2026