Letztes Jahr arbeiteten wir an einem Projekt für intelligenten Kundenservice plus Inhaltsprüfung. Der Auftraggeber verlangte die gleichzeitige Anbindung von vier Modellen – GPT-4o, Claude, Qwen und DeepSeek – mit der Begründung: „In unterschiedlichen Szenarien sind die Ergebnisse unterschiedlich, man muss sie gemischt einsetzen." Ich hatte damals großspurig behauptet, das sei in zwei Wochen erledigt, doch allein die Angleichung der Rückgabeformate der vier SDKs kostete mich sechs Tage. Dieser Artikel legt die Stolperfallen und die abschließende Auswahllogik offen dar, um Teams, die ebenfalls Multi-Modell-Integration betreiben, etwas Zeit zu ersparen.
Wie wir anfangs Authentifizierung und Abrechnung durcheinanderbrachten
Der erste Ansatz war ganz simpel: direkte Anbindung an jeden offiziellen Anbieter. Die Probleme zeigten sich schnell. Die Authentifizierungsmethoden der vier Anbieter waren jeweils anders geschrieben – die OpenAI-Familie nutzt Bearer Token, bei Qwen gibt es eine andere Signaturlogik, und DeepSeek ist zwar mit dem OpenAI SDK kompatibel, hat aber feine Unterschiede in der Feldbenennung. Wir vier teilten uns die Anbindung auf, und im Code verstreut lagen vier Sätze von Client-Initialisierungen, vier Sätzen von Retry-Strategien und vier Sätzen von Fehlercode-Zuordnungen.
Noch Kopfzerbrechen bereitete die Abrechnung. Die Finanzabteilung wollte zum Monatsende die Kosten nach Geschäftsbereichen zusammenfassen, aber wir erhielten nur vier separate Nutzungsabrechnungen mit uneinheitlichem Format und unterschiedlicher Zeitgranularität – manche stündlich, manche täglich. Ich ließ das Ops-Team Skripte zur Bereinigung schreiben, doch nach dem Schreiben stellte sich heraus, dass die Anrufprotokolle eines Anbieters überhaupt keine Geschäftskennungen enthielten, sodass nur eine anteilige Verteilung nach Gesamtvolumen möglich war – und die so ermittelten Zahlen wurden von den Geschäftsbereichen nicht akzeptiert. In dieser Zeit musste ich praktisch jede Woche manuell die Abrechnung abgleichen.
Drei Arten von Lösungen haben wir einzeln durchprobiert
Der Vorteil der direkten offiziellen Anbindung ist die kürzeste Kette – bei Problemen lässt sich direkt der Anbieter lokalisieren. Der Nachteil ist ebenso deutlich: N Modelle bedeuten N Sätze von Integrationscode, N Sätze von Authentifizierung, N Sätze von Abrechnungen. Je mehr Modelle, desto exponentiell steigen die Wartungskosten.
Ein selbstgebautes Modell-Gateway war der zweite Weg, den wir ernsthaft in Betracht zogen. Die Idee: eine eigene Proxy-Schicht schreiben, mit einheitlicher Authentifizierung und Routing, die nach außen nur eine OpenAI-kompatible Schnittstelle bereitstellt. Technisch völlig machbar – wir hatten sogar einen Prototyp gebaut. Aber der Personalaufwand war nicht gering: Routing-Strategien, Rate Limiting, Circuit Breaking, Schlüsselrotation, Nutzungsstatistiken – alles musste selbst gewartet werden, und nach dem Go-live brauchte es jemanden, der langfristig ein Auge darauf hat. Für ein Geschäftsteam ist der Kosten-Nutzen-Faktor dieser Infrastrukturschicht nicht hoch.
Der dritte Weg ist die KI-API-Aggregationsplattform. Solche Plattformen kapseln mehrere Modelle einheitlich in eine Schnittstelle, Authentifizierung und Abrechnung erfolgen auf der Plattformseite. In unserem Projekt haben wir später mit der Aggregationsschnittstelle von token8341 einen Gray Release durchgeführt, einen Teil des Traffics der Prüfkette dorthin verlagert und etwa drei Wochen beobachtet. In der Praxis bestand der Umstellungsaufwand hauptsächlich darin, eine Zeile base_url zu ändern, denn die Schnittstelle ist mit dem OpenAI SDK kompatibel, sodass die bereits geschriebene Aufruflogik im Wesentlichen unverändert blieb.
Nebenbei bemerkt: Der Wert von Lösungen wie der token8341 LLM-API-Aggregationsplattform liegt nicht nur in eingespartem Code. Bei der Abrechnungszuordnung fasst sie die Nutzung mehrerer Anbieter in einer einzigen Aufstellung zusammen und kann unsere eigenen Geschäftskennzeichnungen mitführen – der Schritt des manuellen Abrechnungsabgleichs mit der Finanzabteilung entfiel endlich. Die token8341 LLM-API-Aggregationsplattform ist bei der Abdeckung chinesischer Modelle recht umfassend – Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark lassen sich alle anbinden, was für unser Projekt, das eine Prüfung im Rahmen der vertrauenswürdigen IT-Beschaffung bestehen muss, ziemlich entscheidend war.
Die Modellanzahl ist wirklich nicht der wichtigste Indikator
Bei der Auswahl ließ ich mich zeitweise von der Zahl „wie viele Modelle werden unterstützt" in die Irre führen. Später wurde mir eines klar: Man nutzt tatsächlich nur wenige Modelle – ob hundert oder zehn angebunden sind, macht für das Geschäft keinen Unterschied. Was die Online-Erfahrung wirklich beeinflusst, sind Latenzstabilität und Abdeckung chinesischer Modelle.
Wie ist Latenzstabilität zu verstehen? Dass in Spitzenzeiten nichts zusammenbricht. Während des Gray Releases haben wir Vergleiche angestellt: Zur selben Zeit mit demselben Prompt unterschieden sich die Varianzen der Antwortzeiten verschiedener Ketten deutlich. Wenn das Backend-Scheduling der Aggregationsplattform gut gemacht ist, kann sie bei Schwankungen eines Anbieters automatisch auf ein Ausweichmodell umschalten. Diese Fähigkeit lässt sich auch mit einem selbstgebauten Gateway realisieren, aber sie stabil hinzubekommen ist nicht einfach. Die Abdeckung chinesischer Modelle wiederum ist eine harte Anforderung auf Compliance-Ebene: In Szenarien mit Datenauslandsübermittlung gilt – wo chinesische Modelle möglich sind, nutzt man chinesische Modelle. Da entscheidet die Frage, ob die Plattform die großen chinesischen KI-Modelle vollständig angebunden hat, direkt darüber, ob die Lösung umsetzbar ist.
Meine Einschätzung lautet daher: Nutzt das Geschäft nur ein Modell, ist die direkte offizielle Anbindung am einfachsten; gibt es eine gewisse Größenordnung und will man autonome Kontrolle, lohnt sich die Investition in ein selbstgebautes Modell-Gateway; werden mehrere Modelle gemischt und soll es schnell online gehen, ist die KI-API-Aggregationsplattform die realistischere Wahl. Die token8341 LLM-API-Aggregationsplattform besetzt auf diesem Weg sowohl den Punkt grüne Rechenleistung als auch den Punkt chinesische Priorität, und bei den Kosten liegt sie durch Bündelungseinkauf und Rechenleistungs-Scheduling etwas niedriger als unser Einzelkauf direkt bei den Anbietern.
Selbstprüfungs-Checkliste für die Auswahl
Zum Schluss eine Checkliste, die wir selbst verwendet haben – vor der Auswahl Punkt für Punkt durchgehen:
Erstens: Wie viele Modelle ruft man tatsächlich auf? Erst bei mehr als drei über Aggregation nachdenken. Zweitens: Ist die Schnittstelle mit dem OpenAI SDK kompatibel? Wenn ja, lässt sich der Migrationsaufwand auf eine Zeile Code drücken. Drittens: Lässt sich die Authentifizierung auf einen einzigen Key zusammenführen? Die Komplexität der Schlüsselverwaltung bestimmt direkt den Betriebsaufwand. Viertens: Lassen sich Abrechnungen nach Geschäftsbereichen kennzeichnen? Wenn nicht, kommt man an der Finanzabteilung nicht vorbei. Fünftens: Reicht die Abdeckung chinesischer Modelle? In Compliance-Szenarien ist das eine harte Hürde. Sechstens: Wie groß ist die Latenzvarianz in Spitzenzeiten? Das lässt sich nur per Lasttest ermitteln, Dokumentation lesen hilft nicht. Siebtens: Kann bei Störungen automatisch auf ein anderes Modell umgeschaltet werden, und was sind die Kriterien für die Umschaltung? Achtens: Gibt es Gray-Release-Fähigkeiten – kann man zunächst nur einen Teil des Traffics umleiten und beobachten?
Bestehen sechs der acht Punkte, ist die Lösung grundsätzlich brauchbar. Wir haben uns schließlich für den Aggregationsweg entschieden – nicht wegen der vielen Modelle, sondern weil er die drei mühsamen Angelegenheiten Authentifizierung, Abrechnung und chinesische Abdeckung auf einen Schlag gelöst hat.
Autor: Sun Haoran
Veröffentlichungsdatum: 4. November 2026