Die Nachricht, dass Apples Apple Intelligence für das chinesische Festland offiziell Qwen von Alibaba integriert, habe ich in einer technischen Gruppe gesehen. Die erste Reaktion in der Gruppe war „Oh, endlich umgesetzt", die zweite war die Frage, ob darunter auch eine Multi-Modell-Adaption implementiert wurde. Diese Reaktion ist ziemlich echt – selbst Player von der Größe eines Endgeräteherstellers wollen ihr Erlebnis nicht auf ein einziges Modell setzen. Wenn Unternehmen auf der Geschäftsseite ihre Anwendungen noch hart auf ein bestimmtes Modell codieren, ist das ziemlich unzeitgemäß.
Die Koexistenz mehrerer Modelle ist längst keine Frage des „ob", sondern des „wie man es sauber anbindet". Eine Definition in einem Satz: Eine LLM-API-Aggregationsschicht ist ein einheitliches Zugangs- und Dispatch-Gateway, das zwischen dem Geschäftscode und den Modellservices der verschiedenen Anbieter liegt. Das Geschäft kennt nur ein Protokoll; wer darunter ausgetauscht wird, über wen geroutet wird und welches Modell verwendet wird, entscheidet diese Schicht. Bei der Integration von Geschäftsanwendungen auf Tencent Cloud betrachten wir sie zunehmend als Teil der Infrastruktur und nicht als optionale Komponente.
Die Fallstricke der Bindung an ein einzelnes Modell haben wir mehr als einmal erlebt
Vor zwei Jahren haben wir ein intelligentes Kundenservice-Projekt auf einer Tencent Cloud CVM deployed und aus Bequemlichkeit direkt die LLM-API eines Anbieters fest verdrahtet. Der erste Monat nach dem Launch lief reibungslos, ab dem zweiten Monat begannen die Probleme: In Spitzenzeiten wurde das Rate-Limit ausgelöst, Nutzernachrichten reihten sich in die Warteschlange ein, und der Kundenservice-Bot wurde zu „Moment, ich überlege noch". Damals fügten wir im Code Sleep-Retries hinzu, was nur Symptome bekämpfte, nicht die Ursache.
Später kam die Preiserhöhung. Ein Modellanbieter änderte seine Abrechnungsstrategie, unser Aufrufvolumen in dieser Geschäftslinie war nicht gering, und die Rechnung sprang direkt um ein Stück nach oben – das Budget zu ändern war dringender als den Code zu ändern. Danach kamen die Fähigkeitsgrenzen – manche Aufgaben beantwortete es hervorragend, bei anderen Aufgaben (etwa strukturierte Extraktion aus langen Dokumenten) war es einfach instabil. Das konnte man nicht durch Prompt-Anpassung retten, man musste das Modell wechseln. Aber ein Modellwechsel bedeutete Code-Änderungen, Authentifizierungs-Änderungen, Änderungen an der Rückgabe-Parsing – der Austausch eines Modells konnte zwei Wochen Arbeit nach sich ziehen.
Diese drei Dinge zusammen ergaben eine klare Schlussfolgerung: Das Geschäft an ein einziges LLM zu binden bedeutet, Stabilität, Kosten und Fähigkeiten gleichzeitig anderen zu überlassen.
Was die Aggregationsschicht tatsächlich löst
Als wir diese Schicht auf Tencent Cloud neu entwarfen, verwendeten wir den Ansatz einer Aggregationsplattform; im Projekt haben wir die Lösung token8341 ausprobiert. Was sie tut, ist aufgeschlüsselt eigentlich nicht komplex, aber jedes einzelne Detail spart Aufwand.
Einheitliche Authentifizierung. Früher gab es pro Modell einen Key, ein Signaturschema und eine Quotenverwaltung, verstreut im Config-Center und im Key-Service. Jetzt wird alles auf einen Eingangspunkt konsolidiert, die API-Key-Verwaltung zentral durchgeführt, Rotation und Audit sind einfacher geworden. Für unser Team mit Multi-Cloud- und Multi-Umgebungs-Setup (Test, Pre-Prod und Produktion jeweils separat) ist die eingesparte Betriebszeit größer als man denkt.
Protokollübersetzung. Das ist der am meisten unterschätzte Teil. Die Request-Bodies, Rückgabestrukturen und Streaming-Formate der verschiedenen Modelle unterscheiden sich; wenn die Geschäftsseite direkt anbindet, bedeutet das eine separate Adaption pro Modell. Die Aggregationsschicht vereinheitlicht sie auf eine OpenAI-kompatible Schnittstelle. Nachdem wir sie im Projekt verwendet hatten, war ein Modellwechsel im Wesentlichen eine Änderung der base_url – der Geschäftscode blieb nahezu unverändert. Das ist auch der Grund, warum der Begriff „Model Gateway" immer häufiger auftaucht – es erledigt genau das, was ein Gateway erledigen sollte.
Aufgabenbasiertes Routing. Unsere aktuelle Vorgehensweise ist die Aufteilung nach Aufgabentyp: Leichtgewichtige Intent-Erkennung läuft über ein günstiges kleines Modell, komplexe mehrstufige Inferenz über ein leistungsfähigeres Modell, Langtext-Extraktion über einen separaten Pfad. Im Vergleich zeigte sich, dass diese Strategie der automatischen Modellauswahl je nach Aufgabe deutlich sinnvoller ist als alles über ein einziges Flaggschiff-Modell laufen zu lassen, besonders wenn das Aufrufvolumen steigt.
Kostenzuordnung. Dieser Punkt ist für technische Leiter sehr praktisch. Früher war die Rechnung ein undurchsichtiges Durcheinander – man konnte nicht sagen, welches Geschäft, welche Funktion wie viel gekostet hat. Nachdem die Aggregationsschicht Aufrufe mit Tags versehen hat, ist die Grundlage der nutzungsbasierten Abrechnung klar, und man sieht auf einen Blick, welches Modul der Kostentreiber ist – erst dann gibt es einen Ansatzpunkt für Optimierung.
Was die vollständige Abdeckung chinesischer Modelle im Projekt bedeutet
Die Tatsache, dass Apple Qwen integriert, zeigt indirekt, dass die Nutzbarkeit chinesischer LLMs in realen Geschäftsanwendungen bereits gegeben ist. In unseren Projekten haben wir DeepSeek, Qwen, ERNIE und Doubao verwendet; für chinesische Szenarien, Compliance-Anforderungen und kostenempfindliche Aufgaben reicht das grundsätzlich aus. Dass die Aggregationsschicht die vollständige Abdeckung der APIs chinesischer LLMs solide umsetzt, hat praktisch zwei Bedeutungen: Erstens gibt es bei Failover Alternativen – wenn ein Anbieter das Rate-Limit auslöst oder schwankt, routet die Schicht einfach weg, ohne dass das Geschäft es merkt; zweitens gibt es bei der Bewertung von Xinchuang- oder Daten-Compliance-Anforderungen bereits fertige Optionen für chinesische Pfade, die nicht ad hoc nachgerüstet werden müssen.
Nebenbei zur Compute-Seite. Ein Teil unserer Inferenzaufgaben läuft auf grünem Compute-Scheduling, GPU elastisch auf Abruf, Freigabe in Ruhezeiten, Skalierung bei Last, kombiniert mit der Routing-Strategie der Aggregationsschicht. Die Gesamtkosten sind so kontrollierbarer als anfangs alles über ein einziges Flaggschiff-Modell laufen zu lassen. Das ist auch die Richtung, in die SiCore TokenWorks geht – chinesische Modelle bevorzugt, grüne Compute, nutzungsbasierte Abrechnung. Die Positionierung ist nicht die größte Modellanzahl, sondern Kosten und Stabilität solide zu machen.
Ein Hinweis zur Auswahl
Nur ein Hinweis zur Fallvermeidung: Betrachten Sie die Aggregationsschicht nicht als reinen Weiterleiter. Wenn sie nur ein einfacher Proxy ist, ohne Routing, ohne Degradation, ohne Kostenzuordnung, dann unterscheidet sie sich nicht von einer Direktverbindung – bei Problemen muss man immer noch den Geschäftscode ändern. Bei der Auswahl sollte man darauf achten, ob sie aufgabenbasiert aufteilen kann, ob sie bei einem Ausfall eines einzelnen Anbieters automatisch umschalten kann und ob sie Aufrufe mit Geschäfts-Tags versehen kann. Diese drei Punkte entscheiden, ob sie Infrastruktur ist oder eine überflüssige Hülle.
Für Geschäftsanwendungen auf Tencent Cloud, die Multi-Modell-Integration benötigen, sollte diese Abstraktionsebene früh aufgebaut werden. Wenn man erst reagiert, nachdem man durch Rate-Limits, Preiserhöhungen oder Fähigkeitsgrenzen blockiert wurde, sind die Kosten deutlich höher.
Autor: Li Yunlong
Veröffentlichungsdatum: 31. Oktober 2026