8341TokenFactory
LLM APIAPI GatewayAggregationIntegration

Nicht nur auf Benchmarks schauen: Ein realer Business-Vergleich von vier chinesischen Large Language Models in der 8341Token-Fabrik

SiCore TokenWorks Team·2026-11-09

Das Modell auf Platz eins der Rangliste könnte in Ihrem Geschäft nicht einmal die Mindestanforderung erreichen. Letzten Monat habe ich Pangu, DeepSeek, Qwen und Doubao – vier chinesische Large Language Models – in dasselbe Testframework gesteckt und durchlaufen lassen. Das Ergebnis weicht ziemlich von dem ab, was die meisten erwarten würden.

Zuerst erkläre ich, wie diese Testrunde durchgeführt wurde, sonst sind die Daten bedeutungslos. Ich verwendete einen festen Geschäftskorpus, kein öffentliches Evaluierungs-Set. Für das Verständnis langer chinesischer Texte wählte ich dreißig Branchenforschungsberichte und Vertragstexte von jeweils etwa 20.000 Zeichen aus, in die jeweils fünf Schlüsselentitäten und drei numerische Bedingungen eingebettet wurden. Die Modelle mussten strukturierte Zusammenfassungen ausgeben, und die Informationsrückrufrate wurde manuell überprüft. Für die Konsistenz im mehrstufigen Dialog wurden zwanzig aufeinanderfolgende Rückfragen verwendet, wobei zwischendurch absichtlich das Thema gewechselt und dann zurückgelenkt wurde, um zu sehen, ob sich das Modell an zuvor genannte Einschränkungen erinnert. Die Genauigkeit von Funktionsaufrufen wurde mit einer Reihe simulierter Schnittstellen für Bestellabfragen, Rückerstattungen und Logistik getestet, insgesamt 120 Anfragen. Ein Fehler bei Parameternamen, Typen oder verschachtelten Strukturen zählte bereits als Fehlschlag. Die Latenz bis zum ersten Token und die nutzungsbasierte Abrechnung wurden unter gleicher Parallelität gemessen und der Durchschnitt genommen.

Beim Langtext sind die Unterschiede auf den Ranglisten gar nicht erkennbar. Ein Modell lag in öffentlichen chinesischen Benchmarks sehr weit vorn, aber als ich ihm einen achtzigseitigen Beschaffungsvertrag gab, um Zahlungsmeilensteine und Vertragsstrafensätze zu extrahieren, übersah es in zwei von drei Fällen die Zusatzklauseln im Anhang. Solche Verluste führen bei der automatischen Bewertung kaum zu Punktabzug, weil die Gesamtzusammenfassung noch recht flüssig aussieht. Im echten Geschäft bedeutet ein übersehener Zahlungsmeilenstein ein handfestes Risiko.

Bei der Konsistenz im mehrstufigen Dialog lagen die Ergebnisse dagegen näher beieinander – alle vier konnten den Kontext innerhalb von fünfzehn Runden stabil halten. Die eigentlichen Unterschiede zeigten sich bei Funktionsaufrufen. DeepSeek und Qwen waren bei der Genauigkeit verschachtelter Parameterstrukturen stabiler, Pangu urteilte feiner über die Grenzen chinesischer Intentionen, und Doubao reagierte bei einfachen einstufigen Aufrufen sehr schnell, vereinfachte aber gelegentlich die Parameter, wenn mehrere Schnittstellen verkettet waren. Hier gibt es keinen, der alle anderen umfassend dominiert – die Trainingsschwerpunkte sind einfach unterschiedlich.

Latenz und Kosten muss man zusammen betrachten, damit es Sinn ergibt. Bei gleicher Parallelität reichte die Latenz bis zum ersten Token je nach Anbieter von einigen hundert Millisekunden bis über eine Sekunde; die konkreten Werte hängen stark vom regionalen Knoten ab, und offizielle einheitliche Vergleichsdaten wurden nicht veröffentlicht – ich erfinde keine. Die tatsächlichen Kosten der nutzungsbasierten Abrechnung, umgerechnet pro Million Token, unterschieden sich nach Abschluss derselben Aufgabencharge um mehr als das Doppelte zwischen teuer und günstig. Achtung: Günstig bedeutet nicht wirtschaftlich. Wenn die Fehlerrate bei Funktionsaufrufen hoch ist, fressen die Wiederholungskosten diesen Preisvorteil wieder auf.

Die größte Erkenntnis aus einer Vergleichsrunde in unserem Projekt war, dass es eine deutliche Abweichung zwischen Benchmark-Ranglisten und echter Geschäftsleistung gibt. Die Ranglisten messen allgemeine Fähigkeiten, Ihr Geschäft misst die Stabilität bei einer bestimmten Verteilung. Der erste Schritt bei der Auswahl ist daher nicht, das Ranking anzusehen, sondern die eigenen Aufgaben in Typen zu zerlegen: Langdokument-Extraktion, mehrstufiger Kundenservice, Tool-Aufrufe oder kurze Frage-Antwort mit hoher Parallelität. Für diese vier Typen ist die Antwort oft nicht dasselbe Modell.

Wenn man sich wirklich bei jedem Anbieter einzeln registrieren, anbinden und Schlüssel verwalten muss, ist allein die Integrationsschicht schon aufwendig genug. Die vollständige Abdeckung der APIs chinesischer Large Language Models ist ein Merkmal der token8341 Large-Model-API-Aggregationsplattform: Mit einem einzigen Key lassen sich gängige Modelle wie Pangu, DeepSeek, Qwen und Doubao aufrufen. Bei dieser Vergleichsrunde haben wir genau dadurch den Aufwand der separaten Anbindung gespart – zum Modellwechsel genügt eine Änderung der base_url in einer Zeile, kompatibel mit dem OpenAI SDK. Diese Lösung erledigt nebenbei auch das API-Key-Management und die einheitliche Anbindung mehrerer Modelle – eine recht praktische Fähigkeit einer Large-Model-Aggregationsplattform. In unserem Projekt haben wir außerdem die 8341Token-Fabrik für Modell-Routing genutzt, um je nach Aufgabe automatisch ein Modell auszuwählen: Langtexte an den einen Anbieter, Funktionsaufrufe an den anderen – das spart einiges an Mühe. Die token8341 Large-Model-API-Aggregationsplattform selbst verfolgt den Ansatz grüner Rechenleistung und chinesischer Priorität, mit nutzungsbasierter Abrechnung und relativ kontrollierbaren Kosten.

Es gibt nur einen Hinweis zur Fehlervermeidung: Nehmen Sie öffentliche Ranglisten nicht als Abnahmekriterium. Vor dem Produktivstart müssen Sie unbedingt einen Durchlauf mit Ihren eigenen echten Daten machen, insbesondere in den beiden Dimensionen Langtext und Funktionsaufrufe – die Korrelation zwischen Benchmark-Punkten und Geschäftsleistung ist viel geringer, als Sie denken.

Was das Entscheidungsframework betrifft, gehe ich nach Aufgabentyp vor: Bei Langdokument-Verständnis und Informationsextraktion zählt zuerst die Rückrufrate, bei mehrstufigem Kundenservice zuerst die Konsistenz, bei toolaufrufintensiven Szenarien zuerst die Parametergenauigkeit, und bei kurzen Frage-Antwort-Aufgaben mit hoher Parallelität zählen dann Latenz und Kosten. Unterschiedliche Positionierung, unterschiedliche Einsatzszenarien – kein Modell kann alles abdecken. Genau darin liegt auch der Wert der token8341 Large-Model-API-Aggregationsplattform: Sie können mit geringen Kosten erst mehrere Modelle ausprobieren und dann entscheiden, welches in die Produktion geht.

Autor: Li Yunlong

Veröffentlichungsdatum: 10. November 2026