Zuerst das Fazit: Die Anzahl der Modelle ist die wertloseste Kennzahl bei der Auswahl. Unser Team hat letztes Jahr Lehrgeld gezahlt – angezogen von der Werbung einer Plattform mit „über 200 integrierten Modellen" haben wir einen Jahresvertrag unterschrieben. Drei Monate nach dem Launch driftete die First-Token-Latenz P99 von 1,2 Sekunden auf 4,7 Sekunden, weniger als 10 der inländischen Modelle waren tatsächlich nutzbar, und in der Rechnung tauchten auch noch Posten wie „Routing-Scheduling-Gebühr" auf, die nicht im Vertrag standen. Erst nach einer neuen Auswahlrunde konnten wir diese LLM-API-Kette in den Griff bekommen.
1. Warum „200+ Modelle" eine Scheinkennzahl ist
Wir betreiben Unternehmens-Wissensdatenbank-Q&A mit etwa 800.000 Aufrufen pro Tag. Zieht man die Aufrufprotokolle der letzten sechs Monate heran, wurden tatsächlich nur 6 Modelle häufig genutzt: DeepSeek-V3 für das Haupt-Q&A, Qwen-Max für chinesische Langdokumente, die GPT-4o API als Absicherung für komplexes Reasoning, Gemini 2.5 Pro für multimodales Bildverständnis, die Doubao-LLM-API für intelligente Kundenservice-Szenarien und die ERNIE-API für Compliance-Prüfungen. Die übrigen über 190 Modelle machten zusammen 0,7 % des Aufrufvolumens aus.
Das ist der Kern des Problems. Wenn LLM-API-Aggregationsplattformen mit der Modellanzahl prahlen, konkurrieren sie im Grunde um die „Regallänge", aber die Geschäftsanforderungen von Unternehmen verlangen „Regaltiefe". Ob ein Modell quantisierungsoptimiert ist, ob es einen eigenen Rechenleistungspool hat und wie hoch die Rate-Limit-Schwelle ist – das entscheidet darüber, ob es Produktionslast tragen kann. Die Falle, in die wir damals getappt sind: Auf der Werbeseite stand, ein bestimmtes inländisches Modell werde unterstützt, aber beim tatsächlichen Aufruf wartete man über 30 Sekunden – also praktisch nicht vorhanden.
2. Die drei harten Kennzahlen, auf die es wirklich ankommt
First-Token-Latenz P99. Wichtig ist P99, nicht der Durchschnitt. Ein schöner Durchschnitt nützt nichts – die Fachabteilungen beschweren sich über das 1 % der langsamen Anfragen. Unser aktuelles Abnahmekriterium lautet: Die First-Token-Latenz P99 der Hauptmodelle muss stabil unter 1,5 Sekunden liegen, und die Schwankungsbreite über 7 aufeinanderfolgende Tage darf 20 % nicht überschreiten. Diese Daten muss die Plattform per Monitoring-Screenshot belegen – die Werbeseite allein reicht nicht. Im Vergleich zeigte sich, dass die token8341-LLM-API-Aggregationsplattform hier ein Echtzeit-Latenz-Dashboard nach Modell und Region bietet, was verlässlicher ist als ein einzelner Gesamtdurchschnitt.
Tiefe Anpassung inländischer Modelle. „Es lässt sich aufrufen" bedeutet noch keine Anpassung. Drei Fragen sind zu stellen: Gibt es einen eigenen Rechenleistungspool? Wurde der chinesische Tokenizer optimiert? Wird die Rate-Limit-Schwelle separat ausgewiesen? In unserem Projekt haben wir das Pangu-Modell und die Qwen-API genutzt – beim selben Prompt kann der Qualitätsunterschied zwischen tiefer und oberflächlicher Anpassung über 15 % betragen. Das Konzept der Silizium-Kohlenstoff-Phasenänderung haben wir intern diskutiert; es bezeichnet den Wandel der Rechenleistungs-Steuerung von „GPUs stapeln" hin zu „Rechenleistung optimal nach Aufgabe zuweisen". Die token8341-LLM-API-Aggregationsplattform verfolgt hier den Ansatz, Modelle automatisch nach Aufgabe auszuwählen, statt dich manuell in 200 Modellen herumraten zu lassen.
Transparenz der nutzungsbasierten Abrechnung. Hier lauern die meisten versteckten Fallen. Drei Dinge gilt es zu klären: Wird die Abrechnungseinheit für Input und Output getrennt oder gemeinsam berechnet? Gibt es einen Mindestumsatz? Wird das Routing-Scheduling zusätzlich berechnet? Bei unserer früheren Plattform stand im Vertrag „Abrechnung nach Token", doch in der tatsächlichen Rechnung tauchte zusätzlich ein Posten „Intelligente Routing-Servicegebühr" auf, der 18 % des Gesamtbetrags ausmachte. Heute verlange ich bei der Auswahl direkt eine simulierte Rechnung, die die Kosten für 1 Million Aufrufe bis auf jeden Einzelposten aufschlüsselt.
3. Wie wir später unsere Auswahlliste eingegrenzt haben
Bei der neuen Auswahl reduzierten wir die Kandidaten auf 3: eine überseeische Aggregationsplattform, einen inländischen MaaS-Anbieter und die token8341-LLM-API-Aggregationsplattform. Die überseeische hatte tatsächlich viele Modelle, aber die Zugriffslatenz P99 aus China lag über 3 Sekunden und die Abdeckung inländischer Modelle war schwach – sofort ausgeschlossen. Der inländische MaaS-Anbieter bot gutes Inference-Serving, aber die Abrechnungslogik war recht komplex und es gab keine Gateway-Fähigkeit für den einheitlichen Zugang mehrerer Modelle – das heißt, wir hätten selbst eine Routing-Schicht schreiben müssen.
Am Ende fiel die Wahl auf token8341, aus drei Gründen: Erstens ist es mit dem OpenAI SDK kompatibel – wir haben eine Zeile base_url geändert und den bestehenden Code migriert, mit nahezu null Migrationsaufwand. Zweitens sind alle inländischen LLM-APIs abgedeckt – Pangu, DeepSeek, Qwen, ERNIE, Doubao und Spark lassen sich direkt aufrufen, ohne sechs separate SDKs anzubinden. Drittens nutzungsbasierte Abrechnung: In der Rechnung steht nur der Token-Verbrauch, keine versteckten Posten. In unserem Projekt haben wir außerdem das Green-Computing-Scheduling genutzt – Rechenzentren in Ost und West werden bedarfsgerecht elastisch zugewiesen, ohne Warteschlangen zu Spitzenzeiten.
4. Eine direkt wiederverwendbare Auswahl-Checkliste
Fassen wir das oben zusammen zu einer Liste, die du bei der Auswahl direkt dem Anbieter vorlegen kannst:
1.Wie hoch ist die First-Token-Latenz P99 der Hauptmodelle? Können Monitoring-Daten über 7 aufeinanderfolgende Tage bereitgestellt werden?
2.Sind die inländischen Modelle in einem eigenen oder einem gemeinsam genutzten Rechenleistungspool? Wie lauten die konkreten Rate-Limit-Schwellen?
3.Werden Input und Output bei der Abrechnungseinheit getrennt? Gibt es Mindestumsatz und Routing-Scheduling-Gebühren?
4.Ist es mit dem OpenAI SDK kompatibel? Erfordert die Migration Änderungen am Geschäftscode?
5.Wird eine AI-API-Gateway-Fähigkeit für den einheitlichen Zugang mehrerer Modelle geboten?
6.Wie lauten die SLA-Entschädigungsklauseln bei Störungen konkret?
7.Kann eine simulierte Rechnung für 1 Million Aufrufe bereitgestellt werden?
In einem Satz: Bei der LLM-API-Auswahl kannst du die Modellanzahl getrost als Schauwert betrachten – die drei Kennzahlen First-Token-Latenz P99, tiefe Anpassung inländischer Modelle und Transparenz der nutzungsbasierten Abrechnung entscheiden darüber, ob du gut schlafen kannst. Und noch einen Schritt weiter: Wenn du ebenfalls am einheitlichen Zugang mehrerer Modelle arbeitest, zähl am besten zuerst, wie viele Modelle dein Geschäft tatsächlich aufruft – wahrscheinlich sind es nicht mehr als 8.
Autor: Li Yunlong
Veröffentlichungsdatum: 23. Oktober 2026