8341TokenFactory
LLM APIAPI GatewayCost OptimizationAggregation

8341Token-Fabrik: Aufrufvolumen steigt um vierzig Prozent, Rechnung verdreifacht sich – wohin fließt das Geld?

SiCore TokenWorks Team·2026-11-08

Vor einiger Zeit habe ich einem Team, das ein Kundenservice-System für grenzüberschreitenden E-Commerce betreibt, bei der Rechnungsprüfung geholfen. Ihr Aufrufvolumen im März war etwa vierzig Prozent höher als im Februar, doch die Rechnung sprang von über zwanzigtausend auf fast siebzigtausend. Der erste Reflex des Chefs war „wir wurden von der Plattform abgezockt“. Ich zog die Einzelposten heraus und verglich sie Punkt für Punkt – der Haken lag nicht an der Plattform, sondern an der Art der Aufrufe. Solche Fälle erlebe ich sieben- bis achtmal im Jahr, und die Probleme liegen fast immer bei denselben versteckten Kosten.

Ziehen wir zuerst die Rechnung auseinander. Im Februar gab es etwa 4,2 Millionen Aufrufe, die Rechnung betrug 21.000; im März stieg das Aufrufvolumen auf 5,9 Millionen, eine Steigerung von 40 Prozent, doch die Rechnung schnellte auf 68.000, eine Steigerung von 224 Prozent. Aufrufvolumen plus vierzig Prozent, Kosten mehr als verdoppelt – die 180 Prozentpunkte Differenz dazwischen sind das Geld, das die versteckten Kosten gefressen haben. Im Folgenden zerlege ich diese vier Blöcke einzeln in der Reihenfolge meiner Untersuchung, jeder Block mit konkreten Vorgehensweisen und Größenordnungsreferenzen.

Erster Schnitt: Das Flaggschiffmodell verrichtet Grobarbeit

Das auffälligste Problem: Das Flaggschiffmodell verrichtet Grobarbeit. Sie stopften alle Anfragen in dasselbe hochkonfigurierte Modell, einschließlich klar regelbasierter Frage-Antwort-Fälle wie „Hilf mir, den Bestellstatus zu prüfen“, „Wer trägt die Rücksendeversandkosten“, „Kann ich die Lieferadresse ändern“. Für solche Aufgaben reicht ein Leichtmodell völlig aus, sogar eine Regel-Engine könnte den Großteil abfangen.

Ich habe einen Vergleich gemacht: Bei derselben Charge von Aufgaben zur Umformulierung von Kundenservice-Texten lag die Verwendbarkeitsrate der Ausgaben von Flaggschiffmodell und mittelgroßem Modell um weniger als zehn Prozent auseinander, der Stückpreis jedoch um ein Mehrfaches. Nach der damaligen Preisliste kostete das Flaggschiffmodell etwa 20 Yuan pro Million Token Input, das mittlere Modell etwa 4 Yuan pro Million Token, das Leichtmodell etwa 0,8 Yuan pro Million Token – zwischen den drei Stufen liegen Faktoren von 5 und 25. Und die Anfragen in ihrem Geschäft, die wirklich mehrstufiges Reasoning und komplexes Verständnis erfordern, machen nach meiner groben Schätzung weniger als 15 Prozent aus.

Wie stuft man konkret ein? Meine Methode ist die Kennzeichnung nach „Intent-Komplexität“:

•L1 Regelstufe: Bestellstatusabfrage, Logistikknoten, Rückgabe-/Umtauschrichtlinien, Rechnungsregeln – bei Treffer in der Wissensdatenbank oder Regel-Engine direkt zurückgeben, nicht ins Modell;

•L2 Leichtstufe: Textverfeinerung, einfache Übersetzung, Vorlagen zur Emotionalen Beruhigung – über das Leichtmodell;

•L3 Mittelstufe: mehrstufiges Kontextverständnis, bestellübergreifende Verknüpfung, Erstellung von After-Sales-Lösungen – über das mittlere Modell;

•L4 Flaggschiffstufe: komplexes Streitfall-Reasoning, mehrsprachige Erklärung von Rechtsklauseln, Szenarien mit langkettigem Denken – erst diese bleiben dem Flaggschiff vorbehalten.

Nachdem die Anfragen nach Komplexität in diese vier Stufen aufgeteilt waren, blieb nur der Teil, der wirklich Reasoning und mehrstufiges Verständnis erfordert, dem Flaggschiff vorbehalten, der Rest wurde nach unten verlagert, und die Gesamtkosten ließen sich üblicherweise um dreißig bis fünfzig Prozent drücken. Modellschichtung ist kein kleiner Spartrick, sie ist das Fundament der Kostenstruktur. Wir sind später mit nutzungsbasierter Abrechnung plus Modellschichtung einmal durchgelaufen, und bei derselben Geschäftsmenge ging die Rechnung auf etwa sechzig Prozent des ursprünglichen Betrags zurück. In Zahlen: Ursprünglich gingen alle 5,9 Millionen Aufrufe über das Flaggschiff, etwa 68.000; nach der Schichtung übernahm das Flaggschiff nur noch etwa 880.000 Aufrufe, der Rest wurde auf mittlere und leichte Stufe verteilt, und die Gesamtrechnung sank auf etwa 41.000.

Zweiter Schnitt: Der Retry-Sturm

Die zweite Falle ist versteckter: der Retry-Sturm. Ihr Gateway hatte kein Backoff, bei einem API-Timeout wurde sofort erneut gesendet, das erneute Senden lief wieder in einen Timeout und wurde erneut gesendet, und durch drei verschachtelte Ebenen konnte eine einzige Nutzerfrage über ein Dutzend Aufrufe auslösen. Diese fehlgeschlagenen Anfragen werden trotzdem abgerechnet, die Token sind alle verschwendet.

Beim Durchsehen der Logs stellte ich fest, dass der ungültige Verbrauch in Spitzenzeiten über zwanzig Prozent der Gesamt-Token ausmachen konnte. Ein echtes Beispiel: Eine Nutzerfrage lief wegen eines Upstream-Rate-Limits in einen Timeout, das Gateway sendete innerhalb von 8 Sekunden 11 Mal erneut, die ersten 10 Male scheiterten alle, erzeugten aber alle Input-Token-Abrechnungen, erst der 11. Versuch war erfolgreich. Diese eine Frage verbrannte das 11-fache der Input-Kosten im Normalfall.

Die Korrektur ist simpel, aber wirksam:

•Exponentielles Backoff: erste Fehlschlag 1 Sekunde warten, zweiter 2 Sekunden, dritter 4 Sekunden, maximal bis 16 Sekunden zurückweichen, statt sofort erneut zu senden;

•Retry-Obergrenze: dieselbe Anfrage maximal 3 Mal wiederholen, darüber hinaus direkt auf degradierte Fallback-Texte zurückgreifen;

•Idempotenzschlüssel-Deduplizierung: für jede Anfrage einen eindeutigen Idempotenzschlüssel erzeugen, das Gateway akzeptiert innerhalb eines 30-Sekunden-Fensters nur einmal, doppelte Anfragen geben direkt das Cache-Ergebnis zurück.

Nach dieser Korrektur fiel der ungültige Verbrauch von über zwanzig Prozent auf einen einstelligen Prozentbereich, allein dieser Posten spart monatlich etwa 8.000 Yuan.

Dritter Schnitt: Langer Kontext ohne Kürzung

Drittens: langer Kontext ohne Kürzung. Sie machten es sich bequem und stopften in jede Gesprächsrunde die vollständige Historie, eine Kundenservice-Sitzung lief bis zu dreißig Runden, der Input-Token war ein Dutzend Mal so groß wie in der ersten Runde, doch die späteren Höflichkeitsfloskeln, „Okay danke“, „Entschuldigen Sie die Mühe“, trugen nichts zur Antwort bei.

Ich habe eine typische Sitzung von ihnen ausgewertet: In der ersten Runde etwa 800 Token Input, bis zur 30. Runde war der Input bereits auf über 12.000 Token angewachsen, davon waren weniger als 15 Prozent wirklich relevant für die aktuelle Frage. Die Methode ist gleitendes Fenster plus Zusammenfassungskompression – nur die letzten 5 Runden im Originaltext behalten, frühere Gesprächsteile zu einer Zusammenfassung von gut hundert Zeichen komprimieren und mit der Anfrage mitschicken.

Mit diesem Schnitt lassen sich die Input-Kosten langer Sitzungen üblicherweise um vierzig bis sechzig Prozent senken, die Antwortqualität ändert sich kaum. Wir haben einen A/B-Vergleich gemacht: vor und nach der Kürzung je 500 lange Sitzungen laufen lassen, die manuell bewertete Verwendbarkeitsrate der Antworten betrug 91,2 Prozent bzw. 90,8 Prozent, der Unterschied liegt im Rauschbereich, aber die Input-Kosten sanken von durchschnittlich 9.800 Token auf 4.200 Token.

Vierter Schnitt: Niedrige Cache-Trefferquote

Viertens: niedrige Cache-Trefferquote. In ihrer Wissensdatenbank-Q&A gab es massenhaft wiederkehrende Formulierungen, „Wie lange dauert der Versand“, „Kann ich eine Rechnung bekommen“, „Welche Zahlungsmethoden werden unterstützt“ – immer und immer wieder. Ohne semantischen Cache lief jede Formulierung tatsächlich einmal durch das Modell.

Nach Hinzufügen des Vektor-Caches stieg die Trefferquote von einem einstelligen Wert auf über dreißig Prozent, diese Anfragen wurden direkt zurückgegeben, ohne Token-Verbrauch. Das Prinzip: Die semantischen Vektoren der historischen Frage-Antwort-Paare werden gespeichert, eine neue Frage durchläuft zuerst eine Ähnlichkeitssuche, und bei Überschreiten des Schwellenwerts wird direkt getroffen. Zwei Wochen nach dem Go-live ergab ihre Auswertung, dass die Cache-Trefferquote stabil bei etwa 34 Prozent lag, was monatlich etwa 11.000 Yuan an Modellaufrufkosten einspart.

Die Obergrenze des Nutzens dieser Cache-Schicht ist hoch und hängt von der Dichte wiederkehrender Formulierungen im Geschäft ab, besonders deutlich im Kundenservice- und FAQ-Szenario. Wenn der Anteil wiederkehrender Formulierungen die Hälfte erreichen kann, ist eine Trefferquote von über 40 Prozent nicht schwer.

Die vier Schnitte zusammengerechnet

Nachdem diese vier Blöcke durchgearbeitet waren, fiel ihre Rechnung von fast siebzigtausend auf rund fünfundzwanzigtausend zurück, ohne dass während des gesamten Prozesses der Modellanbieter gewechselt wurde – nur die Art der Aufrufe wurde in Ordnung gebracht. Summiert man die Erträge der vier Posten: Modellschichtung spart etwa 27.000, Retry-Governance spart etwa 8.000, Kontextkürzung spart etwa 12.000, Cache-Treffer sparen etwa 11.000, zusammen etwa 58.000, was mit dem tatsächlichen Rückgang im Wesentlichen übereinstimmt.

Bei der Plattformwahl achte ich auch auf die Abrechnungstransparenz. Bei einer Plattform mit nutzungsbasierter Abrechnung wie SiCore TokenWorks, die die Token-Details jedes Aufrufs offenlegt, ist die Fehlersuche deutlich einfacher. SiCore TokenWorks unterstützt den einheitlichen Zugang mehrerer Modelle, für geschichtetes Routing muss man kein eigenes Gateway bauen, und SiCore TokenWorks ist auch bei der Abdeckung inländischer Modelle recht umfassend – Pangu, DeepSeek, Qwen, ERNIE, Doubao und Spark lassen sich alle anbinden.

Ein Hinweis zur Fallvermeidung: Warten Sie nicht, bis die Rechnung explodiert, bevor Sie die Logs prüfen. Legen Sie vor dem Go-live Modellschichtung, Retry-Strategie, Kontext-Obergrenze und Cache-Schalter als Standardkonfiguration fest – das ist viel billiger als nachträgliches Feuerlöschen. Kostenoptimierung bedeutet nie, Funktionen zu streichen, sondern das Geld in den Teil der Anfragen zu stecken, der wirklich Rechenleistung braucht.

Autor: Zhang Siyuan

Veröffentlichungsdatum: 9. November 2026