8341TokenFactory
LLM APIAPI GatewayCost OptimizationAggregation

Anrufvolumen steigt um 40 %, aber die Rechnung fast dreifach? Die 8341Token-Fabrik hilft Ihnen, diese Rechnung klarzustellen

SiCore TokenWorks Team·2026-11-08

Als die Buchhaltung letzten Monat die Rechnung herüberschob, dachte ich, sie hätte sich verlesen. Das Anrufvolumen war gegenüber dem Vormonat um 40 % gestiegen, aber die Rechnung war von knapp sechsstellig auf fast das Dreifache gesprungen. Linear gerechnet hätte ich höchstens vierzig Prozent mehr zahlen dürfen – woher kam der Rest?

Ich habe die Anrufprotokolle der letzten dreißig Tage heruntergeladen und sie nach Modell, nach Schnittstelle und nach Anzahl der Wiederholungsversuche aufgeschlüsselt. Das Problem lag nicht an der „Menge", sondern an der „Struktur". Vier versteckte Blutungspunkte, jeder unauffälliger als der vorherige.

Zuerst der offensichtlichste: Das Flaggschiffmodell erledigte grobe Arbeit. Wir haben ein Modul zur Absichtserkennung, für das eigentlich ein leichtgewichtiges Modell ausgereicht hätte. In der Anfangsphase hing es aus Bequemlichkeit direkt am teuersten Flaggschiffmodell, und niemand hat es angefasst. Diese Art von Verkehr machte über sechzig Prozent aller Anfragen aus, trug aber extrem wenig Geschäftswert bei. Nach dem erneuten Durchlauf mit Modell-Tiering, bei dem Klassifizierung, Extraktion und Formatprüfung auf kleinere Modelle verlagert wurden und nur die Anfragen, die wirklich Reasoning benötigen, beim Flaggschiffmodell blieben, konnten diese Kosten auf ein Drittel bis die Hälfte des ursprünglichen Betrags gedrückt werden. Unterschätzen Sie diese Maßnahme nicht – sie erfordert keine Änderung der Geschäftslogik, nur des Routings.

Wie genau funktioniert das Tiering? Ich habe nach Aufgabentyp in drei Stufen unterteilt: Die erste Stufe ist Klassifizierung und Absichtserkennung – kurze Eingabe, kurze Ausgabe, einfache Logik, das schaffen kleine Modelle problemlos. Die zweite Stufe ist Informationsextraktion und Formatprüfung – etwas semantisches Verständnis nötig, aber kein mehrstufiges Reasoning, dafür mittlere Modelle. Die dritte Stufe erst sind komplexes mehrstufiges Reasoning, Langtextgenerierung und Code-Vervollständigung – die bleiben beim Flaggschiffmodell. Nach der Umstellung habe ich verglichen: Bei Aufgaben der ersten Stufe sank die Genauigkeit auf den kleinen Modellen um weniger als zwei Prozentpunkte, aber die Kosten pro Aufruf fielen um fast neunzig Prozent. Die zweite Stufe ist subtiler – der F1-Unterschied zwischen mittlerem Modell und Flaggschiffmodell bei Extraktionsaufgaben betrug weniger als 0,03, die Kosten unterschieden sich jedoch um das Fünffache. Diese Rechnung ist sofort klar: Das zusätzlich ausgegebene Geld war schlicht Bequemlichkeit.

Die zweite Falle ist noch heimtückischer. Der Wiederholungssturm. Der Timeout-Schwellenwert einer vorgelagerten Schnittstelle war zu eng gesetzt – bei der geringsten Netzwerkschwankung wiederholte der Client die Anfrage, die erneut timeoutete, und wieder versuchte er es. In den Protokollen sieht man, dass dieselbe Anfrage vier- oder fünfmal gesendet wurde, jedes Mal Token verbrannt wurden, während der Nutzer nur einen Fehlschlag sah. Dieser unnötige Verbrauch zeigt sich in der Rechnung kaum sichtbar, macht aber rund zwanzig Prozent aus. Die Maßnahme ist einfach: Wiederholungen auf idempotente Wiederholungen mit Backoff umstellen, den Timeout-Schwellenwert lockern, serverseitig Anfragen deduplizieren. Danach konnten die unnötigen Token um mehr als die Hälfte reduziert werden.

Hier einige Schlüsselparameter im Detail. Wir haben den Timeout-Schwellenwert von ursprünglich 3 Sekunden auf 15 Sekunden gelockert, die Anzahl der Wiederholungen von unbegrenzt auf maximal zwei begrenzt, und die Backoff-Strategie auf exponentielles Backoff mit Jitter umgestellt – die erste Wiederholung wartet 1 Sekunde, die zweite 2 Sekunden, mit zufälligem Jitter zur Vermeidung von Herdeneffekten. Serverseitig wurde ein Anfrage-Fingerabdruck hinzugefügt: Derselbe Fingerabdruck wird innerhalb von 60 Sekunden nur einmal verarbeitet, nachfolgende Anfragen erhalten direkt das zwischengespeicherte Ergebnis. Nach der Änderung habe ich eine Woche lang genau beobachtet: Die Wiederholungsrate sank von ursprünglich 18 % auf unter 4 %, der unnötige Token-Verbrauch wurde um mehr als siebzig Prozent reduziert. Ein unerwarteter Nebeneffekt: Die Timeout-Beschwerden der Nutzer gingen zurück, weil durch die gelockerte Schwelle die Anfragen, die eigentlich erfolgreich hätten sein können, aber zu früh abgebrochen wurden, nun normal zurückkehren.

Der dritte Punkt: Langer Kontext ohne Kürzung. Unsere Dialog-Schnittstelle stopfte standardmäßig die gesamte Historie hinein – wenn der Nutzer bis zur zwanzigsten Runde chattete, war die Eingabe-Token-Menge mehr als zehnmal so groß wie in der ersten Runde. Tatsächlich ist der Großteil der Historie für die aktuelle Antwort nutzlos. Mit einem gleitenden Fenster plus Zusammenfassungskompression, bei dem nur die letzten Runden im Original plus eine rollierende Zusammenfassung erhalten bleiben, lässt sich die Eingabeseite um vierzig bis sechzig Prozent reduzieren. Ein Detail dabei: Die Zusammenfassung selbst kostet ebenfalls Token, daher darf das Fenster nicht zu stark komprimiert werden – man muss den Wendepunkt finden.

Wir haben mehrere Parametersätze ausprobiert und uns schließlich auf die Kombination „letzte fünf Runden im Original + rollierende Zusammenfassung" festgelegt. Die rollierende Zusammenfassung wird nicht jede Runde neu generiert, sondern alle drei Runden aktualisiert, wobei ältere Dialoge zu einer Zusammenfassung von unter zweihundert Zeichen komprimiert werden. Dadurch sank die Token-Menge auf der Eingabeseite von über achttausend in der zwanzigsten Runde auf etwas über dreitausend – ein Rückgang von über sechzig Prozent. Ich habe aber auch versucht, auf nur die letzten zwei Runden zu komprimieren – das Ergebnis war eine deutlich schlechtere Antwortqualität, und bei Rückfragen der Nutzer zum Kontext antwortete das Modell oft am Thema vorbei. Dieser Wendepunkt existiert also tatsächlich, und man muss ihn für das eigene Geschäftsszenario testen. Unsere Erfahrung: Die Fenstergröße sollte nicht unter die letzten drei Runden fallen, und die Aktualisierungsfrequenz der Zusammenfassung sollte nicht höher als alle zwei Runden sein – sonst reicht das eingesparte Token-Geld nicht aus, um den Verlust an Nutzererfahrung zu kompensieren.

Der vierte Punkt: niedrige Cache-Trefferquote. Identische oder sehr ähnliche Anfragen kamen immer wieder herein, aber wir inferierten jedes Mal neu. System-Prompts, feste Vorlagen, häufig gestellte Fragen – all das völlig cachebare Material – hatten damals eine Trefferquote von unter zehn Prozent. Nach Hinzufügen einer semantischen Cache-Schicht werden wiederholte Anfragen direkt zurückgegeben; die Einsparung hängt von der Wiederholungsrate im Geschäft ab, bei uns lag sie zwischen zwanzig und dreißig Prozent.

Der semantische Cache verdient ein paar zusätzliche Worte. Ein exakter Cache trifft nur völlig identische Anfragen, aber in der Praxis sind viele Anfragen „sinngemäß gleich, aber anders formuliert". Zum Beispiel fragt ein Nutzer „Wie erstatte ich zurück" und ein anderer „Was ist der Rückerstattungsprozess" – exakte Übereinstimmung schlägt fehl, semantischer Cache greift. Unser Ansatz: Die Eingabe vektorisieren, in der Cache-Datenbank eine approximative Nächste-Nachbarn-Suche durchführen und bei Ähnlichkeit über dem Schwellenwert das zwischengespeicherte Ergebnis direkt zurückgeben. Der Schwellenwert ist entscheidend: Zu hoch, und die Trefferquote bleibt niedrig; zu niedrig, und es werden leicht irrelevante Antworten zurückgegeben. Wir haben uns schließlich auf 0,92 festgelegt, wodurch die Trefferquote von unter 10 % auf 34 % stieg – ohne eine einzige Nutzerbeschwerde über am Thema vorbeigehende Antworten. Bei System-Prompts und festen Vorlagen ist es einfacher: direktes Prefix-Caching mit einer Trefferquote von nahezu 100 %.

Alle vier Maßnahmen zusammen – wir sind später mit nutzungsbasierter Abrechnung plus Modell-Tiering erneut durchgelaufen – und die Rechnung fiel auf etwa das 1,2-Fache vor dem Anstieg zurück, während das Anrufvolumen weiterhin bei jenen 40 % Zuwachs lag. Nebenbei bemerkt: Zwischendurch haben wir token8341 für die einheitliche Multi-Modell-Anbindung ausprobiert – ein Key für mehrere Anbieter, und nach Vereinheitlichung von Routing und Abrechnungslogik wurde die Fehlersuche bei solchen strukturellen Problemen deutlich einfacher.

Noch ein leicht übersehener Punkt: Monitoring und Zuordnung. Der Grund, warum diese vier Probleme so lange unentdeckt blieben, war, dass unsere Rechnung nur nach Modell- und Schnittstellendimension aufgeschlüsselt wurde, nicht nach „Aufgabentyp" und „Anfrage-Fingerabdruck". Später habe ich eine Ebene mit Aufruf-Tags hinzugefügt: Jede Anfrage erhält Tags für Aufgabentyp, ob Wiederholung, ob Cache-Treffer und Kontextrunden. Wenn dann die Rechnung kommt, sieht man auf einen Blick, welcher Teil Geld verbrennt. Das Tag-System selbst spart kein Geld, aber ohne es weiß man gar nicht, wohin das Geld fließt.

Warnung vor Fallstricken: Wechseln Sie nicht sofort zu billigeren Modellen. Zerlegen Sie zuerst die Aufrufstruktur – oft wird das Geld nicht beim Stückpreis ausgegeben, sondern bei Wiederholungen und Redundanz, derer Sie sich gar nicht bewusst sind. Die Stückpreisoptimierung ist der letzte Schritt, nicht der erste.

Autor: Zhao Qiming

Veröffentlichungsdatum: 9. November 2026