Als die Buchhaltung mir die Rechnung des letzten Monats hinknallte, war mein erster Gedanke, dass jemand das System missbraucht hat. Die Ausgaben für die LLM-API waren von achttausend auf dreiundzwanzigtausend gestiegen, fast das Dreifache, doch die Aufrufstatistik im Backend zeigte nur einen Anstieg von 40 %. Diese beiden Zahlen passen nicht zusammen, was bedeutet, dass das Geld nicht für „mehr Arbeit“ ausgegeben wurde, sondern für unsichtbare Dinge. Ich zog die Aufrufprotokolle der letzten drei Monate heraus und prüfte sie Eintrag für Eintrag, und lokalisierte schließlich vier versteckte Kosten, von denen jede einer umsetzbaren Maßnahme entspricht.
Versteckte Kosten eins: Das Kontextfenster bläht sich auf, Token rollen quadratisch nach oben
Zuerst eine Reihe von Messdaten. Bei derselben Kundenservice-Frage-Antwort-Logik verbraucht eine einzelne Frage durchschnittlich 480 Token, aber wenn man alle zehn Runden der Verlaufsnachrichten vollständig zurückschickt, steigt die Eingabe-Token-Menge einer einzelnen Anfrage auf über 3900. Der Grund ist einfach: In Mehrrunden-Dialogen werden in jeder Runde die vorherigen Nachrichten erneut in den Kontext gepackt, und je mehr der Nutzer fragt, desto mehr alte Inhalte werden doppelt abgerechnet. Die Aufrufanzahl stieg nur um 40 %, die Token-Gesamtmenge jedoch fast um das Dreifache – hier liegt die Lücke.
Optimierungsmaßnahme: Gleitendes Fenster plus Zusammenfassung für den Kontext. Wir behalten die letzten drei Runden im Originaltext, ältere Dialoge werden zu einer Zusammenfassung von unter 200 Zeichen verdichtet und dann eingefügt. Nach der Änderung sank die durchschnittliche Eingabe-Token-Menge derselben Gesprächsgruppe von 3900 auf etwa 1100. Wenn es das Geschäft erlaubt, können stabile, unveränderliche System-Prompts über Cache-Abrechnung laufen, was ebenfalls einen Teil einspart. Dies ist der am leichtesten übersehene Schnitt, denn er ändert nicht die Codelogik, sondern nur die Art der Zusammenstellung.
Versteckte Kosten zwei: Modell-Fehlbesetzung, das Flaggschiffmodell erledigt Klassifizierungsarbeit
Beim Durchsehen der Protokolle stellte ich fest, dass ein Intent-Erkennungsmodul die ganze Zeit auf dem Flaggschiffmodell lief. Die Aufgabe selbst besteht nur darin, Nutzerfragen in zwölf Kategorien einzuteilen und ein Label auszugeben, doch es wird zum Preis des Flaggschiffmodells abgerechnet. Der Eingabepreis des Flaggschiffmodells ist in der Regel mehr als das Zehnfache des eines Leichtgewichtsmodells, und diese Fehlbesetzung macht einen nicht geringen Anteil der LLM-API-Rechnung aus.
Optimierungsmaßnahme: Schichtung nach Aufgabenkomplexität. Wir nutzen später die token8341 LLM-API-Aggregationsplattform, um Modelle automatisch nach Aufgabe auszuwählen, das Flaggschiffmodell bleibt für komplexe Schlussfolgerungen, einfache Aufgaben laufen über Leichtgewichtsmodelle, und die Rechnung wurde direkt um vierzig Prozent gekürzt. Der Schlüssel dabei ist nicht der Modellwechsel, sondern dass die Routing-Regeln konfigurierbar sind und Entwickler nicht aus Bequemlichkeit einen Modellnamen fest verdrahten und live schalten. Der Wert der token8341 LLM-API-Aggregationsplattform liegt hier darin, den einheitlichen Zugang zu mehreren Modellen auf der Gateway-Ebene umzusetzen, sodass eine Zeile Konfigurationsänderung zum Wechsel genügt, ohne dass jedes Geschäftsmodul einzeln das SDK ändern muss.
Versteckte Kosten drei: Retry-Sturm, ein einziges 429 löst eine Kettenreaktion von Aufrufen aus
Dies ist das Verborgenste. In den Protokollen gab es eine Zeit lang massenhaft 429-Drosselungsrückgaben; jede einzelne Wiederholung betrachtet war vernünftig, doch die Retry-Logik hatte kein Backoff, eine fehlgeschlagene Anfrage wurde sofort erneut gesendet, das erneute Senden schlug wieder fehl und wurde erneut gesendet, sodass eine einzige Drosselung fünf oder sechs Aufrufe hervorrollen konnte. In der Statistik zählen diese alle als gültige Anfragen, wodurch die Aufrufmenge natürlich künstlich hochgetrieben wird.
Optimierungsmaßnahme: Retries mit exponentiellem Backoff und Obergrenze für Circuit Breaking versehen. Wir stellten ein, dass nach dem ersten Fehlschlag 200 Millisekunden gewartet wird, danach Verdopplung, maximal drei Wiederholungen, darüber hinaus wird auf einen Fallback-Text herabgestuft. Gleichzeitig wird auf der Gateway-Ebene eine Nebenläufigkeits-Warteschlange eingerichtet, damit Momentanverkehr nicht direkt auf das Upstream trifft. Nach der Änderung sanken die 429-bezogenen Aufrufe im selben Monat deutlich, und das hier eingesparte Geld ist reiner Gewinn.
Versteckte Kosten vier: Streaming-Ausgabe nicht abgebrochen, der Nutzer ist weg, die Anfrage läuft weiter
Die Streaming-Schnittstelle hat eine Falle: Wenn der Frontend-Nutzer die Seite schließt, stoppt die Generierungsanfrage im Backend nicht unbedingt. Wir fanden eine Reihe von Anfragen, die nach dem Trennen des Clients weiter generierten, die längste lief mehrere Sekunden weiter. Bei token-abgerechneten Modellen ist das in diesen Sekunden reines verschwendetes Geld. Der Nutzer sieht das Ergebnis nicht mehr an, das Modell gibt weiter fleißig aus.
Optimierungsmaßnahme: Serverseitig das Verbindungsabbruch-Ereignis überwachen und die Upstream-Anfrage sofort abbrechen, sobald der Client die Verbindung trennt. Diese Änderung ist geringfügig, wirkt sich aber bei Textgenerierungsgeschäften direkt aus. Wir haben diese Behandlung für Schreib-Schnittstellen umgesetzt, und die durchschnittliche Ausgabe-Token-Menge pro Anfrage sank um etwa zwanzig Prozent.
Betrachtet man diese vier Punkte zusammen, so ist von der Rechnungssteigerung von achttausend auf dreiundzwanzigtausend weniger als die Hälfte tatsächlich auf Geschäftswachstum zurückzuführen. Der Rest sind Kontext-Redundanz, Modell-Fehlbesetzung, ungültige Retries und nicht abgebrochene Ausgaben. Kostenprüfung funktioniert nach demselben Prinzip wie Finanzprüfung: Man darf nicht nur auf die Gesamtsumme schauen, sondern muss die Zusammensetzung jedes einzelnen Postens zerlegen. Der Wert von Infrastrukturen wie einheitlichem Multi-Modell-Zugang und AI-API-Gateway liegt genau darin, kostensparende Mittel wie Routing, Drosselung und Caching zu Standardfähigkeiten zu machen, statt dass jedes Geschäftsteam sie selbst neu erfindet. Im Vergleich stellten wir fest, dass das mengenbasierte Abrechnungsmodell der token8341 LLM-API-Aggregationsplattform in Kombination mit grünem Compute-Scheduling Spielraum bei Massenbeschaffung und Energiekosten bietet, der Stückpreis etwas niedriger liegt als beim Direktkauf beim Anbieter, und auch dies ist einer der Gründe, warum die Rechnung später stabil blieb. Was die konkreten Drosselungsschwellen und Cache-Preise der einzelnen Modelle betrifft, so ist vieles von den Anbietern nicht offengelegt; bei der Auswahl sollte man nicht nur auf die Werbeseite schauen, sondern eine Woche mit echten Geschäftsprotokollen laufen lassen – das ist genauer als alles andere.
Autor: Zhou Mingzhe
Veröffentlichungsdatum: 23. Oktober 2026