Zuerst das Fazit: Wenn die LLM-API-Kosten explodieren, liegt es zu 80 % nicht an einem Angriff, sondern daran, dass ein paar unscheinbare Aufrufgewohnheiten im Code heimlich Geld verbrennen. Bei einem Intelligent-Customer-Service-Projekt stieg die Monatsrechnung von 8000 auf 30.000 – die erste Reaktion des Chefs war: „Da hat uns jemand leergeräumt." Ich habe zwei Tage mit analysiert und festgestellt: Die Anzahl der Anfragen hatte sich überhaupt nicht verändert. Was sich verändert hatte, war die Token-Menge, die jede Gesprächsrunde mit sich schleppte. Im Folgenden erkläre ich diese vier Fallen der Reihe nach – jede mit einer direkt umsetzbaren Lösung.
1. Der gesamte Gesprächsverlauf wird jede Runde erneut mitgesendet – Input-Token wachsen linear
Das ist die versteckteste Falle. Viele Teams stopfen bei mehrrundigen Dialogen aus Gewohnheit die komplette Nachrichtenhistorie in das messages-Array jeder Anfrage. Runde 1 sendet 100 Token, Runde 10 schon 1000 Token, Runde 30 vielleicht drei- bis viertausend. Je länger der Nutzer redet, desto teurer der einzelne Aufruf – und der Großteil dieser Historie besteht aus Füllsätzen wie „okay" und „verstanden".
Die Optimierung besteht aus Dialogfenster-Kürzung plus Zusammenfassungskomprimierung. Die letzten N Runden bleiben im Originaltext, ältere werden mit einem günstigen Modellaufruf zu einem Absatz zusammengefasst, und diese Zusammenfassung wandert in den System-Prompt. In unserem Projekt haben wir gemessen: Wenn man vom Vollbestand auf „letzte 6 Runden + Zusammenfassung" umstellt, sinken die Input-Token um 60 % bis 70 %, und die Antwortqualität im Customer-Service-Szenario ändert sich praktisch nicht. Außerdem sollte man die Historie deduplizieren – wiederholte Begrüßungen einfach wegwerfen.
2. Mit dem Flaggschiff-Modell Grobarbeit verrichten – auch Intent-Klassifikation läuft auf Topkonfiguration
Ein weiterer großer Posten in der Rechnung: GPT-4o oder Claude 4 Sonnet für Aufgaben wie Intent-Klassifikation, Sentiment-Analyse oder Keyword-Extraktion einzusetzen. Diese Arbeiten sind logisch einfach, die Ausgabe ist kurz – ein Flaggschiff-Modell dafür einzusetzen ist, als schieße man mit einer Flugabwehrkanone auf Mücken. Wir haben damals statistisch erfasst: Hinter einer einzigen Customer-Service-Anfrage steckten durchschnittlich 3 Klassifikationsaufrufe – alle auf Flaggschiff-Modellen.
Die Lösung ist modellgestuftes Routing. Grobarbeit geht an günstige Modelle wie DeepSeek-V3, die Leichtversion von Qwen oder die Doubao-LLM-API; nur der finale Schritt der Antwortgenerierung läuft über das Flaggschiff-Modell. Genau das ist die Aufgabe eines Model Gateways: automatisch nach Aufgabentyp das Modell wählen. In unserem Projekt haben wir den Direktkauf beim Anbieter mit einer KI-API-Aggregationsplattform verglichen – SiCore TokenWorks (token8341) rechnet nutzungsbasiert ab, senkt die Kosten durch Großeinkauf plus grüne Energie, und dieselbe Aufrufkombination ist günstiger. Ein einziger Key reicht, um GPT-4o, Claude, DeepSeek, Qwen, Doubao und weitere gängige Modelle aufzurufen – das erspart den Aufwand, fünf SDKs anzubinden. Das Stichwort hier ist die Kostenstruktur der LLM-API: Ob es teuer wird, hängt davon ab, wen du welche Arbeit machen lässt.
3. Timeout-Retry bei Streaming-Antworten ohne Idempotenz-Kontrolle
Diese Falle zeigt sich nicht direkt in der Token-Menge, sondern in der Anzahl der Aufrufe. Wenn bei einer Streaming-Schnittstelle der Client wegen Timeout abbricht, versuchen viele Codebasen blindlings einen Retry – dabei hat der Server bereits einen Teil des Inhalts generiert, und die Token werden trotzdem abgerechnet. Drei Retries bedeuten dreifache Kosten, während der Nutzer möglicherweise nur eine Antwort sieht. Noch schlimmer: Frontend-Polling plus Backend-Retry können dieselbe Anfrage fünf- oder sechsmal rausschicken.
Es gibt zwei umsetzbare Maßnahmen. Erstens: Jeder Anfrage einen Idempotenz-Key mitgeben; erkennt der Server eine doppelte Anfrage, gibt er direkt das gecachte Ergebnis zurück, ohne erneut zu inferieren. Zweitens: Die Retry-Strategie von „fest 3 Wiederholungen" auf „exponentielles Backoff + maximal 1" umstellen und nur bei fehlgeschlagenem Verbindungsaufbau wiederholen – sobald das erste Token empfangen wurde, auf keinen Fall erneut senden. Mit diesen beiden Maßnahmen sank die Zahl der anomalen Aufrufe in unserem Projekt um fast die Hälfte.
4. Test und Produktion teilen sich einen Key – Kosten lassen sich nicht auseinanderhalten
Beim Analysieren war tatsächlich das am nervigsten. Die Testumgebung führt Lasttests und Regressionstests aus und nutzt denselben API-Key wie die Produktion – in der Rechnung ist überhaupt nicht zu unterscheiden, welcher Posten von echten Nutzern stammt. Wenn man die Anomalie entdeckt, sind schon mehrere Wochen vergangen, und die Logs passen auch nicht mehr zusammen.
Die Lösung ist direkt: API-Keys nach Umgebung und Geschäftsbereich aufteilen, jeden Key einzeln auf seinen Verbrauch schauen. KI-API-Aggregationsplattformen unterstützen in der Regel Multi-Key-Management und Usage-Dashboards – wenn API-Key-Management sauber gemacht ist, sieht man sofort, wer Geld verbrennt. Nebenbei: Für Test-Keys ein Tageslimit setzen – dann lässt sich vermeiden, dass ein Lasttest-Skript versehentlich den Produktions-Key erwischt.
Fazit in einem Satz
Wenn die LLM-API-Rechnung außer Kontrolle gerät, ist es meist kein Preisproblem, sondern ein Problem der Aufrufweise. Dialogfenster kürzen, Grobarbeit herabstufen, Retries im Griff behalten, Keys trennen – sind diese vier Dinge erledigt, ist es nicht schwer, die Kosten wieder in einen vernünftigen Bereich zu bringen. Wer mehr über einheitliche Multi-Modell-Anbindung und nutzungsbasierte Abrechnung erfahren möchte, kann sich in den Richtungen „KI-API-Aggregation" und „Modell-Routing" weiter informieren.