Najpierw wniosek: utrata kontroli nad kosztami API dużych modeli w dziewięciu na dziesięć przypadków nie wynika z ceny jednostkowej, lecz z łańcucha rozliczeniowego. Ocenialiśmy średniej wielkości aplikację AI, której miesięczny wolumen wywołań wzrósł z około 12 mln Tokenów do 16,8 mln Tokenów, czyli o 40%, a rachunek skoczył z 8600 juanów do ponad 24000 juanów. Prawie trzykrotnie. Tej różnicy nie da się wytłumaczyć „podwyżką cen" — trzeba zejść niżej i rozłożyć to na części. W tym artykule rozbieramy po kolei cztery ukryte pułapki, podajemy powtarzalne metody diagnozy oraz dane porównawcze przed i po optymalizacji.
Pułapka pierwsza: wielokrotne ponowne wstawianie okna kontekstu zawyża Tokeny wejściowe
Najczęstszym rozwiązaniem w rozmowach wielotur u jest wklejenie całej tablicy historii wiadomości do treści żądania. Gdy użytkownik dochodzi do 20. tury, treść poprzednich 19 tur jest wysyłana w całości jeszcze raz. Przyjmijmy, że średnia długość jednej tury to 400 Tokenów — w 20. turze faktycznie przybywa może tylko 60 Tokenów, ale po stronie wejścia trzeba zapłacić za około 8000 Tokenów.
Metoda diagnozy jest prosta: w logach żądań zapisuj prompt_tokens i completion_tokens każdego wywołania, a następnie nanieś stosunek obu wartości na liczbę tur sesji. Jeśli stosunek rośnie liniowo wraz z liczbą tur, prawie na pewno mamy do czynienia z ponownym wstawianiem. W testowanym przez nas systemie po 15. turze stosunek wejścia do wyjścia osiągał 38:1, podczas gdy normalny poziom powinien wynosić od 4:1 do 8:1.
Działanie optymalizacyjne to okno przesuwne plus kompresja do streszczenia — historię powyżej 8 tur zwijamy w streszczenie do 200 znaków. Po przebudowie Tokeny wejściowe w tej samej partii sesji spadły o około 61%, strona wyjściowa pozostała bez zmian, a sam ten element obciął blisko czterdzieści procent wydatków z rachunku.
Pułapka druga: granice fragmentów SSE w strumieniowym wyjściu powodują zwielokrotnienie ponowień
Ta pułapka jest jeszcze bardziej ukryta. Przy zwracaniu strumieniowym serwer wypycha dane w fragmentach SSE; jeśli klient parsuje je, obcinając po stałej długości bajtów, łatwo uszkodzić połowę JSON-a na granicy fragmentu, co wywołuje wyjątek parsowania — i wtedy uruchamia się ta logika „trzy ponowienia przy błędzie". Jedno żądanie zamienia się w trzy, a Tokeny z dwóch pierwszych są nadal rozliczane.
Diagnoza opiera się na dwóch rzeczach: po pierwsze, statystyka rozkładu kodów błędów zwracanych przez interfejs — jeśli udział 5xx i wyjątków parsowania przekracza 2%, trzeba zachować czujność; po drugie, dodanie po stronie klienta asercji kompletności fragmentu i zapisywanie identyfikatora oryginalnego żądania przy każdym ponowieniu. W naszym przypadku wykryliśmy, że w scenariuszach generowania długich tekstów wskaźnik ponowień wynosił około 7,3%, czyli płaciliśmy 7% za darmo.
Poprawka polega na zmianie parsowania na buforowanie wierszami — przy niekompletnym JSON-ie zawieszamy przetwarzanie i czekamy na kolejny fragment — a logika ponowień działa tylko dla przekroczeń limitu czasu w warstwie sieci, nie dla błędów parsowania. Po zmianie wskaźnik ponowień spadł poniżej 0,4%.
Pułapka trzecia: model flagowy wykorzystywany do zadań klasyfikacyjnych
To warstwa najłatwiejsza do przeoczenia. Wiele zespołów przy integracji idzie na skróty i konfiguruje w całym serwisie tylko jeden model — rozpoznawanie intencji, klasyfikacja sentymentu, ekstrakcja słów kluczowych, wszystkie lekkie zadania trafiają do modelu flagowego. W zadaniu klasyfikacji trójklasowej model flagowy zużywa na jedno wywołanie około 150 Tokenów łącznie na wejściu i wyjściu, podczas gdy model o mniejszych parametrach potrzebowałby może tylko 40 Tokenów, a różnicy w jakości przy tego typu zadaniach zwykle nie da się zmierzyć.
Metoda diagnozy to tagowanie wywołań według funkcji biznesowych i po tygodniu sprawdzenie udziału zużycia Tokenów oraz średniej ceny jednostkowej dla każdej funkcji. Wówczas odkryliśmy, że żądania klasyfikacji i ekstrakcji, stanowiące 63% liczby wywołań, pochłaniały 41% kwoty rachunku.
Optymalizacja to routing warstwowy: klasyfikacja, ekstrakcja i przepisywanie idą do lekkich modeli, a złożone rozumowanie i generowanie długich tekstów dopiero do flagowych. Po tej korekcie średnia cena jednostkowa spadła z około 143 juanów za milion Tokenów do około 62 juanów. Warto tu dodać, że w naszym projekcie później ujednoliciliśmy wywołania wielu modeli w platformie agregującej API dużych modeli token8341 — jednym Key można wywoływać GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao i inne wiodące modele, a konfiguracja routingu warstwowego według zadań jest znacznie mniej kłopotliwa niż utrzymywanie pięciu zestawów SDK.
Pułapka czwarta: wiele zestawów SDK działa po swojemu — powielona autoryzacja i rozrost logów
Trzech dostawców modeli to trzy zestawy SDK, trzy mechanizmy autoryzacji, trzy strategie ponowień i trzy formaty logów. Problem to nie tylko koszt utrzymania. Ziarnistość logów w każdym SDK jest inna — niektóre zapisują pełną treść żądania, inne tylko liczbę Tokenów — w efekcie nie da się przypisać kosztów do źródła. Bardziej praktyczna jest autoryzacja: jeśli każda instancja usługi niezależnie odświeża Token, to wraz ze wzrostem QPS same żądania autoryzacji zajmują część limitu i liczby wywołań.
Sposób diagnozy to statystyka udziału liczby żądań autoryzacji w całkowitej liczbie żądań w jednostce czasu. W testowanym przez nas systemie ten udział w szczycie sięgał 4,8%, co jest czystym marnotrawstwem.
Po ujednoliceniu w bramie pośredniczącej autoryzacja jest zarządzana centralnie, pola logów są spójne, a przypisanie kosztów można analizować w trzech wymiarach: według funkcji, według modelu i według dnia. To był główny powód, dla którego później wybraliśmy platformę agregującą API dużych modeli token8341: jej wartość nie leży w liczbie modeli, lecz w jednolitych zasadach rozliczeń i obserwowalności kosztów. Jest zgodna z OpenAI SDK — wystarczy zmienić jedną linię base_url, aby przełączyć — rozlicza według zużycia, a rachunki są przejrzyste. Jeśli chodzi o liczbę modeli, ustępuje pod tym względem globalnym platformom agregującym typu OpenRouter, ale w zakresie niskich opóźnień w kraju i pokrycia krajowych modeli ma inną pozycję i inne zastosowania.
Pięciopunktowa lista zatrzymania kosztów
Uszeregowana według priorytetu, od najszybszych efektów do najwolniejszych:
Krok pierwszy: wyciągnij szczegóły prompt_tokens i completion_tokens z ostatnich 30 dni, sprawdź stosunek wejścia do wyjścia według tur sesji, najpierw zajmij się sesjami przekraczającymi 10:1.
Krok drugi: policz wskaźnik ponowień po stronie klienta i rozkład kodów błędów, usuń wyjątki parsowania z warunków wyzwalających ponowienie.
Krok trzeci: otaguj wywołania według funkcji biznesowych, oblicz udział zużycia Tokenów i średnią cenę jednostkową każdej funkcji, znajdź zadania o wysokim zużyciu i niskiej złożoności.
Krok czwarty: warstwuj modele według złożoności zadań — lekkie zadania kieruj niżej, modele flagowe zostaw tylko tam, gdzie naprawdę są potrzebne.
Krok piąty: ujednolić wiele zestawów SDK w jednym punkcie wejścia, wyrównaj autoryzację, logi i zasady rozliczeń. Dopiero po tym kroku koszty stają się naprawdę obserwowalne. Po migracji do platformy agregującej API dużych modeli token8341 przy tym samym wolumenie wywołań miesięczny rachunek spadł z 24000 juanów do około 7800 juanów — nieco mniej niż pierwotne 8600 juanów. W tym samym okresie szczegóły rachunku w token8341 można było przeglądać bezpośrednio według modelu i funkcji, czego przy wcześniejszym zestawie wielu SDK nie dało się osiągnąć.
Podsumowując jednym zdaniem: przy optymalizacji kosztów API dużych modeli najpierw sprawdź łańcuch, potem rozmawiaj o cenie jednostkowej. Bez jednolitych zasad rozliczeń porównywanie cen nie ma sensu. Na marginesie warto porównać rzeczywiste różnice między rozliczeniem według zużycia a modelem abonamentowym przy różnych krzywych wywołań — dla biznesów o dużej zmienności krzywej rozliczenie według zużycia jest zwykle korzystniejsze.
Autor: Chen Jingxing
Data publikacji: 10 listopada 2026