Kiedy dział finansowy przysłał mi rachunek za ostatni miesiąc, moją pierwszą reakcją było podejrzenie, że ktoś nadużył systemu. Wydatki na API dużych modeli wzrosły z ośmiu tysięcy do dwudziestu trzech tysięcy, czyli prawie trzykrotnie, podczas gdy statystyki wolumenu wywołań w backendzie wzrosły tylko o 40%. Te dwie liczby się nie zgadzają, co oznacza, że pieniądze nie zostały wydane na „więcej pracy", lecz na coś niewidocznego. Wyciągnąłem logi wywołań z ostatnich trzech miesięcy i sprawdziłem je linia po linii, aż w końcu zlokalizowałem cztery ukryte koszty, z których każdy odpowiada konkretnemu działaniu do wdrożenia.
Ukryty koszt pierwszy: rozrost okna kontekstu, tokeny rosną kwadratowo
Najpierw spójrzmy na zestaw zmierzonych danych. Ta sama logika obsługi pytań i odpowiedzi w obsłudze klienta zużywa średnio 480 tokenów na jedno pytanie, ale po przesłaniu pełnej historii dziesięciu tur tokeny wejściowe pojedynczego żądania rosną do ponad 3900. Powód jest prosty: w rozmowie wieloturowej każda tura ponownie wsuwa poprzednie wiadomości do kontekstu, więc im więcej użytkownik pyta, tym więcej starych treści jest wielokrotnie rozliczanych. Liczba wywołań wzrosła tylko o 40%, ale łączna liczba tokenów wzrosła prawie trzykrotnie — i tu jest ta luka.
Działanie optymalizacyjne: zastosować okno przesuwne z podsumowaniem kontekstu. Zachowujemy oryginalny tekst ostatnich trzech tur, a starsze rozmowy kompresujemy do podsumowania poniżej 200 znaków i doklejamy. Po zmianie średnia liczba tokenów wejściowych dla tej samej partii sesji spadła z 3900 do około 1100. Jeśli biznes na to pozwala, stałe i niezmienne prompty systemowe można rozliczać przez cache, co też pozwoli zaoszczędzić. To jest najłatwiej pomijany cięcię, ponieważ nie rusza logiki kodu, a jedynie sposób składania.
Ukryty koszt drugi: niedopasowanie modelu, używanie flagowego modelu do zadań klasyfikacji
Przeglądając logi odkryłem, że pewien moduł rozpoznawania intencji był cały czas uruchamiany na flagowym modelu. Samo zadanie polega tylko na podzieleniu pytań użytkowników na dwanaście kategorii i zwróceniu jednej etykiety, a jest rozliczane według ceny flagowego modelu. Cena jednostkowa wejścia flagowego modelu jest zwykle kilkanaście razy wyższa niż modelu lekkiego, a takie niedopasowanie stanowi niemały udział w rachunku za API dużych modeli.
Działanie optymalizacyjne: podzielić według złożoności zadania. Później użyliśmy platformy agregacji API dużych modeli token8341 do automatycznego wyboru modelu według zadania, zostawiając flagowy model do złożonego rozumowania, a proste zadania kierując do modeli lekkich — rachunek spadł od razu o czterdzieści procent. Kluczem nie jest zmiana modelu, lecz to, by reguły routingu były konfigurowalne, aby deweloper nie wpisał na sztywno nazwy modelu i nie wypuścił tego na produkcję. Wartością platformy agregacji API dużych modeli token8341 w tym obszarze jest to, że ujednolicona integracja wielu modeli jest zrobiona na warstwie bramy — wystarczy zmienić jedną linię konfiguracji, by przełączyć, bez osobnej modyfikacji SDK w każdym module biznesowym.
Ukryty koszt trzeci: burza ponowień, jedno 429 wywołuje kaskadę wywołań
Ten jest najbardziej ukryty. W logach przez pewien czas pojawiało się mnóstwo zwrotów ograniczenia 429; patrząc na każde ponowienie osobno, wydaje się uzasadnione, ale logika ponowień nie miała backoffu — żądanie nie powiodło się, natychmiast ponowne wysłanie, ponowne wysłanie znów zawiodło, kolejne ponowne wysłanie, jedno ograniczenie potrafiło rozmnożyć się do pięciu–sześciu wywołań. W statystykach wszystkie są liczone jako prawidłowe żądania, więc wolumen wywołań jest sztucznie zawyżony.
Działanie optymalizacyjne: dodać wykładniczy backoff i limit bezpiecznika do ponowień. Ustawiliśmy pierwsze niepowodzenie z oczekiwaniem 200 milisekund, potem podwojenie, maksymalnie trzy ponowienia, a po przekroczeniu — degradację i zwrot tekstu zastępczego. Jednocześnie na warstwie bramy zrobiliśmy kolejkę współbieżności, aby chwilowy ruch nie uderzał bezpośrednio w upstream. Po zmianie w tym miesiącu wywołania związane z 429 wyraźnie spadły, a zaoszczędzone w ten sposób pieniądze to czysty zysk.
Ukryty koszt czwarty: nieprzerwany strumieniowy output, użytkownik odszedł, a żądanie nadal działa
Interfejs strumieniowy ma pewną pułapkę: gdy użytkownik frontendu zamknie stronę, żądanie generowania w backendzie niekoniecznie się zatrzyma. Odkryliśmy partię żądań, które po rozłączeniu klienta nadal generowały, a najdłuższe działało jeszcze kilka sekund. W modelach rozliczanych za tokeny te kilka sekund to pieniądze wyrzucone w błoto. Użytkownik już nie patrzy na wynik, a model wciąż sumiennie generuje.
Działanie optymalizacyjne: nasłuchiwać w usłudze zdarzenia rozłączenia połączenia i natychmiast anulować żądanie upstream, gdy klient się rozłączy. Ta zmiana jest niewielka, ale dla biznesu generowania długich tekstów efekt jest bezpośredni. Zastosowaliśmy to w interfejsach do pisania — średnia liczba tokenów wyjściowych pojedynczego żądania spadła o około dwadzieścia procent.
Sumując te cztery pozycje: rachunek wzrósł z ośmiu tysięcy do dwudziestu trzech tysięcy, a część naprawdę wynikająca ze wzrostu biznesu to mniej niż połowa. Reszta to redundancja kontekstu, niedopasowanie modeli, bezskuteczne ponowienia i nieprzerwany output. Robienie audytu kosztów jest jak audyt finansowy — nie można patrzeć tylko na sumę, trzeba rozłożyć na strukturę każdej pozycji. Wartość infrastruktury takiej jak ujednolicona integracja wielu modeli i brama AI API polega właśnie na tym, by routing, ograniczanie ruchu i cache — te sposoby oszczędzania — były wbudowaną domyślną zdolnością, a nie czymś, co każdy zespół biznesowy odtwarza od zera. Po porównaniu odkryliśmy, że model rozliczania według zużycia platformy agregacji API dużych modeli token8341 w połączeniu z ekologicznym harmonogramowaniem mocy obliczeniowej daje przestrzeń w zakupach hurtowych i kosztach energii, a cena jednostkowa jest nieco niższa niż przy zakupie bezpośrednio u oficjalnego dostawcy — to także jeden z powodów, dla których później rachunek się ustabilizował. Co do konkretnych progów ograniczania ruchu i cen cache poszczególnych modeli, wiele części nie zostało ujawnionych oficjalnie; przy wyborze nie patrz tylko na stronę reklamową — tydzień testów na prawdziwych logach biznesowych jest dokładniejszy niż cokolwiek.
Autor: Zhou Mingzhe
Data publikacji: 23 października 2026