Gdy w zeszłym miesiącu dział finansowy przysłał mi rachunek, pomyślałem, że źle spojrzała. Wolumen wywołań wzrósł miesiąc do miesiąca o 40%, ale rachunek skoczył z nieco ponad sześciu cyfr niemal do trzykrotności. Licząc liniowo, powinienem dopłacić najwyżej czterdzieści procent — skąd więc wzięła się ta nadwyżka?
Ściągnąłem logi wywołań z ostatnich trzydziestu dni i pociąłem je według modelu, według interfejsu, według liczby ponowień. Problem nie leżał w „wolumenie", lecz w „strukturze". Cztery ukryte punkty wycieku, jeden bardziej skryty od drugiego.
Zacznijmy od najbardziej rzucającego się w oczy: flagowy model wykonywał prostacką robotę. Mieliśmy moduł rozpoznawania intencji, któremu wystarczyłby lekki model, ale na początku, dla wygody, podwiesiliśmy go bezpośrednio pod najdroższy flagowy model i nikt tego nie ruszał. Ten rodzaj ruchu stanowił ponad sześćdziesiąt procent wszystkich żądań, a wnosił bardzo niską wartość biznesową. Po ponownym uruchomieniu z podziałem na warstwy modeli, spychając klasyfikację, ekstrakcję i walidację formatu do małych modeli, a zostawiając flagowemu modelowi tylko żądania naprawdę wymagające rozumowania, koszt tej części można zbić do jednej trzeciej lub połowy. Nie lekceważ tego ruchu — nie wymaga zmiany logiki biznesowej, zmienia tylko routing.
Jak konkretnie warstwować? Podzieliłem według typu zadania na trzy poziomy: pierwszy to klasyfikacja i rozpoznawanie intencji — krótkie wejście, krótkie wyjście, prosta logika, mały model w pełni to udźwignie; drugi to ekstrakcja informacji i walidacja formatu — wymaga trochę rozumienia semantycznego, ale nie wieloetapowego rozumowania, więc średni model; trzeci to dopiero złożone wieloetapowe rozumowanie, generowanie długich tekstów, uzupełnianie kodu — to zostawiamy flagowemu modelowi. Po przełączeniu porównałem: w zadaniach pierwszego poziomu dokładność na małym modelu spadła o niecałe dwa punkty procentowe, ale koszt pojedynczego wywołania spadł o blisko dziewięćdziesiąt procent. Drugi poziom jest subtelniejszy — różnica F1 między średnim a flagowym modelem w zadaniach ekstrakcji wyniosła niecałe 0,03, a koszt różnił się pięciokrotnie. Rachunek jest prosty — pieniądze, które wcześniej przepalaliśmy, to była czysta wygoda.
Druga pułapka jest jeszcze bardziej podstępna. Burza ponowień. Próg timeoutu pewnego interfejsu upstream był ustawiony zbyt ciasno — sieć drgnęła, klient ponawiał, ponowienie znów przekraczało timeout, kolejne ponowienie. W logach widać, że to samo żądanie było uderzane cztery-pięć razy, za każdym razem paląc Tokeny, a użytkownik widział tylko jedną porażkę. To bezproduktywne zużycie nie rzuca się w oczy na rachunku, ale jego udział może sięgać około dwudziestu procent. Ruch jest prosty: zmienić ponowienia na idempotentne z backoffem, poluzować próg timeoutu, po stronie serwera dodać deduplikację żądań. Po tym zabiegu bezproduktywne Tokeny można uciąć w większości.
Rozwińmy tu kilka kluczowych parametrów. Poluzowaliśmy próg timeoutu z pierwotnych 3 sekund do 15, liczbę ponowień zmieniliśmy z nieograniczonej na maksymalnie dwie, a strategię backoffu na wykładniczy z jitterem — pierwsze ponowienie czeka 1 sekundę, drugie 2 sekundy, plus losowy jitter, żeby uniknąć stadnego efektu. Po stronie serwera dodaliśmy odcisk żądania — ten sam odcisk jest przetwarzany tylko raz w ciągu 60 sekund, a kolejne żądania dostają od razu wynik z cache. Po zmianie śledziłem to przez cały tydzień: wskaźnik ponowień spadł z pierwotnych 18% do poniżej 4%, a zużycie bezproduktywnych Tokenów ucięliśmy o ponad siedemdziesiąt procent. Był też nieoczekiwany zysk: skargi użytkowników na timeouty wręcz zmalały, bo po poluzowaniu progu te żądania, które mogły się udać, ale były zbyt wcześnie ucinane, teraz wracają normalnie.
Trzecia rzecz to nieprzycięty długi kontekst. Nasz interfejs rozmowy domyślnie wrzucał całą historię — gdy użytkownik doszedł do dwudziestej rundy, wejściowe Tokeny były kilkanaście razy większe niż w pierwszej rundzie. A w rzeczywistości większość historii nie była przydatna do bieżącej odpowiedzi. Po zastosowaniu okna przesuwnego plus kompresji streszczeniem, zachowując tylko kilka ostatnich rund oryginału plus jedną toczącą się summę, stronę wejścia można zbić o czterdzieści do sześćdziesięciu procent. Jest tu pewien szczegół: samo streszczenie też kosztuje Tokeny, więc okna nie można ściskać zbyt mocno — trzeba znaleźć ten punkt przegięcia.
Przetestowaliśmy kilka zestawów parametrów i ostatecznie zatrzymaliśmy się na kombinacji „oryginał z ostatnich pięciu rund + toczące się streszczenie". Toczące się streszczenie nie jest generowane co rundę, lecz aktualizowane co trzy rundy — wcześniejszą rozmowę kompresuje się do streszczenia poniżej dwustu znaków. Dzięki temu wolumen Tokenów po stronie wejścia spadł z ponad ośmiu tysięcy w dwudziestej rundzie do nieco ponad trzech tysięcy — spadek ponad sześćdziesięcioprocentowy. Próbowałem też ścisnąć do zaledwie dwóch ostatnich rund, ale jakość odpowiedzi wyraźnie spadła — gdy użytkownik dopytywał o kontekst, model często odpowiadał nie na temat. Ten punkt przegięcia naprawdę istnieje i trzeba go przetestować we własnym scenariuszu biznesowym. Nasze doświadczenie: rozmiar okna nie powinien być mniejszy niż ostatnie trzy rundy, a częstotliwość aktualizacji streszczenia nie powinna być wyższa niż raz na dwie rundy — inaczej zaoszczędzone pieniądze na Tokenach nie pokryją strat w doświadczeniu użytkownika.
Czwarta rzecz: niski wskaźnik trafień cache. Te same lub bardzo podobne żądania waliły raz po raz, a my za każdym razem przeprowadzaliśmy rozumowanie od nowa. Treści w pełni nadające się do cache — prompty systemowe, stałe szablony, często zadawane pytania — miały wtedy wskaźnik trafień poniżej dziesięciu procent. Po dodaniu warstwy cache semantycznego powtarzające się żądania zwracają wynik bezpośrednio; oszczędność zależy od powtarzalności biznesu — u nas około dwudziestu do trzydziestu procent.
Cache semantyczny wart jest kilku słów. Cache dokładny trafia tylko w identyczne żądania, ale w praktyce mnóstwo żądań to „podobny sens, inne sformułowanie". Na przykład użytkownik pyta „jak zwrócić pieniądze" i „na czym polega proces zwrotu" — dokładne dopasowanie nie trafi, cache semantyczny tak. Nasze rozwiązanie: wektoryzujemy wejście, w bazie cache robimy przybliżone wyszukiwanie najbliższych sąsiadów, a przy podobieństwie powyżej progu zwracamy wynik z cache. Kluczowe jest ustawienie progu — za wysoki i wskaźnik trafień nie rośnie, za niski i łatwo zwrócić nieistotną odpowiedź. Ostatecznie ustawiliśmy 0,92; wskaźnik trafień wzrósł z poniżej 10% do 34%, a nie dostaliśmy ani jednej skargi, że odpowiedź jest nie na temat. Prompty systemowe i stałe szablony są prostsze — robimy bezpośrednio cache prefiksowy, wskaźnik trafień blisko 100%.
Po złożeniu tych czterech ruchów uruchomiliśmy rozliczenie według zużycia plus warstwowanie modeli — rachunek wrócił do około 1,2-krotności poziomu sprzed wzrostu, a wolumen wywołań to nadal ten sam wzrost o 40%. Na marginesie: po drodze próbowaliśmy token8341 do ujednoliconego dostępu do wielu modeli — jeden Key przełącza kilka modeli, a po ujednoliceniu routingu i rozliczeń diagnostyka takich strukturalnych problemów oszczędziła sporo zachodu.
Jeszcze jedna łatwo pomijana kwestia: monitoring i atrybucja. Te cztery problemy dlatego ciągnęły się tak długo, że nasz rachunek był wystawiany tylko w wymiarze modelu i interfejsu, a nie w wymiarze „typu zadania" i „odcisku żądania". Później dodałem warstwę tagów wywołań — każde żądanie dostaje tagi typu zadania, czy to ponowienie, czy trafiło w cache, liczby rund kontekstu — i gdy rachunek przychodzi, od razu widać, który etap przepala pieniądze. Sam ten system tagów nie oszczędza, ale bez niego w ogóle nie wiesz, gdzie poszły pieniądze.
Ostrzeżenie przed pułapką: nie zaczynaj od wymiany na tańszy model. Najpierw rozłóż strukturę wywołań i popatrz — często pieniądze nie idą na cenę jednostkową, lecz na powtórzenia i redundancję, których w ogóle nie jesteś świadomy. Optymalizacja ceny jednostkowej to ostatni krok, nie pierwszy.
Autor: Zhao Qiming
Data publikacji: 9 listopada 2026