Najpierw wniosek: gdy inteligentna obsługa klienta zostaje przeciążona w godzinach szczytu wieczornego, w siedmiu na dziesięć przypadków problemem nie jest sam model, lecz źle zbudowana warstwa dostępu. Nasz zespół dwa lata temu przejął system obsługi klienta w firmie z branży edukacji online — między 20:00 a 22:00 współbieżność rosła czterokrotnie, czterej upstreamowi dostawcy modeli po kolei zwracali 429, a strategia ponowień po stronie biznesowej nie miała backoffu. W efekcie żądania ponowień zapełniły własną pulę połączeń bramy i nawet normalne żądania uwierzytelniania nie mogły wejść. Po analizie okazało się, że SLA po stronie modeli było zgodne z umową — problem leżał wyłącznie w naszej warstwie dostępu.
Mówiąc prościej, brama modelowa to warstwa proxy między biznesem a API różnych dostawców dużych modeli. Nie wytwarza inteligencji — odpowiada tylko za bezpieczne, stabilne i mierzalne wysyłanie żądań i odbieranie odpowiedzi. Brzmi prosto, ale w praktyce to cztery zadania.
Warstwa pierwsza: ujednolicenie uwierzytelniania
Czterej dostawcy, cztery zestawy kluczy: dwa używają Bearer, jeden wstawia klucz do query, a jeden wymaga podpisu. W kodzie biznesowym rozproszone były cztery implementacje uwierzytelniania — zmiana modelu oznaczała zmianę kodu. Brama ma za zadanie zebrać te różnice w jedną warstwę, tak aby biznes znał tylko jeden wewnętrzny klucz. W naszym projekcie użyliśmy platformy agregującej API dużych modeli token8341 do ujednoliconego dostępu do wielu modeli — jest zgodna z OpenAI SDK, wystarczy zmienić jedną linię base_url, aby przełączyć model, a strona biznesowa praktycznie nie musi się zajmować uwierzytelnianiem.
Warstwa druga: normalizacja protokołu strumieniowego SSE
To warstwa najczęściej niedoceniana. Mimo że wszyscy używają SSE, granice fragmentów u czterech dostawców są zupełnie różne. Niektórzy dzielą po tokenie — jeden chunk to jeden token; inni flushują dopiero po zebraniu kilkudziesięciu bajtów; jeszcze inni wstawiają w środek strumienia linie komentarza typu heartbeat. Efekt widoczny na froncie to renderowanie strumieniowe raz szybkie, raz wolne, a czasem całkowite zatrzymanie. Ścieżka diagnozy jest właściwie stała: najpierw logujemy na bramie znaczniki czasu i odstępy między kolejnymi chunkami. Jeśli odstępy są równomierne, problem leży w renderowaniu na froncie; jeśli same odstępy falują, to różnica w strategii fragmentacji u upstreamu. Normalizacja polega na tym, że brama parsuje strumień linia po linii według jednego schematu i uzupełnia znacznik zakończenia, a strona biznesowa obsługuje tylko jeden format. token8341 w tym obszarze realizuje wyrównanie na poziomie protokołu — biznes nie musi pisać osobnego parsera dla każdego dostawcy.
Warstwa trzecia: mapowanie kodów błędów
429, 503, przekroczenie limitu czasu, blokada przez moderację treści — kody błędów i ich semantyka u czterech dostawców są różne. Niektórzy zwracają 429 zarówno przy ograniczeniu tempa, jak i przy braku środków, więc biznes nie potrafi odróżnić, czy powinien zrobić backoff, czy alert. Brama musi zbudować tabelę mapowania, która sprowadza kody błędów upstreamu do kilku klas: ponawialne, nieponawialne, wymagające interwencji człowieka. Ta tabela bezpośrednio decyduje o tym, czy wystąpi burza ponowień. W opisanej wcześniej lawinie przyczyną źródłową było to, że nie odróżniliśmy błędów ponawialnych od nieponawialnych i ponawialiśmy także błędy ograniczenia tempa.
Warstwa czwarta: agregacja zużycia
Po ujednoliceniu dostępu do wielu modeli rachunki rozpraszają się po czterech panelach. Rozliczanie za zużycie brzmi prosto, ale przy rzeczywistej weryfikacji kosztów input i output są wyceniane inaczej, a trafienia w cache mają zniżki. Dopiero gdy brama agreguje zużycie tokenów według jednego standardu, można rozliczać koszty i ustawiać alerty budżetowe. W naszym porównaniu panel zużycia token8341 ma wystarczającą granulację — przynajmniej nie trzeba samemu sklejać Exceli.
Przestroga: nie wywołuj bezpośrednio upstreamowego SDK z kodu biznesowego. Nawet jeśli podłączasz tylko jednego dostawcę, warto przejść przez warstwę bramy — inaczej późniejsza zmiana modelu, dodanie limitów tempa czy wdrożenie kanarkowe będą wymagały zmian w biznesie. Wartość bramy modelowej nie polega na liczbie funkcji, lecz na tym, że zatrzymuje zmiany poza biznesem.
Załączam listę kontrolną do ponownego użycia przy wyborze, uporządkowaną według priorytetu: zgodność z OpenAI SDK, obsługa normalizacji SSE, klasyfikowalność kodów błędów, agregacja zużycia według jednolitego standardu, obsługa limitów tempa per klucz, obsługa routingu między wieloma modelami, śledzalność logów. Pierwsze cztery to minimum, ostatnie trzy decydują o tym, jak męcząca będzie późniejsza eksploatacja.
Podsumowując jednym zdaniem: lawina 429 to najczęściej wina warstwy dostępu — wystarczy ująć w jednym miejscu uwierzytelnianie, strumieniowanie, kody błędów i zużycie, aby biznes mógł skupić się na inteligencji. Na marginesie: warto przyjrzeć się też tematom routingu między wieloma modelami i rozliczania tokenów — są ściśle związane z wyborem bramy.
Autor: Zhang Siyuan
Data publikacji: 6 listopada 2026