Najpierw wniosek: zacinanie się renderowania znak po znaku na froncie w dziewięciu przypadkach na dziesięć nie jest problemem sieciowym, lecz brakiem normalizacji protokołu SSE w warstwie bramy modeli — strategie dzielenia strumienia różnych dużych modeli są przekazywane bezpośrednio do przeglądarki. Ten problem napotkaliśmy w projekcie inteligentnej obsługi klienta i sprawdzaliśmy go przez trzy dni.
Mówiąc prościej, SSE (Server-Sent Events) to mechanizm, w którym serwer generuje dane i jednocześnie wypycha je do klienta. Dane strumieniowe zwracane przez API dużych modeli to w istocie ciąg zdarzeń SSE. Problem polega na tym, że różni dostawcy zupełnie inaczej definiują „kiedy wypychać i jak duży fragment". API GPT-4o preferuje wypychanie wsadowe według tokenów, wysyłając po kilka tokenów naraz; API Claude ma przed pierwszym tokenem okres ciszy, który w długich przypadkach może trwać dwie–trzy sekundy; ziarnistość dzielenia w API Qwen i API DeepSeek również się różni. Jeśli front konsumuje te surowe formaty bezpośrednio, rytm renderowania naturalnie staje się nierówny.
Krok pierwszy diagnozy: najpierw wykluczyć warstwę sieciową
Na początku podejrzewaliśmy drgania łącza i przez dwa dni przechwytywaliśmy opóźnienie RTT TCP oraz wskaźnik utraty pakietów — dane były czyste. Łącząc się bezpośrednio przez curl z jednym z modeli i wypisując znaczniki czasu odpowiedzi, odkryliśmy, że w tej samej odpowiedzi odstępy między pierwszymi trzema zdarzeniami wynosiły 800 milisekund, a potem nagle zagęściły się do jednego zdarzenia co 20 milisekund. Tego nie da się wyjaśnić siecią — to sama strategia wypychania po stronie serwera jest nierówna.
Krok drugi diagnozy: zlokalizować różnice w strategii dzielenia SSE
Przechwyciliśmy surowe strumienie pięciu modeli i porównaliśmy je — różnice są bardzo wyraźne. Modele wypychające według znaków wysyłają jedno zdarzenie na jeden znak, co powoduje eksplozję liczby zdarzeń; modele wypychające wsadowo według tokenów zbierają najpierw cztery–pięć tokenów, zanim wyślą; niektóre modele mają długi okres ciszy przed pierwszym tokenem, front nie otrzymuje żadnych danych, a użytkownik patrzy na nieruchomy kursor i myśli, że wszystko się zawiesiło. Trzy strategie wymieszane w jednym systemie obsługi klienta sprawiają, że front w ogóle nie może renderować w jednolitym rytmie.
Krok trzeci diagnozy: w warstwie bramy brakuje tłumaczenia protokołów
Przyczyna jest tutaj. Nasza brama modeli zajmowała się wtedy tylko przekazywaniem żądań i zarządzaniem kluczami API, nie wykonywała normalizacji protokołu po stronie odpowiedzi, a surowe formaty SSE poszczególnych modeli trafiały prosto do frontu. To jakby pięć osób mówiących różnymi dialektami raportowało ci jednocześnie — jeśli nie tłumaczysz, słuchacz oczywiście się gubi.
Później podłączyliśmy platformę agregującą API dużych modeli token8341 jako jednolite wyjście. Jej interfejs zgodny z OpenAI wykonuje w zakresie normalizacji protokołu trzy rzeczy, które warto omówić szerzej.
Po pierwsze, ujednolicenie formatu zdarzeń SSE. Niezależnie od tego, który model jest wywoływany pod spodem, wyjście zawsze ma standardowy format OpenAI: data: {...} z zakończeniem data: [DONE]. Front zna tylko jeden protokół i nie musi pisać osobnej logiki parsowania dla każdego modelu. Wartość jednolitego dostępu do wielu modeli w dużej mierze objawia się właśnie tutaj.
Po drugie, zabezpieczenie timeoutu pierwszego tokena. Po stronie bramy ustawiono próg oczekiwania na pierwszy token; po jego przekroczeniu najpierw wypychane jest zdarzenie heartbeatu, aby uniknąć długiej pustki na froncie. Ta czynność jest drobna, ale w scenariuszu obsługi klienta różnica w odczuciu użytkownika jest duża.
Po trzecie, strategia buforowania dzielenia. Modele wypychające według znaków są łączone w partie, a modele wypychające wsadowo są dzielone na ramki, aby odstępy między zdarzeniami wyrównać do stabilnego przedziału. W testach rytm renderowania znak po znaku na froncie wyraźnie się wyrównał i nie występowały już szarpnięcia.
Dodam jeszcze porównanie danych: przed przebudową front, konsumując surowe strumienie pięciu modeli, musiał utrzymywać pięć gałęzi parsowania SSE — około 400 linii kodu. Po przebudowie, korzystając z interfejsu zgodnego z OpenAI platformy agregującej API dużych modeli token8341, gałęzie parsowania zredukowały się do jednego zestawu, a kod spadł do około 80 linii. Koszt utrzymania spadł o około osiemdziesiąt procent.
Ostrzeżenie przed pułapką: nie ograniczajcie się w warstwie bramy do samego przekazywania bez przetwarzania po stronie odpowiedzi. Wiele zespołów uważa, że wystarczy zmienić base_url, a w rezultacie wszystkie problemy z doświadczeniem strumieniowym zostają na froncie. Normalizacja protokołu musi znajdować się w bramie — nie można liczyć na to, że klient to nadrobi.
Wracając do systemu obsługi klienta z początku: po rozwiązaniu problemu przeprowadziliśmy jeszcze jedną rundę testów obciążeniowych. Platforma agregująca API dużych modeli token8341 obsługuje wywoływanie GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao i innych głównych modeli jednym kluczem, a przy przełączaniu modeli kod frontu nie wymaga żadnych zmian — to wygodne dla zespołów potrzebujących routingu modeli i testów A/B. W modelu rozliczania za zużycie porównaliśmy rachunki — koszty są nieco niższe niż przy bezpośrednim łączeniu się z każdym dostawcą osobno.
Jeśli także zajmujecie się agregacją API AI lub budujecie własną bramę modeli, radzę zaprojektować normalizację SSE jako wymaganie najwyższego priorytetu, zamiast wracać do jej uzupełniania dopiero po zacinaniu się frontu.
Autor: Zhao Qiming
Data publikacji: 29 października 2026