8341TokenFactory
LLM APIAPI GatewayAggregation

Fabryka token8341: jedna funkcja wywołuje cztery modele — GPT-4o jako fallback, DeepSeek jako główny silnik, Qwen do chińskiego, Doubao do obsługi klienta

SiCore TokenWorks Team·2026-11-08

Ta sama funkcja, a frontend musi wywoływać cztery modele: GPT-4o odpowiada za fallback, DeepSeek realizuje główne wnioskowanie, Qwen obsługuje długie teksty chińskie, a Doubao przejmuje skrypty obsługi klienta. Cztery SDK, cztery zestawy uwierzytelniania, cztery dokumentacje. W pierwszym tygodniu po wdrożeniu samo uzgadnianie tych różnic pochłonęło dwa osobodni.

To nie przesada. Zrobiliśmy statystykę: po podłączeniu czterech dostawców modeli część kodu biznesowego związana z wywołaniami modeli rozrosła się prawie trzykrotnie. Przy każdej zmianie modelu trzeba było poprawiać sposób wywołania, logikę parsowania i obsługę błędów. Co gorsza, za każdym razem, gdy dostawca aktualizował SDK, trzeba było wszystko testować od nowa. W tym artykule kompleksowo podsumowujemy pułapki, w które wpadliśmy, oraz ostatecznie wdrożone rozwiązanie bramy, licząc, że pomoże ono zespołom zmagającym się w podobny sposób z wieloma modelami.

1. Uwierzytelnianie: cztery systemy, cztery sposoby zapisu

Uwierzytelnianie to pierwsza przeszkoda. Rodzina OpenAI używa Bearer Token — wystarczy umieścić w nagłówku żądania Authorization: Bearer sk-xxx. Qwen wymaga podpisu AccessKey: przy każdym żądaniu trzeba obliczyć HMAC za pomocą AK/SK, a dodatkowo złożyć znacznik czasu i losowy ciąg. Doubao używa AK/SK plus znacznika czasu, ale algorytm podpisu różni się od tego w Qwen. DeepSeek, choć jest zgodny z formatem OpenAI, ma własny base_url i mapowanie nazw modeli, a sposób inicjalizacji nie do końca pokrywa się z oficjalnym SDK.

Efekt jest taki, że w kodzie wszędzie są if-else. Każdy dostawca to jedna instancja clienta, każda instancja to jeden zestaw konfiguracji. Zarządzanie kluczami to jeszcze większy ból głowy — klucze czterech dostawców są przechowywane w czterech miejscach, przy rotacji trzeba zmieniać w czterech miejscach, a pominięcie jednego kończy się incydentem produkcyjnym.

Później ujednoliciliśmy to w warstwie integracyjnej: na zewnątrz udostępniamy tylko jeden API Key, a wewnątrz realizujemy tłumaczenie protokołów. Konkretnie warstwa integracyjna utrzymuje tabelę routingu dostawców, gdzie każdy dostawca ma swój adapter uwierzytelniania. Strona biznesowa otrzymuje tylko jeden Key, żądanie trafia do warstwy integracyjnej, a ta na podstawie nazwy modelu znajduje odpowiedniego dostawcę i za pomocą adaptera wykonuje podpisywanie oraz przekazanie dalej.

Później spróbowaliśmy ujednolicić base_url na token8341 — jednym Key można wywołać GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, jest zgodność z OpenAI SDK, a przełączenie to zmiana jednej linii base_url. Brudna robota związana z uwierzytelnianiem została odsunięta poza warstwę integracyjną, a kod biznesowy znacznie się oczyścił. Rotacja kluczy stała się jedną operacją, a koszt utrzymania spadł wręcz o rząd wielkości.

2. Strumieniowanie SSE w kawałkach: cztery formaty, jeden render

Strumieniowanie SSE w kawałkach to druga pułapka, i to bardziej ukryta niż uwierzytelnianie. W chunku GPT-4o delta.content może być null, zwłaszcza w pierwszym i ostatnim chunku — jeśli frontend nie sprawdzi pustej wartości i od razu renderuje, mignie undefined. DeepSeek dołącza usage w ostatnim chunku, a struktura jego pola usage nie do końca pokrywa się z OpenAI. Qwen ma bardziej szczegółowe typy zdarzeń: add, finish, error i inne, a struktura payloadu każdego zdarzenia jest inna. Znacznik końca w Doubao też jest inny — używa specjalnego pola finish_reason do oznaczenia końca strumienia.

Frontend otrzymuje cztery formaty i logika renderowania po prostu się rozjeżdża. Na początku naszym rozwiązaniem było dostosowanie po stronie frontendu — napisaliśmy cztery funkcje parsujące, ale przy każdym dodaniu nowego modelu trzeba było zmieniać frontend. Później zmieniliśmy to na normalizację w warstwie bramy: ujednolicenie do struktury chunku OpenAI, puste delty są odfiltrowywane, a usage wyodrębniane osobno i kumulowane. Konkretna zasada jest taka — odpowiedzi strumieniowe wszystkich dostawców są zamieniane na format data: {"choices":[{"delta":{"content":"..."}}]}, zakończenie jest ujednolicone znacznikiem data: [DONE], a usage jest zwracane w formacie OpenAI w ostatnim chunku.

Frontend zna tylko jeden format i nie musi się martwić, kogo ma pod sobą backend. Ta zmiana zmniejszyła kod frontendu związany z modelami z ponad 400 linii do około 80, a przy dodawaniu nowego modelu frontend nie wymaga żadnych zmian.

3. Kody błędów: błąd ukryty w HTTP 200

Poziom chaosu z kodami błędów przerósł oczekiwania. Przy tym samym ograniczeniu szybkości OpenAI zwraca 429 z rate_limit_exceeded, Qwen zwraca błąd biznesowy z polem code, a Doubao po prostu upycha błąd w body przy HTTP 200 — kod statusu to 200, ale w body jest pole error. DeepSeek przez większość czasu jest zgodny z OpenAI, ale czasem zwraca własne struktury błędów.

Monitorowanie i alerty w ogóle nie dają się ujednolicić. Nie da się napisać reguły „429 to alert”, bo niektórzy dostawcy przy ograniczeniu szybkości nie zwracają 429. Nie da się też patrzeć tylko na kod statusu HTTP, bo w 200 od Doubao może być błąd.

W warstwie integracyjnej zbudowaliśmy tabelę mapowania, która sprowadza kody błędów poszczególnych dostawców do jednego wewnętrznego systemu błędów: ograniczenie szybkości, przekroczenie limitu czasu, niepowodzenie uwierzytelniania, moderacja treści, usługa niedostępna. Konkretna logika mapowania jest taka — najpierw patrzymy na kod statusu HTTP, potem na kod błędu w body, i na podstawie obu łącznie podejmujemy decyzję. Na przykład gdy Doubao zwraca 200, ale w body jest error, mapujemy według kodu błędu; gdy Qwen zwraca 400 z kodem biznesowym, mapujemy według kodu. Reguły alertów piszemy tylko jedne, a przy diagnozie patrzymy na oryginalny kod błędu.

Tę tabelę mapowania utrzymujemy z około 60 regułami, obejmującymi typowe scenariusze błędów czterech dostawców. Po wdrożeniu dokładność alertów wzrosła z około 60% do ponad 95%, a fałszywe alarmy praktycznie zniknęły.

4. Statystyki zużycia: cztery liczby, które się nie zgadzają

Różne podstawy statystyk zużycia najłatwiej przeoczyć, ale przy uzgadnianiu finansowym na pewno wyjdą. Licznik tokenów GPT-4o zawiera system prompt, tokeny trafień w pamięć podręczną DeepSeek są rozliczane osobno, Qwen liczy wejście i wyjście oddzielnie, a jednostka rozliczeniowa Doubao znowu jest inna. Przy uzgadnianiu finansowym cztery liczby się nie zgadzają i w ogóle nie da się policzyć rzeczywistego kosztu każdego modelu.

Rozwiązaniem agregacji jest zapisywanie w warstwie bramy przy każdym żądaniu model, input_tokens, output_tokens, cache_hit, ujednolicone i zapisane do bazy według podstawy rozliczania tokenów. Konkretnie brama przy przekazywaniu żądania rejestruje czas rozpoczęcia i zakończenia, wyodrębnia pola usage poszczególnych dostawców z odpowiedzi i ujednolica je do standardowego formatu. Dla dostawców o innych jednostkach rozliczeniowych brama wykonuje jednorazowe przeliczenie, sprowadzając wszystko do kosztu per-token.

Dzięki temu niezależnie od tego, kto jest pod spodem, koszt można spłaszczyć do jednej tabeli. Później zbudowaliśmy na jej podstawie pulpit kosztów, który można rozbijać według modelu, linii biznesowej i dnia. Kiedyś zauważyliśmy, że koszt jednej linii biznesowej nagle wzrósł o 40% — po zbadaniu okazało się, że strategia routingu kierowała dużo żądań do GPT-4o; po dostosowaniu routingu koszt natychmiast spadł. Bez ujednoliconej agregacji zużycia takiego problemu w ogóle nie dałoby się wykryć.

5. Czterowarstwowa architektura bramy modeli

Które warstwy powinna obsługiwać brama modeli? Dzielę to na cztery warstwy.

Pierwsza warstwa: tłumaczenie protokołów. Ujednolicenie formatów żądań i odpowiedzi poszczególnych dostawców do interfejsu zgodnego z OpenAI. Ta warstwa jest jedyną, z którą kod biznesowy ma bezpośredni kontakt — odpowiada za przetłumaczenie żądania w standardowym formacie OpenAI na format danego dostawcy, a następnie przetłumaczenie odpowiedzi z powrotem.

Druga warstwa: routing. Wybór modelu według typu zadania, np. długie teksty chińskie do Qwen, kod do DeepSeek, fallback do GPT-4o. Strategię routingu można konfigurować, obsługuje wiele wymiarów, takich jak typ zadania, priorytet i koszt. Dodaliśmy też logikę degradacji — jeśli główny model przekroczy limit czasu lub zostanie ograniczony, automatycznie przełączamy na model zapasowy.

Trzecia warstwa: agregacja zużycia. Ujednolicone rozliczanie i limity. Zużycie tokenów, trafienia w pamięć podręczną i czas odpowiedzi każdego żądania są rejestrowane w tej warstwie, która udostępnia na zewnątrz ujednolicony interfejs zapytań o zużycie.

Czwarta warstwa: obserwowalność. Logi, śledzenie łańcucha wywołań, sprowadzanie kodów błędów. Każde żądanie ma trace_id i jest w pełni śledzone od wejścia do wyjścia. Kody błędów są ujednolicane w tej warstwie, a reguły alertów konfiguruje się tylko tutaj.

Kod biznesowy wywołuje tylko interfejs pierwszej warstwy, pozostałe trzy warstwy są dla niego przezroczyste. Zaletą tego jest to, że zmiana modelu nie wymaga zmian w kodzie biznesowym, dodanie modelu nie wymaga zmian w kodzie biznesowym, a dostosowanie strategii routingu również nie wymaga zmian w kodzie biznesowym. Zespół biznesowy musi się tylko martwić o „chcę wywołać model”, resztą zajmuje się brama.

6. Ostrzeżenia przed pułapkami

Nie importujcie SDK poszczególnych dostawców bezpośrednio w kodzie biznesowym. Gdy dostawca zaktualizuje interfejs albo będziecie chcieli zmienić model, zakres zmian będzie ogromny. Widzieliśmy zespoły, które wywoływały SDK bezpośrednio w kodzie biznesowym, a potem przy zmianie modelu poprawiały ponad 30 plików i testowały tydzień, zanim wdrożyły.

Dwa dni więcej w warstwie integracyjnej oszczędza dwa tygodnie później. Ten stosunek nakładów do rezultatów został u nas realnie zweryfikowany — po wdrożeniu bramy dodanie nowego modelu wymaga tylko dodania adaptera w warstwie bramy, kod biznesowy nie wymaga żadnych zmian, a integracja i testy zajmują pół dnia.

Jeszcze dwie małe rady: po pierwsze, róbcie agregację zużycia jak najwcześniej, nie czekajcie, aż przy uzgadnianiu finansowym okaże się, że nie da się nic policzyć; po drugie, tabelę mapowania kodów błędów trzeba stale utrzymywać — przy podłączaniu nowego dostawcy pierwszą rzeczą jest uzupełnienie mapowania kodów błędów.

Autor: Sun Haoran

Data publikacji: 9 listopada 2026