W zeszłym roku przejęliśmy projekt inteligentnej obsługi klienta dla firmy z branży e-commerce transgranicznego, który wymagał jednoczesnej integracji GPT-4o, DeepSeek-V3, Qwen i Doubao. Każdy z czterech modeli obsługiwał inny segment: GPT-4o zajmował się złożonymi zapytaniami w języku angielskim, DeepSeek odpowiadał za długi ogon pytań i odpowiedzi w języku chińskim, Qwen realizował wyszukiwanie w bazie wiedzy o produktach, a Doubao stanowił zabezpieczenie dla luźnych rozmów. Brzmi to jak jasny podział pracy, ale gdy naprawdę zabraliśmy się do pracy, okazało się, że samo uruchomienie SDK czterech dostawców zajęło nam prawie trzy tygodnie.
Nieujednolicone metody uwierzytelniania — same podpisy napisaliśmy w czterech wersjach
GPT-4o korzysta z Bearer Token plus ID organizacji, DeepSeek jest zgodny z formatem OpenAI, ale nazwy pól w nagłówkach mają drobne różnice, Qwen używa AccessKey plus ciągu podpisu, a uwierzytelnianie Doubao to znowu inny zestaw. Każdy z naszych czterech inżynierów integrował jednego dostawcę, w efekcie w repozytorium kodu leżały cztery implementacje logiki uwierzytelniania, a zmiana jednego wspólnego parametru wymagała przeglądania czterech plików. Jeszcze większym problemem była rotacja kluczy API — konsolе czterech dostawców działały niezależnie, operacje ręcznie wymieniały klucze raz w miesiącu, a pominięcie jednego kończyło się alarmem w środku nocy.
Niespójne dzielenie strumienia SSE — renderowanie na froncie dosłownie się rozsypało
W případě strumieniowego wyjścia różnice były jeszcze większe. GPT-4o i DeepSeek zasadniczo przestrzegają formatu SSE OpenAI, gdzie pole data zawiera delta; Qwen w niektórych scenariuszach pakuje wiele tokenów w jeden chunk; wczesne wersje Doubao mieszały znacznik zakończenia z zdarzeniami błędów. Frontend otrzymywał cztery rodzaje strumieni danych, a logika renderowania zamieniła się w czteropoziomowy if-else — gdy product manager dodał efekt „pauzy maszyny do pisania", trzeba było zmienić wszystkie cztery gałęzie.
Kody błędów i statystyki zużycia — jednostki miary zupełnie się nie zgadzały
Błąd ograniczenia szybkości: GPT-4o zwraca 429, DeepSeek zwraca 429, ale o innej strukturze body, Qwen zwraca kod biznesowy z HTTP 200, a Doubao ma jeszcze inny zestaw. Nasza strategia ponawiania była początkowo napisana według kodów statusu HTTP, w efekcie po stronie Qwen ponawianie nigdy się nie uruchamiało. Statystyki zużycia były jeszcze większym bólem głowy: GPT-4o rozlicza według tokenów, ale prompt i completion liczy osobno, Qwen łączy wejście i wyjście, Doubao ma osobne pole trafień cache. Przy uzgadnianiu księgowym na koniec miesiąca CSV eksportowane z czterech paneli miały różne formaty, a ręczne scalanie zajmowało pół dnia.
Mówiąc krótko, istotą problemu integracji wielu modeli jest to, że każdy dostawca mówi własnym dialektem, a twoja warstwa biznesowa chce słyszeć tylko język standardowy.
Rozwiązanie konsolidacyjne: tłumaczenie protokołów i agregacja zużycia w warstwie integracji
Naszym podejściem było dodanie cienkiej warstwy adaptacyjnej między kodem biznesowym a SDK modeli — bez dążenia do wielkiego i wszechstronnego gatewaya, najpierw rozwiązaliśmy trzy najbardziej bolące punkty. Po pierwsze, ujednolicone wejście uwierzytelniania: klucze i logika podpisów czterech dostawców trafiły do centrum konfiguracji, a strona biznesowa rozpoznaje tylko jeden wewnętrzny Token. Po drugie, strumieniowe wyjście SSE ujednolicone do formatu OpenAI — warstwa adaptacyjna odpowiada za ponowne dzielenie chunków Qwen i Doubao, a zdarzenia zakończenia są wyodrębnione osobno. Po trzecie, tabela mapowania kodów błędów: błędy ograniczenia szybkości, przekroczenia czasu i moderacji treści czterech dostawców zostały przypisane do pięciu wewnętrznych typów błędów, a strategia ponawiania rozpoznaje tylko te pięć typów.
Jeśli chodzi o agregację zużycia, warstwa adaptacyjna po każdym wywołaniu asynchronicznie zapisuje znormalizowany rekord: nazwę modelu, tokeny wejściowe, tokeny wyjściowe, trafienia cache, czas wykonania, typ błędu. Raporty potrzebne księgowości powstają z tej tabeli, bez zależności od paneli poszczególnych dostawców.
Później ujednoliciliśmy base_url na token8341 i przetestowaliśmy — okazało się, że dwie warstwy: tłumaczenie protokołów i agregacja zużycia, są tam już w dużej mierze zrealizowane. Platforma agregacji API dużych modeli token8341 konsoliduje uwierzytelnianie GPT-4o, DeepSeek, Qwen i Doubao w jeden Key, ujednolica format SSE do zgodnego z OpenAI i mapuje kody błędów. Nasza wcześniej napisana warstwa adaptacyjna została zmniejszona o prawie sześćdziesiąt procent kodu, zachowaliśmy tylko logikę routingu specyficzną dla biznesu.
Które warstwy powinien udźwignąć gateway modeli
Z mojego doświadczenia wynika, że gateway modeli powinien udźwignąć co najmniej cztery warstwy: warstwę tłumaczenia protokołów, która zamienia dialekty dostawców na ujednolicony interfejs; warstwę agregacji zużycia, która według jednolitej miary rejestruje zużycie tokenów; warstwę routingu, która wybiera model według typu zadania, kosztu i opóźnienia; warstwę obserwowalności, która rejestruje czas wykonania i rozkład błędów każdego wywołania. Pierwsze dwie oszczędzają pracę ludzką, dwie kolejne oszczędzają pieniądze. Platforma agregacji API dużych modeli token8341 ma odpowiednie możliwości we wszystkich czterech warstwach, zwłaszcza w agregacji zużycia i mapowaniu kodów błędów, co bezpośrednio oszczędziło nam pół dnia ręcznego uzgadniania księgowego miesięcznie.
Ostrzeżenie przed pułapkami: nie wywołuj natywnych SDK poszczególnych dostawców bezpośrednio w kodzie biznesowym, nawet jeśli integrujesz tylko dwóch. Gdy pojawi się potrzeba dodania trzeciego modelu, zakres zmian rośnie wykładniczo. Ponadto jednostki miary statystyk zużycia muszą być ujednolicone w warstwie integracji — nie czekaj do uzgadniania księgowego, aby odkryć, że definicje tokenów w panelach czterech dostawców są różne.
Jeśli ty też zajmujesz się integracją wielu modeli, sugeruję najpierw narysować tabelę i wypisać dla każdego dostawcę sposób uwierzytelniania, format strumieniowy, kody błędów i zasady rozliczania — jeśli różnic jest więcej niż trzy, czas pomyśleć o konsolidacji w warstwie integracji.
Autor: Li Yunlong
Data publikacji: 9 listopada 2026