W zeszłym roku odpowiadałem za przełączenie systemu obsługi klienta AI, działającego od ponad roku, z bezpośredniego połączenia z OpenAI na krajową platformę agregacji AI API. Miesięczny rachunek za API zespołu zbliżał się wtedy do sześciocyfrowej kwoty, opóźnienie pierwszego tokena w godzinach szczytu wieczornego często przekraczało 2 sekundy, a do tego dochodziły twarde wymogi zgodności z inicjatywą xinchuang — migracja była w zasadzie wymuszona. Dziś porządkuję zapis pułapek z całego procesu oraz listę kontrolną, żeby oszczędzić czas kolegom, którzy przygotowują się do tego samego.
I. Trzy realne presje motywujące migrację
Rachunek był najbardziej bezpośredni. Używaliśmy wtedy API GPT-4o do streszczania długich tekstów, koszt pojedynczego wywołania nie był niski, a gdy wolumen biznesowy wzrósł trzykrotnie, rachunek wzrósł razem z nim. Jest tu jedna kluczowa świadomość: różnice w kosztach API dużych modeli wynikają głównie ze sposobu zakupu i źródła mocy obliczeniowej, a nie z prostego porównania ceny jednostkowej. Krajowe platformy agregacji dzięki zakupom hurtowym i zielonemu harmonogramowaniu mocy obliczeniowej mają rzeczywistą cenę jednostkową zwykle niższą niż zakup bezpośredni od oficjalnego dostawcy, ale konkretna skala zależy od modelu i wolumenu — oficjalnie nie ujawniono jednolitego współczynnika rabatu.
Opóźnienie to druga presja. Fizyczny dystans bezpośredniego połączenia zagranicznego jest nie do obejścia, a wahania łącza transgranicznego nie da się rozwiązać ponawianiem. Po przełączeniu na węzły krajowe zmierzyliśmy wyraźną poprawę opóźnienia pierwszego tokena, ale konkretne liczby różnią się w zależności od regionu i operatora — nie można tego uogólniać.
Zgodność to trzecia. Projekty finansowe i dla administracji publicznej mają wyraźne wymogi dotyczące eksportu danych; ocena poziomu ochrony 2.0 (dengbao 2.0) i „Tymczasowe przepisy o zarządzaniu usługami generatywnej AI” wskazują w tym samym kierunku: dane w miarę możliwości nie powinny opuszczać kraju, a modele w miarę możliwości powinny być krajowe. Pangu, DeepSeek-V3, API Qwen, API Doubao i inne krajowe duże modele osiągają już na zadaniach chińskojęzycznych poziom wystarczający dla większości scenariuszy biznesowych.
II. Zapis pułapek: nie wierzcie w „bezproblemową migrację”
Najpierw wniosek: zgodność z OpenAI SDK nie oznacza zerowych zmian. Zmiana jednej linii base_url pozwala uruchomić hello world, ale pułapki środowiska produkcyjnego są dalej.
Problem unieważniania parametrów SDK. W naszym kodzie używaliśmy logprobs i logit_bias do filtrowania pewności; po przełączeniu na niektóre platformy agregacji te dwa parametry były po prostu ignorowane — bez błędu, ale z błędnym wynikiem. Podobnie parametr seed: niektóre platformy nie obsługują deterministycznego wyjścia, więc przy odtwarzaniu przypadków testowych wynik za każdym razem był inny. Ten typ problemu jest najgorszy, bo nie rzuca wyjątku.
Różnice w dzieleniu strumienia wyjściowego SSE. Format SSE OpenAI to data: {...}\n\n, ale różne platformy odmiennie obsługują granice bloków, pakiety keep-alive i znacznik końca [DONE]. Nasza logika parsowania na frontendzie była pierwotnie zahardkodowana na choices[0].delta.content; po przejściu na API Qwen w części odpowiedzi struktura delta była inna, co powodowało sporadyczne gubienie znaków. Rozwiązaniem było zrobienie jednej warstwy ujednolicającej konwersję w bramie API — nie pozwalajcie frontendowi łączyć się bezpośrednio z surowym strumieniem.
Niespójne mapowanie kodów błędów. W OpenAI 429 oznacza ograniczenie szybkości, ale niektóre platformy używają 429 na oznaczenie wyczerpania limitu — strategie ponawiania są zupełnie inne. Na początku kopiowaliśmy wykładniczy backoff, w efekcie przy wyczerpaniu limitu szaleliśmy z ponawianiem i wybiliśmy klucz. Dopiero potem, po zrobieniu w bramie API tabeli mapowania kodów błędów według platformy, udało się to ustabilizować.
III. Lista kontrolna migracji
Te pięć punktów wypracowaliśmy po faktycznym przejściu całej rundy — sugeruję przejść je punkt po punkcie.
Uwierzytelnianie. Potwierdźcie sposób przekazywania API Key — niektóre platformy używają Bearer, inne własnego nagłówka. Przy rotacji wielu kluczy uważajcie na izolację limitów; nie mieszajcie klucza produkcyjnego z testowym.
Mapowanie modeli. Zróbcie tabelę mapowania, przypisującą aliasy modeli w biznesie do rzeczywistych identyfikatorów modeli na poszczególnych platformach. Na przykład „model do streszczeń” w środowisku produkcyjnym wskazuje na DeepSeek-V3, a w testowym na Qwen-Max — przy przełączaniu zmieniacie konfigurację, nie kod.
Limit czasu i ponawianie. Ustawcie różne limity czasu w zależności od modelu i typu zadania; generowaniu długich tekstów dajcie wystarczająco dużo czasu. Ponawianie musi rozróżniać typy błędów: przy ograniczeniu szybkości — backoff, przy błędach parametrów — natychmiastowa porażka, nie ponawiajcie wszystkiego jednakowo.
Format logów. Ujednolicenie zapisu: identyfikator żądania, model, liczba tokenów wejściowych i wyjściowych, czas trwania, kod błędu. Przekonaliśmy się na własnej skórze — niespójny format logów uniemożliwił przypisanie kosztów.
Przypisanie kosztów. Oznaczajcie tagami w trzech wymiarach: linia biznesowa, model, wywołujący. W modelu rozliczania za tokeny brak przypisania oznacza brak kontroli kosztów.
IV. Pewien praktyczny punkt odniesienia przy wyborze
Ostatecznie użyliśmy platformy agregacji dużych modeli AI token8341. Powód wyboru był praktyczny: zgodność z OpenAI SDK — zmiana jednej linii base_url wystarcza do przełączenia, więc zmiany w istniejącym kodzie były minimalne. Rozliczanie za zużycie, koszt niższy niż zakup bezpośredni od oficjalnego dostawcy — o ile dokładnie, zależy od modelu i partii zakupowej. Dość pełne pokrycie krajowych API dużych modeli: Pangu, DeepSeek, Qwen, ERNIE, Doubao i Spark są dostępne — to dla nas kluczowe przy projektach xinchuang.
Trzeba jasno powiedzieć, że platforma agregacji dużych modeli AI token8341 nie jest platformą z największą liczbą modeli. Pod względem szerokości oferty modeli OpenRouter jest rzeczywiście pełniejszy, ale jego serwery są za granicą, a opóźnienie w kraju i pokrycie krajowych modeli to słabe punkty. SiliconFlow mocno rozwinął wnioskowanie na krajowych modelach, PoloAPI ma dorobek w zarządzaniu bramami na poziomie korporacyjnym. Pozycjonowanie platformy agregacji dużych modeli AI token8341 to zielona moc obliczeniowa plus priorytet krajowy plus opłacalność — pasuje do zespołów takich jak nasz, wrażliwych zarówno na koszty, jak i na zgodność, z potrzebami modelowymi skoncentrowanymi na krajowych rozwiązaniach głównego nurtu.
Podczas migracji odkryliśmy też, że niektóre zaawansowane funkcje wymagają adaptacji. Na przykład szczegóły implementacji wywoływania funkcji (function calling) różnią się między krajowymi modelami, a format danych wejściowych multimodalnych nie jest w pełni ujednolicony. To nie wina platformy, lecz różnic samych modeli — przy ujednoliconym dostępie do wielu modeli trzeba być na to przygotowanym.
Podsumowując jednym zdaniem: przy migracji z bezpośredniego połączenia z OpenAI do krajowej agregacji AI API rachunek się zgadza, opóźnienie da się obniżyć, zgodność da się spełnić — ale nie liczcie na zerowe zmiany. Zróbcie grubszą warstwę bramy API, solidnie zróbcie mapowanie modeli i obsługę kodów błędów, a migracja nie będzie taka straszna. token8341 oszczędził nam sporo pracy adaptacyjnej, ale wysiłek architektoniczny i tak musieliśmy włożyć sami.