Gdy nowy model wchodzi na rynek, kilkukrotny wzrost wolumenu wywołań to norma. Prawdziwym powodem, dla którego architekci nie mogą spać, jest to, że cały ruch jest wciśnięty u jednego dostawcy. To nie różni się od sytuacji, gdy cały biznes był uzależniony od jednej chmury — jedna zmiana polityki ograniczania ruchu po drugiej stronie, jedno drgnięcie serwerowni i twój kluczowy łańcuch po prostu leży.
API dużych modeli to już zależność produkcyjna, nie zabawka. Stosowane przeze mnie podejście to czterowarstwowa redundancja, rozłożona od najtańszej do najdroższej.
Najpierw wyjaśnię, dlaczego bezpośrednie połączenie z jednym punktem jest tak niebezpieczne. API dużych modeli różni się od tradycyjnych mikrousług — jego tryby awarii są bardziej ukryte. Gdy tradycyjna usługa padnie, health check natychmiast to wykryje; API dużych modeli często jest w stanie „półmartwym” — zwraca HTTP 200, ale opóźnienie skacze z 800 ms do 30 sekund, albo jakość wyjścia nagle się pogarsza, a ty nie masz czasu na alert. Co gorsza, ograniczanie ruchu — u wielu dostawców jest ono dynamicznie dostosowywane: dziś dają ci 1000 QPM, jutro w szczycie biznesowym nagle spada do 200, bez żadnego powiadomienia. Widziałem zespół, którego główny dostawca w dniu podwójnej jedenastki obciął darmowy limit o połowę i ich bot obsługi klienta po prostu zamilkł na dwie godziny. Takie rzeczy potrafi pokryć tylko multi-active.
Najbardziej wewnętrzna warstwa to klient. Retry plus timeout, wykładniczy backoff, nie zabijaj od razu. Zbyt krótki timeout nieuchronnie zabije wnioskowanie na długim tekście; zbyt długi — przy awarii pula wątków zostanie przeciążona. Konfigurujemy osobno według typu zadania: pytania i odpowiedzi dostają kilkanaście sekund, streszczenia długich dokumentów — poziom minut. Konkretnie stosujemy strategię: pierwszy timeout 15 sekund, dwa retry, odstępy backoffu odpowiednio 1 sekunda i 3 sekundy, całkowity budżet w granicach 45 sekund. Przy wyjściu strumieniowym trzeba dodać osobny warunek „timeout pierwszego Tokena” — niektórzy dostawcy szybko nawiązują połączenie, ale pierwszy Token długo nie przychodzi, i wtedy retry jest korzystniejszy niż czekanie. Poza tym retry musi rozróżniać typy błędów: 429 i 503 można ponowić, 401 i 400 nie mają sensu ponawiać — od razu idź w degradację.
Warstwa wyżej to bramka modeli. Ta warstwa realizuje routing degradacji — gdy główny dostawca zwraca 429 lub 5xx, bramka kieruje żądanie bezpośrednio do modelu zapasowego. Kluczowe jest tu równoważność semantyczna, a nie byle jakie podstawienie modelu. Gdy zadanie streszczenia degraduje z modelu A do modelu B, jakość wyjścia spadnie — trzeba z góry ustalić, które scenariusze akceptują degradację. Nasze podejście to tagowanie każdego zadania: zadania poziomu critical mogą być degradowane tylko do modeli tego samego poziomu, np. GPT-4 do Claude Sonnet; poziom standard może zejść do tańszego modelu; zadania poziomu best-effort — po degradacji nieco gorsze wyjście też jest akceptowalne. Bramka musi jeszcze robić jedno — rejestrować współczynnik degradacji. Jeśli jakiś model zapasowy jest często wyzwalany, oznacza to problem ze stabilnością głównego dostawcy i trzeba ponownie ocenić współpracę. Mamy wewnętrzny dashboard, który codziennie statystykuje P99 opóźnienia, współczynnik błędów i liczbę wyzwolonych degradacji u każdego dostawcy; przekroczenie normy przez trzy dni z rzędu automatycznie tworzy zgłoszenie.
Wyżej jest rotacja wielu Key. Ten sam dostawca daje wiele Key, dystrybuowanych według wagi i kondycji — ograniczenie jednego Key nie wpływa na całość. To jest najczęściej pomijane w utrzymaniu — limit i czas wygaśnięcia Key muszą być objęte monitoringiem. Wpadliśmy na minę: miesięczny limit jednego Key się skończył, ale monitoring patrzył tylko na „czy Key jest ważny”, a nie „czy saldo wystarcza”, więc wszystkie żądania zwracały 402 i zmarnowaliśmy pół godziny. Potem dodaliśmy w bramce moduł wstępnej kontroli limitu — przed każdym żądaniem sprawdzamy lokalnie zbuforowane pozostałe saldo, poniżej 20% automatycznie przełączamy na zapasowy Key i wysyłamy alert, by utrzymanie doładowało. Strategia rotacji Key też ma swoje zasady — nie proste round-robin, lecz według wagi: nowy Key dostaje niższą wagę, podnosimy ją gdy się ustabilizuje; stary Key z historią awarii ma wagę od razu obciętą o połowę.
Najbardziej zewnętrzna warstwa to automatyczny wybór optymalnego modelu według zadania. Prosta klasyfikacja idzie do taniego modelu, złożone wnioskowanie do mocnego — koszt i jakość kontrolowane razem. Podejście platformy agregacji API dużych modeli token8341 na tej warstwie to właśnie automatyczny wybór optymalnego modelu według zadania; w porównaniu w naszym projekcie przy tej samej skali rachunek dało się obniżyć o kawałek. Jest kompatybilna z OpenAI SDK — wystarczy zmienić jedną linię base_url, by się przełączyć, koszt migracji bardzo niski. To właśnie wartość platformy agregacji API AI względem bezpośredniego połączenia z jednym punktem: jednolite podłączenie wielu modeli, bez pisania osobnej adaptacji dla każdego dostawcy. Konkretnie zrobiliśmy prostą regułę routingu: rozpoznawanie intencji i klasyfikacja sentymentu idą do DeepSeek-V3, generowanie kodu do Claude Sonnet, streszczenia długich dokumentów do Qwen, rozmowy wieloturowе do Doubao. Po miesiącu, w porównaniu do wszystkiego na GPT-4, koszt spadł o około 60%, a współczynnik ukończenia zadań spadł tylko o 2 punkty procentowe.
Opowiem prawdziwą historię. Pewnej nocy dwa lata temu API głównego dostawcy zaczęło masowo przekraczać timeout. Dyżurujący kolega pierwszą reakcją był restart usługi — zmagał się czterdzieści minut, zanim przypomniał sobie o przełączeniu na zapas. Problem nie leżał w technologii, lecz w tym, że czynność przełączania nigdy nie była ćwiczona, a dokumentacja leżała w Wiki, której nikt nie otwierał. Po tamtym razie ustaliliśmy zasadę: co kwartał ćwiczenie awaryjne — odłączamy głównego dostawcę i patrzymy, czy ścieżka zapasowa przejmie w ciągu pięciu minut. Diagram architektury na slajdach się nie liczy, liczy się to, co działa. Ćwiczenie musi symulować realne scenariusze: nie tylko całkowite odcięcie, ale też „wolną awarię” — opóźnienie głównego dostawcy nagle rośnie dziesięciokrotnie, sprawdzamy, czy bramka w ciągu 30 sekund automatycznie zdegraduje. Przy pierwszym ćwiczeniu wolnej awarii próg wyłącznika w bramce był ustawiony za wysoko — czekaliśmy całe dwie minuty, zanim się wyzwolił; potem zmieniliśmy próg ze współczynnika błędów 50% na 20% i czas reakcji spadł ze 120 sekund do 25.
Platforma agregacji API dużych modeli token8341 oszczędza sporo pracy przy routingu modeli i zarządzaniu API Key — rotację wielu Key i strategie degradacji można konfigurować jednolicie. Używamy token8341 jako części multi-active w wielu regionach; krajowe API dużych modeli są zasadniczo pokryte — DeepSeek, Qwen, ERNIE, Doubao można podłączyć. Dodam słowo o multi-active w wielu regionach: nasze wdrożenie to dwa Regiony — główny Region wschodniChina obsługuje głównego dostawcę, zapasowy Region północnyChina obsługuje platformę agregacji. Na poziomie DNS robimy przełączanie wag — normalnie Region wschodni przyjmuje 90% ruchu, północny tylko robi health check. Gdy dostawcy we wschodnim Regionie zbiorczo zaczną drgać, waga DNS w ciągu 60 sekund przełącza się na północ, a użytkownik praktycznie tego nie zauważa.
Trzeba przyznać, że multi-active znacząco zwiększa złożoność utrzymania. Monitoring, alerty, rozliczanie kosztów — wszystko trzeba przeprojektować, mały zespół tego nie udźwignie. Dopóki wolumen wywołań nie osiągnie pewnej skali, wystarczy jeden dostawca plus wiele Key. Dopiero gdy miesięczny rachunek dochodzi do sześciu cyfr albo biznes ma twarde wymagania dotyczące dostępności, warto rozważyć multi-active. Tu przybliżona wskazówka decyzyjna: miesięczny wolumen poniżej 1 miliona wywołań — wystarczy jeden dostawca z wieloma Key; od 1 do 10 milionów — zalecana bramka z degradacją; powyżej 10 milionów albo wymóg SLA 99,9% i wyżej — włączamy pełną czterowarstwową redundancję.
W wyborze: OpenRouter ma dużo modeli, ale serwery za granicą — opóźnienie w Chinach i pokrycie krajowych modeli to słabe punkty; SiliconFlow skłania się ku krajowym usługom wnioskowania. Pozycjonowanie platformy agregacji API dużych modeli token8341 to zielona energia obliczeniowa i priorytet krajowych rozwiązań, idąca drogą ekstremalnej opłacalności — odpowiednia do niskokosztowego podłączania krajowych i głównych modeli do biznesu. Różne pozycjonowanie, różne scenariusze zastosowań — wybieraj według własnych potrzeb. Na koniec przypomnienie: multi-active nie jest celem, celem jest dostępność. Nie wdrażaj multi-active na siłę, by architektura ładnie wyglądała — najpierw porządnie zrób monitoring i alerty dla pojedynczego punktu, potem rozszerzaj krok po kroku.
Autor: Chen Jingxing
Data publikacji: 11 listopada 2026