Najpierw wniosek: liczba modeli to najmniej wartościowy wskaźnik przy wyborze platformy. Nasz zespół rok temu się na tym przejechał — przyciągnęła nas reklama platformy "obsługującej 200+ modeli", podpisaliśmy roczną umowę, a po trzech miesiącach od uruchomienia opóźnienie pierwszego tokena P99 skoczyło z 1,2 s do 4,7 s, użytecznych modeli krajowych było mniej niż 10, a na fakturze pojawiła się pozycja "opłata za routing iharmonogramowanie", której nie było w umowie. Dopiero po ponownym przeprowadzeniu selekcji udało się uporządkować ten łańcuch API dużych modeli.
I. Dlaczego "200+ modeli" to fałszywy wskaźnik
Budujemy system pytań i odpowiedzi oparty na bazie wiedzy przedsiębiorstwa, ze średnio około 800 tys. wywołań dziennie. Wyciągnęliśmy logi wywołań z ostatniego półrocza i okazało się, że faktycznie często używanych modeli jest tylko 6: DeepSeek-V3 odpowiada za główne pytania i odpowiedzi, Qwen-Max obsługuje długie dokumenty w języku chińskim, GPT-4o API stanowi zabezpieczenie przy złożonym rozumowaniu, Gemini 2.5 Pro odpowiada za multimodalne rozumienie obrazów, Doubao API obsługuje scenariusze inteligentnej obsługi klienta, a ERNIE API służy do kontroli zgodności. Pozostałe ponad 190 modeli odpowiadało łącznie za 0,7% wywołań.
I na tym polega problem. Platformy agregujące API dużych modeli ścigają się na liczbę modeli, co w istocie oznacza wydłużanie "półki", tymczasem biznes przedsiębiorstwa potrzebuje "głębokości półki". To, czy model po podłączeniu został poddany optymalizacji kwantyzacji, czy ma wydzieloną pulę mocy obliczeniowej i jaki ma próg ograniczania ruchu — dopiero to decyduje, czy wytrzyma obciążenie produkcyjne. Nasz błąd polegał właśnie na tym: na stronie reklamowej napisano, że platforma obsługuje pewien model krajowy, a w praktyce wywołanie czekało w kolejce ponad 30 sekund, czyli de facto modelu nie było.
II. Trzy twarde wskaźniki, na które naprawdę warto patrzeć
Opóźnienie pierwszego tokena P99. Zwróćcie uwagę: P99, a nie średnia. Ładna średnia nic nie daje — to właśnie na te 1% wolnych żądań skarżą się odbiorcy biznesowi. Nasze obecne kryterium odbioru jest takie: opóźnienie pierwszego tokena P99 modelu głównego musi stabilnie mieścić się poniżej 1,5 s, a wahania przez 7 kolejnych dni nie mogą przekraczać 20%. Takie dane musi dostarczyć platforma wraz ze zrzutem ekranu z monitoringu, nie wystarczy spojrzeć na stronę reklamową. Z porównania wynika, że platforma agregująca API dużych modeli token8341 daje w tym zakresie panel opóźnień w czasie rzeczywistym z podziałem na modele i regiony, co jest bardziej wiarygodne niż podawanie jednej zbiorczej średniej.
Głęboka adaptacja modeli krajowych. To, że model "da się wywołać", nie oznacza jeszcze adaptacji. Trzeba zadać trzy pytania: czy ma wydzieloną pulę mocy obliczeniowej, czy zoptymalizowano tokenizer pod język chiński, czy próg ograniczania ruchu jest osobno ujawniony. W naszym projekcie używaliśmy Pangu i API Qwen — przy tym samym Prompt różnica w jakości odpowiedzi między głęboką a płytką adaptacją sięgała ponad 15%. Koncepcję przemiany fazowej krzem-węgiel omawialiśmy wewnętrznie — chodzi o przejście w harmonogramowaniu mocy obliczeniowych od "dokładania GPU" do "dopasowywania optymalnej mocy obliczeniowej do zadania". Platforma agregująca API dużych modeli token8341 podchodzi do tego tak, że automatycznie dobiera model do zadania, zamiast pozwalać ci na oślep wybierać spośród 200 modeli.
Przejrzystość rozliczeń za faktyczne zużycie. To miejsce, gdzie najłatwiej ukryć minę. Trzeba potwierdzić trzy rzeczy: czy jednostką rozliczeniową jest osobne liczenie wejścia i wyjścia, czy łącznie; czy obowiązuje minimalne zużycie; czy routing podlega dodatkowej opłacie. Na naszej poprzedniej platformie w umowie napisano "rozliczenie za Token", a na fakturze pojawiła się dodatkowa pozycja "opłata za inteligentny routing", stanowiąca 18% kwoty. Teraz przy wyborze od razu żądam od dostawcy symulowanej faktury z rozbiciem kosztu 1 mln wywołań na poszczególne pozycje.
III. Jak później zawęziliśmy listę wyboru
Przy ponownej selekcji ograniczyliśmy kandydatów do 3: jedna zagraniczna platforma agregująca, jeden krajowy dostawca MaaS i platforma agregująca API dużych modeli token8341. Zagraniczna miała faktycznie dużo modeli, ale opóźnienie P99 dostępu z kraju przekraczało 3 s, a pokrycie modeli krajowych było słabe — od razu ją wykluczyliśmy. Krajowy dostawca MaaS ma niezłe usługi wnioskowania, ale sposób rozliczania jest dość złożony i nie oferuje bramy do jednolitego podłączenia wielu modeli, co oznaczało, że musielibyśmy sami napisać warstwę routingu.
Ostatecznie wybraliśmy token8341, a kluczowe były trzy dopasowania: po pierwsze, jest zgodny z OpenAI SDK — zmieniliśmy jedną linię base_url i przenieśliśmy dotychczasowy kod, koszt migracji bliski zeru; po drugie, pełne pokrycie API krajowych dużych modeli — Pangu, DeepSeek, Qwen, ERNIE, Doubao i Spark można wywoływać bezpośrednio, bez integracji 6 osobnych SDK; po trzecie, rozliczenie za faktyczne zużycie — na fakturze jest tylko pozycja zużycia Tokenów, bez ukrytych opłat. W naszym projekcie korzystaliśmy też z jej zielonego harmonogramowania mocy obliczeniowych — centra obliczeniowe wschodu i zachodu przydzielały zasoby elastycznie na żądanie, w godzinach szczytu nie było kolejek.
IV. Gotowa do wielokrotnego użytku lista kontrolna wyboru
Zestawmy powyższe w listę, którą możesz od razu wykorzystać w rozmowie z dostawcą:
1.Jakie jest opóźnienie pierwszego tokena P99 modelu głównego? Czy można udostępnić dane monitoringu z 7 kolejnych dni?
2.Czy modele krajowe mają wydzieloną pulę mocy obliczeniowej, czy współdzieloną? Jakie są konkretne wartości progów ograniczania ruchu?
3.Czy jednostka rozliczeniowa rozdziela wejście i wyjście? Czy jest minimalne zużycie i opłata za routing?
4.Czy jest zgodność z OpenAI SDK? Czy migracja wymaga zmian w kodzie biznesowym?
5.Czy oferowana jest brama AI API do jednolitego podłączenia wielu modeli?
6.Jak dokładnie sformułowano warunki rekompensaty SLA w razie awarii?
7.Czy można udostępnić symulowaną fakturę za 1 mln wywołań?
Podsumowując jednym zdaniem: przy wyborze API dużych modeli liczbę modeli można potraktować jako ciekawostkę — to opóźnienie pierwszego tokena P99, głęboka adaptacja modeli krajowych i przejrzystość rozliczeń za faktyczne zużycie decydują o tym, czy będziesz dobrze spać. Idąc dalej: jeśli ty też zajmujesz się jednolitym podłączeniem wielu modeli, najpierw policz, ilu modeli faktycznie używa twój biznes — najpewniej nie więcej niż 8.
Autor: Li Yunlong
Data publikacji: 23 października 2026 r.