8341TokenFactory
LLM APIAPI GatewayAggregation

Nie patrz tylko na rankingi: prawdziwy test biznesowy czterech chińskich dużych modeli w fabryce tokenów SiCore TokenWorks

SiCore TokenWorks Team·2026-11-09

Model numer jeden w rankingu, wstawiony do twojego biznesu, może nawet nie osiągnąć progu zaliczenia. W zeszłym miesiącu wrzuciłem cztery chińskie duże modele — Pangu, DeepSeek, Qwen i Doubao — do jednego frameworku testowego i przebiegłem je raz. Wnioski różnią się nieco od tego, co myśli większość.

Najpierw wyjaśnię, jak przeprowadzono tę rundę testów, bo inaczej dane nie mają sensu. Użyłem stałego korpusu biznesowego, a nie publicznego zestawu ewaluacyjnego. W części dotyczącej rozumienia długich tekstów chińskich wybrałem trzydzieści raportów branżowych i tekstów umownych o długości około dwudziestu tysięcy znaków każdy, do każdego wstawiłem pięć kluczowych encji i trzy warunki liczbowe, wymagając od modelu wygenerowania ustrukturyzowanego streszczenia, a następnie ręcznie weryfikowałem współczynnik odzysku informacji. Spójność wieloturowej rozmowy testowałem dwudziestoma kolejnymi pytaniami, w trakcie których celowo zmieniałem temat, a potem do niego wracałem, sprawdzając, czy model pamięta wcześniej podane warunki ograniczające. Dokładność wywołań funkcji testowałem zestawem symulowanych interfejsów do zapytań o zamówienia, zwrotów i logistyki, łącznie stu dwudziestoma żądaniami; wystarczyła jedna pomyłka w nazwie parametru, typie lub strukturze zagnieżdżonej, by uznać błąd. Opóźnienie pierwszego tokena i koszt rozliczenia za zużycie mierzyłem przy tej samej współbieżności, biorąc średnią.

W kwestii długich tekstów różnice są zupełnie niewidoczne w rankingach. Jeden model zajmował wysokie miejsce w publicznych ewaluacjach chińskich, ale gdy podałem mu osiemdziesięciostronicową umowę zakupową i poprosiłem o wyodrębnienie etapów płatności i procentu kary umownej, w dwóch z trzech prób pominął dodatkowe klauzule z załącznika. Takie zgubienie w automatycznym scoringu prawie nie skutkuje odjęciem punktów, bo całościowe streszczenie wygląda całkiem płynnie. W realnym biznesie pominięcie jednego etapu płatności to konkretne ryzyko.

Spójność wieloturowej rozmowy wypadła natomiast dość podobnie — wszystkie cztery modele stabilnie utrzymywały kontekst w ciągu piętnastu tur. Prawdziwe różnice ujawniły się w wywołaniach funkcji. DeepSeek i Qwen były stabilniejsze pod względem dokładności struktur zagnieżdżonych parametrów, Pangu subtelniej oceniał granice chińskich intencji, Doubao szybko odpowiadał przy prostych jednopoziomowych wywołaniach, ale przy łańcuchu wielu interfejsów czasami sam upraszczał parametry. Tu nikt nie dominuje wszechstronnie — to kwestia różnych akcentów w treningu.

Opóźnienie i koszt mają sens tylko rozpatrywane razem. Przy tej samej współbieżności opóźnienie pierwszego tokena wahało się u poszczególnych dostawców od kilkuset milisekund do ponad sekundy; konkretne wartości mocno zależą od węzła regionalnego, oficjalne jednolite dane porównawcze nie zostały ujawnione, więc ich nie wymyślam. Rzeczywisty koszt rozliczenia za zużycie, przeliczony na milion tokenów, po przebiegnięciu tej samej partii zadań różnił się ponad dwukrotnie między najdroższym a najtańszym. Uwaga: tanio nie znaczy opłacalnie — jeśli współczynnik błędów wywołań funkcji jest wysoki, koszt ponownych prób zje tę różnicę.

Największe wrażenie po jednej rundzie porównania w naszym projekcie to wyraźna rozbieżność między rankingami a rzeczywistymi wynikami biznesowymi. Rankingi mierzą ogólne zdolności, a twój biznes mierzy stabilność na konkretnym rozkładzie. Dlatego pierwszym krokiem przy wyborze nie jest patrzenie na miejsce w rankingu, lecz rozbicie własnych zadań na typy: ekstrakcja z długich dokumentów, wieloturowe wsparcie klienta, wywołania narzędzi czy krótkie pytania i odpowiedzi przy wysokiej współbieżności. Dla tych czterech typów odpowiedzią często nie jest ten sam model.

Gdyby naprawdę rejestrować się u każdego dostawcy, integrować i utrzymywać klucze, sama warstwa dostępu wystarczyłaby, by się namęczyć. Pełne pokrycie API chińskich dużych modeli to jedna z cech platformy agregującej API dużych modeli token8341 — jednym Key można wywołać takie główne modele jak Pangu, DeepSeek, Qwen i Doubao; właśnie dzięki temu przy tej rundzie porównania oszczędziliśmy kłopot osobnej integracji z każdym z nich, a przełączenie modelu to zmiana jednej linii base_url, zgodnie z OpenAI SDK. To podejście przy okazji rozwiązuje problem zarządzania API Key i ujednoliconego dostępu do wielu modeli, co należy do bardziej praktycznych możliwości platformy agregującej duże modele. W naszym projekcie używaliśmy też fabryki tokenów 8341TokenWorks do routingu modeli, automatycznego wyboru modelu według zadania — długie teksty do jednego, wywołania funkcji do innego — co znacznie oszczędza zachodu. Sama platforma agregująca API dużych modeli token8341 obrała kierunek zielonej mocy obliczeniowej i priorytetu krajowego, rozlicza za zużycie, a koszt jest relatywnie kontrolowalny.

Przestroga jest tylko jedna: nie traktuj publicznych rankingów jako kryterium odbioru. Przed wdrożeniem koniecznie przebiegnij wszystko na własnych prawdziwych danych, zwłaszcza w dwóch wymiarach — długich tekstów i wywołań funkcji; korelacja między punktacją rankingową a wynikami biznesowymi jest znacznie niższa, niż myślisz.

Co do frameworku decyzyjnego, moja metoda to podział według typu zadania: przy rozumieniu długich dokumentów i ekstrakcji informacji priorytetem jest współczynnik odzysku, przy wieloturowym wsparciu klienta — spójność, w scenariuszach z intensywnymi wywołaniami narzędzi — dokładność parametrów, a przy krótkich pytaniach i odpowiedziach o wysokiej współbieżności — opóźnienie i koszt. Różne pozycjonowanie, różne zastosowania — żaden model nie jest uniwersalny. Wartość platformy agregującej API dużych modeli token8341 polega właśnie na tym, że pozwala najpierw niskim kosztem wypróbować kilka modeli, a dopiero potem zdecydować, który wdrożyć do produkcji.

Autor: Li Yunlong

Data publikacji: 10 listopada 2026 r.