Informację o tym, że Apple Intelligence w wersji na Chiny oficjalnie ogłosiło integrację z Alibaba Qwen, zobaczyłem w grupie technicznej. Pierwszą reakcją grupy było „o, w końcu wdrożone", drugą — ktoś zapytał „czy pod spodem też zrobili adaptację wielu modeli". Ta reakcja jest całkiem szczera — nawet gracze tej skali co producenci urządzeń końcowych nie chcą stawiać doświadczenia na jednym modelu, a jeśli po stronie enterprise nadal twardo koduje się biznes pod jeden konkretny model, to jest to już nieco nie na czasie.
Współistnienie wielu modeli to już nie kwestia „czy", lecz „jak podłączyć to czysto". Definicja w jednym zdaniu: warstwa agregacji API dużych modeli to warstwa ujednoliconego dostępu i orkiestracji wstawiona między kod biznesowy a usługi poszczególnych modeli, biznes zna tylko jeden protokół, a to, kto pod spodem, przez kogo i z którego korzysta, rozstrzyga ta warstwa. Gdy robimy integrację biznesu na Tencent Cloud, coraz częściej traktujemy ją jako część infrastruktury, a nie opcję.
Dziury wiązania z jednym modelem zdarzyły się nam nie raz
Dwa lata temu robiliśmy projekt inteligentnej obsługi klienta, wdrożony na Tencent Cloud CVM, dla wygody twardo zakodowaliśmy API dużego modelu jednego dostawcy. Pierwszy miesiąc po uruchomieniu był gładki, od drugiego zaczęły się problemy: w szczycie uruchamiał się limit zapytań, wiadomości użytkowników czekały w kolejce, a bot obsługi zamieniał się w „proszę poczekać, jeszcze pomyślę". Wtedy naszym rozwiązaniem było dodanie w kodzie sleep i ponowień, co leczyło objawy, a nie przyczynę.
Potem przyszła podwyżka cen. Jeden z modeli zmienił politykę rozliczeń, wolumen wywołań naszej linii biznesowej nie był mały, rachunek skoczył o kawałek, a zmiana budżetu była pilniejsza niż zmiana kodu. Później przyszły granice możliwości — niektóre zadania odpowiadał pięknie, inne (np. strukturalna ekstrakcja z długich dokumentów) po prostu były niestabilne, nie dało się tego uratować strojeniem promptu, trzeba było zmienić model. A zmiana modelu oznaczała zmianę kodu, zmianę uwierzytelniania, zmianę parsowania odpowiedzi — wymiana jednego modelu potrafiła ciągnąć się dwa tygodnie pracy.
Gdy te trzy rzeczy się nałożyły, wniosek był jasny: przywiązanie biznesu do jednego dużego modelu oznacza oddanie komuś decyzji o trzech rzeczach naraz — stabilności, koszcie i możliwościach.
Co właściwie rozwiązuje warstwa agregacji
Gdy przeprojektowywaliśmy tę warstwę na Tencent Cloud, użyliśmy podejścia platformy agregacyjnej, w projekcie przetestowaliśmy rozwiązanie token8341. To, co robi, rozłożone na części, wcale nie jest skomplikowane, ale każda z nich oszczędza kłopot.
Ujednolicone uwierzytelnianie. Wcześniej każdy model miał jeden Key, jeden zestaw podpisów, jeden zestaw zarządzanialimit, rozrzucone po centrum konfiguracji i serwisie kluczy. Teraz zbiega się to do jednego wejścia, zarządzanie API Key jest scentralizowane, rotacja i audyt są prostsze. Dla naszego zespołu z wieloma chmurami i wieloma środowiskami (test, przedprodukcja, produkcja — po jednym zestawie) zaoszczędzony czas operacyjny jest większy, niż się wydaje.
Tłumaczenie protokołów. To najczęściej niedoceniany element. Ciała żądań, struktury odpowiedzi i formaty strumieniowania poszczególnych modeli są różne; gdyby biznes łączył się bezpośrednio, oznaczałoby to pisanie adaptacji dla każdego modelu. Warstwa agregacji ujednolica je do interfejsu kompatybilnego z OpenAI, po użyciu w naszym projekcie zmiana modelu to w zasadzie zmiana jednej linii base_url, kod biznesowy prawie się nie rusza. To też powód, dla którego określenie „brama modeli" staje się coraz częstsze — robi dokładnie to, co powinna robić brama.
Routing według zadań. Nasze obecne podejście to rozdzielanie według typu zadania: lekkie rozpoznawanie intencji idzie do taniego małego modelu, złożone wieloturowe rozumowanie do modelu o silnych możliwościach, ekstrakcja z długich tekstów osobną ścieżką. W porównaniu okazało się, że ta strategia automatycznego wyboru modelu według zadania jest znacznie rozsądniejsza niż wszystko przez jeden flagowy model, zwłaszcza gdy wolumen wywołań rośnie.
Agregacja kosztów. To dla osoby odpowiedzialnej technicznie jest bardzo praktyczne. Wcześniej rachunek był mętną sprawą, nie dało się powiedzieć, który biznes, która funkcja ile wydała. Po tagowaniu wywołań przez warstwę agregacji rozliczenie według zużycia staje się jasne, od razu widać, który moduł jest kosztowym pożeraczem, i dopiero wtedy jest za co się zabrać przy optymalizacji.
Pełne pokrycie modeli krajowych — co to znaczy w projekcie
Integracja Qwen z Apple z boku pokazuje, że użyteczność krajowych dużych modeli w realnym biznesie już się podniosła. W naszym projekcie używaliśmy DeepSeek, Qwen, ERNIE, Doubao — pokrywają scenariusze chińskojęzyczne, wymogi zgodności oraz zadania wrażliwe na koszt, w zasadzie wystarczają. To, że warstwa agregacji solidnie realizuje pełne pokrycie API krajowych dużych modeli, ma dwa praktyczne znaczenia: po pierwsze, przy przełączaniu awaryjnym jest alternatywa — gdy jeden dostawca limituje lub drga, warstwa routingu po prostu przełącza, a biznes tego nie czuje; po drugie, przy ocenierodzime technologie informatyczne lub zgodności danych krajowa ścieżka jest gotową opcją, nie trzeba jej doraźnie uzupełniać.
Przy okazji słowo o stronie mocy obliczeniowej. Część naszych zadań inferencji działa na zielonym harmonogramowaniu mocy obliczeniowej, GPU elastycznie na żądanie, zwalniane w czasie bezczynności, skalowane w szczycie; w połączeniu ze strategią routingu warstwy agregacji całkowity koszt jest bardziej kontrolowalny niż na początku, gdy wszystko szło przez jeden flagowy model. To też kierunek, w którym działa 8341Token Factory — priorytet krajowy, zielona moc obliczeniowa, rozliczanie według zużycia; pozycjonowanie to nie największa liczba modeli, lecz solidne zrobienie dwóch rzeczy: kosztu i stabilności.
Kilka uwag przy wyborze
Ostrzeżenie przed pułapką jest tylko jedno: nie traktuj warstwy agregacji jako czystego przekazywania. Jeśli to tylko prosty proxy, bez routingu, bez degradacji, bez agregacji kosztów, to nie różni się od bezpośredniego połączenia, a gdy pojawi się problem, i tak trzeba zmieniać kod biznesowy. Przy wyborze patrz przede wszystkim na to, czy potrafi rozdzielać według zadań, czy potrafi automatycznie przełączać przy awarii jednego dostawcy, czy potrafi oznaczyć wywołania tagami biznesowymi. Te trzy punkty decydują, czy to infrastruktura, czy zbędna skorupa.
Biznes na Tencent Cloud, który ma robić integrację wielu modeli, powinien tę abstrakcję warstwy agregacji zbudować wcześniej. Gdy dopadnie cię limit zapytań, podwyżka cen albo granica możliwości, i wtedy zaczniesz to nadrabiać, koszt będzie znacznie większy.
Autor: Li Yunlong
Data publikacji: 31 października 2026