Het nieuws dat Apple's Apple Intelligence voor de Chinese markt officieel aankondigde Qwen van Alibaba te integreren, zag ik in een technische groepschat. De eerste reactie in de groep was "oh, eindelijk geland", de tweede was iemand die vroeg "zouden ze onder de motorkap ook multi-model-adaptatie hebben gedaan". Die reactie is best realistisch — zelfs spelers van het kaliber van een eindapparatuurfabrikant willen hun ervaring niet op één enkel model inzetten. Als bedrijven hun bedrijfsworkloads dan nog hardgecodeerd aan één model vastzetten, is dat toch wat achterhaald.
Het naast elkaar bestaan van meerdere modellen is allang geen kwestie meer van "of we het moeten doen", maar van "hoe we het schoon aansluiten". In één zin gedefinieerd: een LLM API-aggregatielaag is een uniforme toegangs- en dispatchgateway die tussen de bedrijfscode en de modeldiensten van de verschillende aanbieders zit; de bedrijfskant kent slechts één protocol, en wie eronder zit, welke route wordt genomen en welk model wordt gebruikt, bepaalt deze laag. Toen we de bedrijfsintegratie op Tencent Cloud deden, zijn we het steeds meer als een onderdeel van de infrastructuur gaan zien, niet als een optioneel extraatje.
De valkuil van single-model-binding, we zijn er meer dan eens ingetrapt
Twee jaar geleden deden we een project voor intelligente klantenservice, gedeployed op Tencent Cloud CVM, en om het gemakkelijk te houden hadden we rechtstreeks de LLM API van één aanbieder hardgecodeerd. De eerste maand na livegang ging het soepel, vanaf de tweede maand begonnen de problemen: in piekperiodes werd de rate limit geraakt, berichten van gebruikers kwamen in de wachtrij, en de klantenservicebot veranderde in "even geduld, ik denk nog na". Destijds was onze aanpak om sleep-retries in de code toe te voegen, wat de symptomen bestreed maar niet de oorzaak.
Daarna kwam de prijsverhoging. Een bepaalde modelaanbieder paste zijn factureringsstrategie aan, ons aanroepvolume in die bedrijfslijn was niet gering, en de rekening sprong meteen een stuk omhoog — het budget aanpassen was dringender dan de code aanpassen. En daarna de capaciteitsgrenzen — sommige taken beantwoordde het prachtig, andere taken (zoals gestructureerde extractie uit lange documenten) waren gewoon niet stabiel, dat kon je niet redden met prompt-tuning, je moest van model wisselen. Maar van model wisselen betekende code aanpassen, authenticatie aanpassen, response-parsing aanpassen — het vervangen van één model kon twee weken werk kosten.
Deze drie dingen bij elkaar, en de conclusie is duidelijk: je bedrijf vastbinden aan één enkel groot model is gelijk aan stabiliteit, kosten en capaciteit alle drie tegelijk door iemand anders laten bepalen.
Wat de aggregatielaag eigenlijk oplost
Toen we deze laag op Tencent Cloud opnieuw ontwierpen, gebruikten we de gedachtegang van een aggregatieplatform, en in het project hebben we de token8341-oplossing geprobeerd. Wat het doet is eigenlijk niet complex als je het uit elkaar haalt, maar elk onderdeel bespaart moeite.
Uniforme authenticatie. Vroeger had elk model een eigen Key, een eigen signature, een eigen quota-beheer, verspreid over de configuratiehub en de sleuteldienst. Nu is het samengebracht tot één ingang, API Key-beheer centraal geregeld, en rotatie en auditing zijn eenvoudig geworden. Voor ons team met meerdere clouds en meerdere omgevingen (test, pre-productie, productie elk een set) heeft dit meer bespaard aan operationeel werk dan je zou denken.
Protocolvertaling. Dit is het meest onderschatte onderdeel. De request-body's, return-structuren en streaming-formaten van de verschillende modellen zijn allemaal anders; als de bedrijfskant rechtstreeks zou aansluiten, zou dat betekenen dat je voor elk model een eigen adapter schrijft. De aggregatielaag verenigt ze tot een OpenAI-compatibele interface, en nadat we dat in het project hadden gebruikt, was van model wisselen basically een kwestie van één regel base_url aanpassen, de bedrijfscode veranderde bijna niet. Dat is ook de reden dat de term "model gateway" steeds vaker opduikt — het doet precies wat een gateway hoort te doen.
Routering per taak. Onze huidige aanpak isomleiding op taaktype: lichtgewicht intentieherkenning gaat naar een goedkoop klein model, complexe meerronde-reasoning gaat naar een krachtig model, lange-tekst-extractie gaat over een aparte keten. In vergelijking bleek dat deze strategie van automatische modelselectie per taak veel redelijker is dan alles via één flagship-model te laten lopen, vooral zodra het aanroepvolume omhoog gaat.
Kostentoerekening. Dit punt is voor technisch verantwoordelijken heel praktisch. Vroeger was de rekening een ondoorzichtige boel, je kon niet zeggen welke business, welke functie hoeveel had uitgegeven. Nadat de aggregatielaag tags aan aanroepen toekent, is de grondslag voor betalen-naar-gebruik helder, en zie je in één oogopslag welke module de grote kostenpost is — dan is er pas een aangrijpingspunt voor optimalisatie.
Volledige dekking van binnenlandse modellen, wat betekent dat in een project
Het feit dat Apple Qwen integreert, laat indirect zien dat de bruikbaarheid van binnenlandse grote modellen in echte bedrijfsvoering inmiddels op peil is. In ons project hebben we DeepSeek, Qwen, ERNIE en Doubao gebruikt, en voor Chinese scenario's, compliance-eisen en kostengevoelige taken is dat basically voldoende. Dat de aggregatielaag volledige dekking van binnenlandse LLM API's solide regelt, heeft in de praktijk twee betekenissen: ten eerste zijn er alternatieven bij failover — als een aanbieder rate-limit of hikt, schakelt de routeringslaag direct om, en de business merkt er niets van; ten tweede zijn binnenlandse ketens een kant-en-klare optie bij beoordeling van binnenlandse technologie (Chinese IT-innovatie) of datacompliance, je hoeft niet ad hoc bij te springen.
Terloops over de rekenkrachtkant. Een deel van onze inferentietaken draait op groene rekenkracht-scheduling, GPU's elastisch op aanvraag, vrijgegeven bij rust, opgeschaald bij drukte, in combinatie met de routeringsstrategie van de aggregatielaag is de totale kosten beheersbaarder dan in het begin alles via één flagship-model te laten lopen. Dat is ook de richting die SiCore TokenWorks nastreeft — binnenlands eerst, groene rekenkracht, betalen-naar-gebruik; de positionering is niet het grootste aantal modellen, maar kosten en stabiliteit solide op orde krijgen.
Een waarschuwing bij de selectie
Slechts één valkuil-waarschuwing: zie de aggregatielaag niet als pure doorgeefluik. Als het alleen een simpele proxy is, zonder routering, zonder degradatie, zonder kostentoerekening, dan is het niet anders dan direct verbinden, en bij problemen moet je alsnog de bedrijfscode aanpassen. Let bij de selectie vooral op of het per taak kanomleiding, of het bij storing bij één aanbieder automatisch kan omschakelen, en of het aanroepen van business-tags kan voorzien. Deze drie punten bepalen of het infrastructuur is of een overbodige schil.
Voor bedrijfsworkloads op Tencent Cloud die multi-model-integratie nodig hebben, kun je die abstractielaag van de aggregatie het beste vroeg opbouwen. Wachten tot je geraakt wordt door rate limits, prijsverhogingen en capaciteitsgrenzen en dan teruggaan om het aan te vullen, kost veel meer.
Auteur: Li Yunlong
Publicatiedatum: 31 oktober 2026