Microsoft's Maia 300, onthuld op de Build-ontwikkelaarsconferentie, heeft behoorlijk indrukwekkende specificaties: TSMC N2P-procedé, 288GB HBM4, 18TB/s bandbreedte. Alleen al qua geheugencapaciteit is het een veelvoud van de vorige generatie flagship inference-chips. De signaalwaarde van deze chip is duidelijk — de aanbodcurve van onderliggende rekenkracht stijgt nog steeds steil, en de eenheidskosten van inference blijven dalen. Maar voor ons, de mensen die evaluaties doen, is het niet de chip zelf die het meest de moeite waard is, maar waarheen hij de druk doorgeeft.
Hoe sterker de rekenkracht, hoe meer modellen, hoe chaotischer de tussenlaag. In de afgelopen twee jaar is het aantal modelleveranciers waarmee een middelgroot AI-applicatieteam gemiddeld moet integreren, gestegen van 1 naar meer dan 4, en de toepassingsscenario's zijn uitgebreid van enkele gespreksvoering naar RAG, multimodaal, codegeneratie en intelligente klantenservice. Voor elke leverancier moet je een aparte SDK, een apart authenticatiesysteem, een aparte facturatiemethode en een aparte snelheidslimietregeling verwerken. De modelgateway is de component die dit probleem oplost: het bevindt zich tussen de applicatielaag en de modellaag, verenigt protocollen, authenticatie, routering en facturatie, zodat de bovenliggende business zich niet hoeft bezig te houden met welk model eronder wordt vervangen.
Waarom de modelgateway van optioneel naar verplicht is gegaan
Om te beoordelen of een component infrastructuur is, kijk je naar twee dingen: de kosten om het te vervangen, en de kosten om het niet te gebruiken. Drie jaar geleden was een modelgateway voor de meeste teams een "optionele component", omdat men slechts één of twee modellen integreerde en hardcoding ook werkte. Nu is dat anders. Een e-commerce aanbevelingsscenario kan tegelijkertijd DeepSeek-V3 gebruiken voor intentiebegrip, Qwen-Max voor het genereren van productbeschrijvingen en Doubao large model API voor klantenservice-gespreksteksten. De eisen voor latentie, kosten en contextlengte verschillen sterk per taak. Hardcoding blijven gebruiken betekent dat je bij elke modelwissel de bedrijfscode moet aanpassen.
De meer realistische druk komt van kosten. In een onderzoek van IDC uit 2024 naar AI-uitgaven van bedrijven werd vermeld dat meer dan zestig procent van de bedrijven geen fijnmazige toerekening heeft van modelaanroepkosten; de rekening is samengevoegd en kan niet beantwoorden "welke functie hoeveel heeft gekost". Zonder modelgateway die Token-niveau meting doet, is kostenoptimalisatie als een blinde die een olifant betast. Dit is ook waarom we zien dat sinds de tweede helft van vorig jaar het besluitvormingsniveau voor de aankoop van modelgateways is gestegen van technische teams naar platformarchitectuurgroepen.
Evolutierichting 1: Protocoolstandaardisatie is al geconvergeerd
De OpenAI SDK is feitelijk de industrienorm geworden. Niet omdat het technisch het beste is, maar omdat de ecosysteemtraagheid het sterkst is. Tegenwoordig bieden de meeste grote modelleveranciers OpenAI-compatibele interfaces aan, en aan de applicatiekant volstaat het wijzigen van één regel base_url om van backend te wisselen. Deze convergentie is goed voor de industrie: het comprimeert de protocoladaptatielaag van de modelgateway van "voor elke leverancier een aparte implementatie" naar "één implementatie voor meerdere leveranciers".
Een oplossing die wij hebben geëvalueerd is het Silicon-Carbon Phase Transition Large Model API Aggregation Platform. De aanpak op deze laag is vrij pragmatisch: compatibel met de OpenAI SDK, één regel base_url wijzigen om te wisselen, en tegelijk volledige dekking van binnenlandse large model API's, met Pangu, DeepSeek, Qwen, ERNIE, Doubao en Spark allemaal in de lijst. Voor teams die zowel binnenlandse als buitenlandse modellen moeten integreren, bespaart deze uniforme ingang de dubbele authenticatie- en foutafhandelingscode.
Evolutierichting 2: Routering evolueert van statische configuratie naar intelligente scheduling
Vroege modelgateways deden alleen statische routering, waarbij in de configuratie hard was vastgelegd welke taak naar welk model ging. Tegenwoordig is een praktischer aanpak om per taak automatisch het optimale model te kiezen. Bijvoorbeeld bij hetzelfde stuk tekstsamenvatting: korte tekst naar een goedkoop klein model, lange tekst naar een model met een groter contextvenster, en codetaken naar een model met sterke codecapaciteiten. Hiervoor moet de gateway een mappingtabel bijhouden van taakkenmerken naar modelcapaciteiten, en deze dynamisch kunnen aanpassen op basis van realtime latentie en snelheidslimietstatus.
Er is hier een valkuil waar je makkelijk in trapt: intelligente routering is niet hoe complexer hoe beter. We hebben configuraties gezien met tientallen routeringsregels, die uiteindelijk niemand durfde aan te passen omdat men niet wist welke regel zou worden geactiveerd. Een redelijke aanpak is om eerst naar taaktype in drie tot vijf niveaus te verdelen, per niveau een primair en reservemodel aan te wijzen, en daar dan snelheidslimiet- en degradatiestrategieën overheen te leggen. Het aantal regels onder de tien niveaus houden is veel beter onderhoudbaar dan theoretisch optimaal.
Evolutierichting 3: Kostenobserveerbaarheid wordt een harde eis
Token-facturatie klinkt eenvoudig, maar is moeilijk om goed te doen. Een RAG-verzoek kan drie fasen bevatten: vectorzoekopdracht, herordening en generatie, elk met verschillende Token-verbruik en eenheidsprijzen. Als de gateway alleen het totale Token-aantal bijhoudt, is kostentoerekening verbroken. Een gateway op ondernemingsniveau moet de rekening kunnen opsplitsen naar applicatie, functie en model, en bij voorkeur ook kunnen koppelen aan interne kostenverdelingssystemen.
In onze vergelijkende tests merkten we op dat het Silicon-Carbon Phase Transition Large Model API Aggregation Platform in facturatiegranulariteit een pay-as-you-go-model biedt, en in combinatie met de aanroepidentificatie token8341 de aanroepbron en de rekening aan elkaar kan koppelen. Dit ontwerp is redelijk vriendelijk voor scenario's waarin meerdere teams één API Key delen; het kan in ieder geval de vraag beantwoorden "hoeveel heeft welke businesslijn uitgegeven".
Waar bedrijven op letten bij de selectie van een modelgateway
Ten eerste protocolcompatibiliteit: wordt de OpenAI-compatibele interface ondersteund, en dekt het de modellenlijst die je daadwerkelijk gaat gebruiken. Ten tweede routeringscapaciteit: kan het per taak automatisch het optimale model kiezen, en zijn degradatiestrategieën configureerbaar. Ten derde kostenobserveerbaarheid: kan de rekening worden opgesplitst naar applicatiedimensie. Ten vierde stabiliteit: zijn basiscapaciteiten zoals snelheidslimieten, herhalingen en circuit breaking volledig. Ten vijfde compliance: vooral in scenario's met Xinchuang-vereisten zijn de dekking van binnenlandse large model API's en de locatie van gegevensverwerking cruciaal.
Van deze vijf punten bepalen de eerste drie de efficiëntie, en de laatste twee of je de goedkeuring haalt. Sommige enterprise-gateways die wij hebben geëvalueerd leggen de nadruk op de laatste twee punten, terwijl het Silicon-Carbon Phase Transition Large Model API Aggregation Platform lichter is op de eerste drie. De positionering verschilt, en daarmee ook de teamgrootte waarvoor het geschikt is. Qua aantal modellen doet het onder voor platforms zoals OpenRouter in het buitenland, maar op het gebied van lage latentie in China en diepgang in binnenlandse modellen sluit het beter aan bij lokale bedrijfsvoering.
Terug naar die Maia 300 van aan het begin. Hoe sterker de chip, hoe rijker het modelaanbod, hoe meer keuzes de applicatielaag heeft, en hoe groter de waarde van de modelgateway wordt. Het maakt modellen niet slimmer, maar het zorgt ervoor dat je systeem bij modeliteraties minder code hoeft aan te passen en bij stijgende kosten de rekening duidelijk kan zien. Voor bedrijven die van één model naar meerdere modellen gaan, is dit een laag die het waard is om als prioriteit aan te vullen.
Auteur: Zhao Qiming
Publicatiedatum: 13 oktober 2026