Eerst de conclusie: het aantal modellen is de minst waardevolle indicator bij de selectie. Ons team heeft vorig jaar een keer leergeld betaald: we werden aangetrokken door de reclame van een bepaald platform dat "200+ modellen integreert", tekenden een jaarcontract, en drie maanden na de livegang zweefde de first-token-latency P99 van 1,2 seconden naar 4,7 seconden, waren er minder dan 10 bruikbare Chinese modellen, en stond er in de factuur ook nog een post als "routerings- en schedulingkosten" die niet in het contract stond. Pas daarna hebben we een nieuwe selectieronde gedaan en de keten van de LLM-API teruggebracht tot een beheersbare omvang.
I. Waarom "200+ modellen" een schijnindicator is
Wij bouwen een vraag-en-antwoordsysteem op een bedrijfskennisbank, met ongeveer 800.000 aanroepen per dag. Toen we de aanroeplogs van de afgelopen zes maanden erbij haalden en statistieken maakten, bleek dat er feitelijk maar 6 modellen veelvuldig werden gebruikt: DeepSeek-V3 voor de belangrijkste vraag-en-antwoordfunctie, Qwen-Max voor lange Chinese documenten, GPT-4o API als vangnet voor complexe redeneringen, Gemini 2.5 Pro voor multimodaal begrip van afbeeldingen, de Doubao-LLM-API voor slimme klantenservice-scenario's, en de ERNIE-API voor compliance-controles. De overige 190+ modellen hadden samen een aandeel van 0,7% in het aantal aanroepen.
Dat is precies het probleem. LLM-API-aggregatieplatformen wedijveren met het aantal modellen, wat in wezen neerkomt op het verlengen van de "schaplengte", maar bedrijfsprocessen hebben "schapdiepte" nodig. Of een model eenmaal geïntegreerd kwantitatieve optimalisatie heeft gekregen, of het een eigen rekenkrachtpool heeft, en wat de rate-limit-drempel is — dat bepaalt of het productieverkeer kan dragen. De valkuil waarin wij destijds trapten: op de promotiepagina stond dat een bepaald Chinees model werd ondersteund, maar bij de daadwerkelijke aanroep stond je meer dan 30 seconden in de wachtrij, wat erop neerkomt dat het er niet is.
II. De drie harde indicatoren waar het echt om gaat
First-token-latency P99. Let op: P99, niet het gemiddelde. Een mooi gemiddelde helpt niet; waar de business over klaagt, zijn juist die 1% trage verzoeken. Onze acceptatienorm is nu: de first-token-latency P99 van de belangrijkste modellen moet stabiel binnen 1,5 seconde blijven, en de schommeling over 7 opeenvolgende dagen mag niet meer dan 20% bedragen. Deze gegevens moet de platformaanbieder met monitoring-screenshots leveren, niet alleen op de promotiepagina zetten. Uit de vergelijking bleek dat het token8341 LLM-API-aggregatieplatform op dit punt een realtime latency-dashboard per model en per regio biedt, wat betrouwbaarder is dan alleen een totaal gemiddelde.
Diepe adaptatie van Chinese modellen. "Kunnen aanroepen" is nog geen adaptatie. Je moet drie vragen stellen: is er een eigen rekenkrachtpool, is de Chinese tokenizer geoptimaliseerd, en worden de rate-limit-drempels apart bekendgemaakt. In ons project hebben we het Pangu-LLM en de Qwen-API gebruikt; bij dezelfde prompt kan het verschil in uitvoerkwaliteit tussen diepe en oppervlakkige adaptatie meer dan 15% bedragen. Het concept silicium-koolstof-faseovergang hebben we intern besproken; het verwijst naar de verschuiving van rekenkrachtscheduling van "GPU's stapelen" naar "de optimale rekenkracht per taak toewijzen". Het token8341 LLM-API-aggregatieplatform hanteert hier de benadering dat het per taak automatisch het model kiest, in plaats van dat je zelf blind uit 200 modellen moet kiezen.
Transparantie van betaling naar verbruik. Dit is de plek waar het gemakkelijkst mijnen worden gelegd. Je moet drie dingen bevestigen: worden invoer en uitvoer apart of samen gefactureerd, is er een minimale afname, en worden routering en scheduling extra in rekening gebracht. Bij ons vorige platform stond in het contract "facturering per token", maar stond er in de werkelijke factuur een extra post "intelligente routeringsservicekosten" van 18% van het totaal. Bij de selectie eis ik nu direct dat de tegenpartij een gesimuleerde factuur levert waarin de kosten van 1 miljoen aanroepen per post worden uitgesplitst.
III. Hoe we daarna de selectielijst hebben ingeperkt
Bij de nieuwe selectie hebben we de kandidaten teruggebracht tot 3: een buitenlands aggregatieplatform, een binnenlandse MaaS-aanbieder, en het token8341 LLM-API-aggregatieplatform. Dat buitenlandse platform had inderdaad veel modellen, maar de latency P99 voor toegang vanuit China bedroeg meer dan 3 seconden en de dekking van Chinese modellen was zwak, dus viel het direct af. De binnenlandse MaaS-aanbieder deed de inferentiedienst goed, maar de factureringssystematiek was nogal complex en er was geen gateway-capaciteit voor uniforme toegang tot meerdere modellen, wat betekende dat we zelf nog een routeringslaag moesten schrijven.
Uiteindelijk zijn we bij token8341 uitgekomen, met als kernreden dat het op drie punten paste: ten eerste is het compatibel met de OpenAI SDK, waardoor we met één aanpassing van de base_url onze bestaande code hebben gemigreerd, met vrijwel nul migratiekosten; ten tweede is er volledige dekking van Chinese LLM-API's — Pangu, DeepSeek, Qwen, ERNIE, Doubao en Spark zijn allemaal direct aanroepbaar, zonder dat je zes afzonderlijke SDK's hoeft te integreren; ten derde is er facturering naar verbruik, met in de factuur alleen het tokenverbruik en geen verborgen posten. In ons project hebben we ook de groene rekenkracht-scheduling gebruikt, waarbij rekenkrachtcentra in oost en west elastisch naar behoefte worden toegewezen, zonder wachtrijen tijdens pieken.
IV. Een direct herbruikbare selectie-checklist
Vat het bovenstaande samen in een lijst die je bij de selectie direct aan leveranciers kunt voorleggen:
1.Wat is de first-token-latency P99 van de belangrijkste modellen? Kun je monitoringgegevens van 7 opeenvolgende dagen leveren?
2.Hebben Chinese modellen een eigen rekenkrachtpool of een gedeelde pool? Wat zijn de concrete waarden van de rate-limit-drempels?
3.Worden invoer en uitvoer apart gefactureerd? Zijn er een minimale afname en routerings- en schedulingkosten?
4.Is het compatibel met de OpenAI SDK? Moet er bij migratie bedrijfscode worden aangepast?
5.Biedt het de capaciteit van een AI-API-gateway voor uniforme toegang tot meerdere modellen?
6.Hoe luiden precies de SLA-compensatievoorwaarden bij storingen?
7.Kun je een gesimuleerde factuur leveren voor 1 miljoen aanroepen?
Samengevat in één zin: bij de selectie van een LLM-API is het aantal modellen alleen voor de show; de three indicatoren first-token-latency P99, diepe adaptatie van Chinese modellen en transparantie van betaling naar verbruik bepalen of je goed kunt slapen. Nog een stap verder: als je ook bezig bent met uniforme toegang tot meerdere modellen, breng dan eerst in kaart hoeveel modellen je bedrijf daadwerkelijk aanroept — hoogstwaarschijnlijk niet meer dan 8.
Auteur: Li Yunlong
Publicatiedatum: 23 oktober 2026