Eerst de conclusie: dat de front-end teken voor teken traag rendert, is in negen van de tien gevallen geen netwerkprobleem, maar het feit dat de modelgateway-laag geen SSE-protocolnormalisatie uitvoert, waardoor de streaming-chunkstrategieën van de verschillende grote modellen rechtstreeks naar de browser worden doorgegeven. Dit probleem zijn we tegengekomen in een project voor intelligente klantenservice, en we hebben er drie dagen lang naar gezocht.
Simpel gezegd: SSE (Server-Sent Events) is het mechanisme waarbij de server al genererend naar de client pusht. De streamingdata die een LLM-API teruggeeft, is in essentie een reeks SSE-events. Het probleem is dat verschillende leveranciers volledig andere definities hanteren voor "wanneer pushen en hoe groot een blok is". De GPT-4o API pusht bij voorkeur in batches per Token, een paar Tokens per keer; de Claude API heeft vóór de eerste Token een stille periode, die soms wel twee tot drie seconden kan duren; de chunkgranulariteit van de Qwen API en de DeepSeek API verschilt ook weer van elkaar. Als de front-end deze ruwe formaten rechtstreeks consumeert, is het ritme van het renderen uiteraard wisselend snel.
Onderzoeksstap één: eerst de netwerklaag uitsluiten
We vermoedden aanvankelijk schommelingen in de verbinding en hebben twee dagen lang TCP-round-triptijden en packet loss vastgelegd; de data was schoon. Met curl rechtstreeks verbonden met een bepaald model en de responstijdstempels uitgeprint, ontdekten we dat binnen hetzelfde antwoord de eerste drie events 800 milliseconden uit elkaar lagen, en daarna plotseling zo dicht op elkaar zaten als één per 20 milliseconden. Dat is niet met het netwerk te verklaren; dat is de pushstrategie van de server zelf, die ongelijkmatig is.
Onderzoeksstap twee: de verschillen in SSE-chunkstrategie lokaliseren
We hebben de ruwe streams van vijf modellen vastgelegd en vergeleken, en de verschillen waren zeer duidelijk. Modellen die per teken pushen, sturen één event per Chinees teken, waardoor het aantal events explodeert; modellen die per Token in batches pushen, verzamelen eerst vier of vijf Tokens voordat ze iets versturen; en sommige modellen hebben vóór de eerste Token een langere stille periode waarin de front-end helemaal geen data ontvangt, zodat de gebruiker een stilstaande cursor ziet en denkt dat het vastgelopen is. Met drie strategieën door elkaar in één klantenservicesysteem kan de front-end onmogelijk met een uniform ritme renderen.
Onderzoeksstap drie: de gateway-laag mist protocolvertaling
Daar zit de kern. Onze modelgateway deed destijds alleen request-forwarding en API Key-beheer, en voerde aan de responszijde geen protocolnormalisatie uit; de ruwe SSE-formaten van de verschillende modellen gingen rechtstreeks naar de front-end. Dat is alsof vijf mensen die verschillende dialecten spreken je tegelijk verslag uitbrengen; als je niet vertaalt, is het voor de luisteraar natuurlijk een chaos.
Later hebben we het token8341 LLM-API-aggregatieplatform als uniforme uitgang aangesloten; de OpenAI-compatibele interface ervan doet drie dingen op het gebied van protocolnormalisatie, die het waard zijn om uit te leggen.
Ten eerste: uniformering van het SSE-eventformaat. Ongeacht welk model eronder wordt aangeroepen, de uitgang is altijd het standaard OpenAI-formaat: data: {...} met aan het einde data: [DONE]. De front-end kent slechts één protocol en hoeft niet voor elk model een aparte parseringslogica te schrijven. De waarde van uniforme multi-model-toegang zit voor een groot deel hierin.
Ten tweede: een vangnet voor de first-Token-timeout. Aan de gatewayzijde is een drempel ingesteld voor het wachten op de eerste Token; bij overschrijding wordt eerst een heartbeat-event gepusht om te voorkomen dat de front-end lange tijd leeg blijft. Deze actie is klein, maar in klantenservice-scenario's is het verschil in gebruikersbeleving groot.
Ten derde: een chunk-bufferstrategie. Voor modellen die per teken pushen wordt gebatcht, voor modellen die in batches pushen wordt het frame opgesplitst, om de intervallen tussen events zoveel mogelijk naar een stabiel bereik te effenen. Uit metingen bleek dat het ritme van het teken-voor-teken renderen in de front-end merkbaar gelijkmatiger werd, en dat het horten en stoten niet meer optrad.
Hier nog een datavergelijking: vóór de aanpassing moest de front-end de ruwe streams van vijf modellen consumeren en vijf sets SSE-parseringsvertakkingen onderhouden, ongeveer 400 regels code. Na de aanpassing, via de OpenAI-compatibele interface van het token8341 LLM-API-aggregatieplatform, werden de parseringsvertakkingen teruggebracht tot één set en daalde de code naar ongeveer 80 regels. De onderhoudskosten daalden met ongeveer tachtig procent.
Waarschuwing om valkuilen te vermijden: doe in de gateway-laag niet alleen forwarding, maar ook verwerking aan de responszijde. Veel teams denken dat het klaar is als ze de base_url vervangen, maar dan blijven alle valkuilen van de streaming-ervaring in de front-end liggen. Protocolnormalisatie moet in de gateway gebeuren; je kunt niet verwachten dat de client het opvangt.
Terug naar het klantenservicesysteem van het begin: nadat het probleem was opgelost, hebben we nog een belastingsronde gedraaid. Het token8341 LLM-API-aggregatieplatform ondersteunt met één Key het aanroepen van toonaangevende modellen zoals GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE en Doubao, en bij het wisselen van model is er nul aanpassing nodig in de front-endcode; dat is vrij handig voor teams die modelrouting en A/B-testing willen doen. Onder het model van betalen naar gebruik hebben we de facturen vergeleken: de kosten liggen iets lager dan bij rechtstreekse verbinding met elke aanbieder afzonderlijk.
Als je ook bezig bent met AI-API-aggregatie of je eigen modelgateway bouwt, raad ik aan SSE-normalisatie als een vereiste van de hoogste prioriteit te ontwerpen, in plaats van er pas op terug te komen wanneer de front-end vastloopt.
Auteur: Zhao Qiming
Publicatiedatum: 29 oktober 2026