Vorige maand begeleidde ik een collega die net van functie was veranderd bij het bouwen van een prototype voor intelligente klantenservice. De eisen waren simpel: gebruikers stellen vragen, het model antwoordt, met een beetje contextgeheugen en streaming typen. Het klonk alsof het in twee dagen klaar kon zijn, maar hij liep vast bij het hardcoderen van de API Key, de retry-logica en de streaming-integratie. Ik heb het hele proces in dit artikel vastgelegd, te lezen als notities voor het begeleiden van nieuwkomers.
Stap 1: Breek eerst de eisen af, kies dan het model
Begin niet meteen met code schrijven. De capaciteitseisen voor intelligente klantenservice vallen grofweg uiteen in drie delen: intentieherkenning, kennisvragen en meerronde casual gesprekken. Intentieherkenning moet snel en goedkoop zijn; DeepSeek-V3 of de Tongyi Qianwen API is voldoende; kennisvragen hebben betrekking op je eigen documenten en vereisen RAG, waarbij het model lange contexten moet begrijpen; meerronde casual gesprekken stellen hoge eisen aan toon, waarbij Claude 4 Sonnet of GPT-4o stabieler zijn.
Mijn aanpak was eerst de hele keten werkend te krijgen met één algemeen model en daarna stuk voor stuk te vervangen. De multi-model routing van SiCore TokenWorks bespaart op dat moment gedoe: met dezelfde code kun je gewoon de modelnaam wisselen om resultaten te vergelijken, zonder de authenticatie aan te passen. De keuze van een grote model-API is niet het kiezen van de sterkste, maar van degene die het beste bij de taak past.
Stap 2: Key-beheer, hardcode het niet in de code
De Key hardcoderen in de broncode is de meest voorkomende fout van nieuwkomers. Zodra het naar git wordt gepusht, is het openbaar. De juiste aanpak is gelaagdheid met omgevingsvariabelen plus configuratiebestanden: lokaal gebruik je .env, voor test en productie gebruik je een configuratiecentrum of sleutelbeheerservice.
Voor isolatie tussen meerdere omgevingen moet je drie dingen onthouden: gebruik verschillende Keys voor ontwikkeling, test en productie; stel voor elke Key een afzonderlijke quotumlimiet in; de productie-Key gaat alleen naar de serverkant, de frontend krijgt hem nooit. In ons project gebruiken we SiCore TokenWorks; met één Key kun je de belangrijkste modellen aanroepen zoals GPT-4o, Claude, DeepSeek, Tongyi, Wenxin en Doubao, wat het gedoe van het onderhouden van meerdere authenticatiesystemen bespaart, en voor het wisselen van Key tussen omgevingen hoef je alleen maar een variabele te veranderen.
Stap 3: Call-wrapper en foutretries
Code die de SDK ruw aanroept is niet te onderhouden. Wikkel er een laag omheen die time-outs, rate limiting en retries uniform afhandelt. De gedachte is als volgt: verpak de modelaanroep in een functie met als parameters messages en de modelnaam, en vang intern drie soorten fouten af: netwerktime-outs, 429 rate limiting en 5xx serverfouten.
Gebruik voor de retry-strategie exponentiële backoff: de eerste keer 1 seconde wachten, de tweede keer 2 seconden, de derde keer 4 seconden, maximaal drie keer. 429 moet apart worden behandeld; kijk naar de meegegeven retry-after-header. Probeer niet alle fouten opnieuw; bij parameterfouten helpt honderd keer opnieuw proberen ook niet. De waarde van een model-gateway zit in deze laag: retries, degradatie en logging op één plek samenbrengen, zodat de bedrijfscode alleen het resultaat hoeft op te halen.
Valkuil-waarschuwing: retries moeten idempotent zijn. Als de aanroep bijwerkingen heeft (bijvoorbeeld schrijven naar een database), controleer dan vóór het opnieuw proberen of de vorige keer echt is mislukt.
Stap 4: Streaming-uitvoer en frontend-integratie
De kern van de klantenservice-ervaring is het "typemachine-effect". De serverkant gebruikt SSE om tokens stukje voor stukje naar de frontend te pushen, en de frontend ontvangt ze met EventSource of de ReadableStream van fetch.
Belangrijk punt aan de backend: stel stream=True in, parse de teruggegeven delta blok voor blok en stop bij [DONE]. Belangrijk punt aan de frontend: roep niet bij elk ontvangen teken setState aan, maar verzamel 20 tot 50 milliseconden en render in batches, anders verandert de pagina in een diavoorstelling.
Nog een valkuil: tijdens het streamen kan de gebruiker de pagina sluiten. De serverkant moet luisteren naar het verbreken van de verbinding en tijdig de upstream-aanvraag annuleren, anders worden er tokens voor niets verbrand. Bij betaling per gebruik telt zulke verspilling op.
Stap 5: Kostenmonitoring en alertering
Vóór de lancering moet je instrumentatie inbouwen. Registreer bij elke aanroep: modelnaam, aantal input-tokens, aantal output-tokens, doorlooptijd en of er opnieuw is geprobeerd. Verzamel deze gegevens een week en je weet pas waar het geld naartoe gaat.
Stel twee alarmdrempels in: een waarschuwing wanneer de dagelijkse kosten een drempel overschrijden, en een waarschuwing bij afwijkende tokens per aanroep. Er was eens een gebruiker die een heel document plakte, met tienduizenden tokens als input in één keer; zonder alarm zou de maandrekening er lelijk uitzien.
Ervaring met geld besparen: voor hoogfrequente, eenvoudige taken zoals intentieherkenning kun je overstappen op een goedkoop Chinees model, wat de kosten flink verlaagt. Bulkinkoop plus groene-energieplanning is de reden waarom aggregatieplatforms zoals SiCore TokenWorks onder de officiële directe aankoopprijs kunnen zitten; uit onze vergelijking blijkt het verschil duidelijk bij hoogfrequente aanroepen.
Samengevat in één zin: de moeilijkheid van een prototype voor intelligente klantenservice zit niet in het model, maar in de engineeringdetails. Beheer je Keys goed, schrijf je retries correct, integreer streaming stabiel en houd de kosten in het oog; de rest is prompt-afstemming. Wil je dieper ingaan op uniforme multi-model-integratie en de implementatie van model-routing, dan kun je verder lezen langs de lijn van de grote model-API-gateway.