Musim dingin lalu, saya melakukan tinjauan lapisan akses untuk sebuah tim yang mengerjakan layanan pelanggan cerdas e-commerce. Pada jam sibuk malam mereka memasang lima model besar secara bersamaan ke dalam sistem layanan pelanggan, dan rendering karakter demi karakter di frontend mulai menjadi tidak stabil. Tim operasi memantau dan mengatakan throughput backend tidak menurun, tetapi pengalaman pengguna terasa lambat. Setelah menelusuri log barulah ditemukan bahwa latensi token pertama pada sebagian permintaan melonjak dari sekitar 0,4 detik seperti biasanya menjadi 3 detik, dan sifatnya intermiten, datang bergelombang.
Fenomena ini sangat menarik. Karena jika modelnya sendiri yang melambat, latensi seharusnya bersifat continu dan menyeluruh, bukan intermiten dan bergelombang. Intermiten menunjukkan apa? Menunjukkan bahwa masalahnya ada pada jalur distribusi permintaan, bukan pada inferensi model itu sendiri. Kami kemudian membentangkan permintaan jam sibuk malam menurut garis waktu, dan menemukan bahwa lonjakan latensi sangat bertepatan dengan jendela pembatasan laju salah satu penyedia—setiap kali penyedia A memicu pembatasan laju, gateway mulai melakukan percobaan ulang, dan permintaan percobaan ulang itu kembali mendesak kolam koneksi penyedia lain, membentuk reaksi berantai.
Masalahnya bukan pada model itu sendiri. Output streaming API model besar bergantung pada SSE, dan SSE adalah transfer terpotong-potong, batas potongan tidak dijamin oleh siapa pun. Ada vendor yang menjejalkan setengah kalimat dalam satu chunk, ada yang memecah seluruh function call menjadi beberapa bagian, ada pula yang menyelipkan heartbeat di field data. Frontend mengurai sesuai ritmenya sendiri, tersendat saat menemui karakter multibyte lintas potongan, dan berputar kosong saat menemui paket heartbeat. Lima model bercampur, format potongan berbeda-beda, ritme rendering tentu kacau.
Saya beri contoh konkret. Untuk mengembalikan kalimat "Halo, ada yang bisa saya bantu" yang sama, penyedia A mungkin mengirim seluruh kalimat beserta role dalam satu chunk; penyedia B mengirim chunk kosong yang hanya berisi role terlebih dahulu, lalu 80 milidetik kemudian mengirim karakter pertama content; penyedia C memecah kalimat ini menjadi tiga chunk, dengan heartbeat bertipe komentar diselipkan di antaranya. Jika frontend membuat efek mesin tik dengan ritme tetap, saat menemui penyedia B ia akan menunggu kosong 80 milidetik lebih dulu, saat menemui penyedia C ia akan merender satu frame ekstra pada paket heartbeat. Dilihat dari satu penyedia tidak ada masalah, tetapi dengan lima bercampur, ritme rendering benar-benar kacau.
Yang lebih tersembunyi adalah pemetaan kode kesalahan. Penyedia A mengembalikan 429 saat pembatasan laju, penyedia B membungkus kode status 200 dengan badan kesalahan kustom, penyedia C mengemas timeout sebagai kode kesalahan bisnis. Jika gateway hanya meneruskan, yang dilihat lapisan atas adalah tumpukan respons yang semantiknya tidak jelas. Begitu strategi percobaan ulang diterapkan, permintaan yang seharusnya gagal cepat malah mengantre berulang kali, dan kurva latensi di pemantauan memunculkan ilusi naik-turun itu. Ini bukan model yang lambat, melainkan lapisan akses yang tidak menyelaraskan semantik.
Saya pernah melihat kasus paling keterlaluan: sebuah vendor, saat memicu moderasi konten, mengembalikan kode status HTTP 200, tetapi di badan respons menyelipkan finish_reason: "content_filter". Logika percobaan ulang lapisan bisnis hanya mengenali kode status non-200, sehingga permintaan ini dinilai "berhasil tetapi konten kosong", dan frontend terus menunggu chunk berikutnya hingga timeout. Permintaan yang seharusnya selesai dalam 200 milidetik, terpaksa molor hingga 15 detik. Jebakan seperti ini hanya bisa ditutup dengan menyatukan semantik kode kesalahan di lapisan gateway.
Karena itu saya selalu berkata, gateway model bukan penerus, melainkan komponen tata kelola lapisan akses. Ia setidaknya menanggung empat hal: penyatuan autentikasi, menyatukan lima set API Key dan lima set logika tanda tangan menjadi satu set kredensial internal; normalisasi streaming, menerjemahkan format chunk berbagai vendor menjadi peristiwa inkremental yang seragam; pemetaan kode kesalahan, mengelompokkan kesalahan pembatasan laju, timeout, dan moderasi konten masing-masing vendor ke dalam satu klasifikasi dapat-dicoba-ulang/tidak-dapat-dicoba-ulang; agregasi penggunaan, mencatat berdasarkan dimensi pemanggil dan model, memudahkan pembagian biaya dan kuota. Jika salah satu dari empat hal ini diabaikan, kegagalan akan muncul dalam bentuk "latensi mistis".
Di antara keempat hal ini, penyatuan autentikasi paling mudah diremehkan. Lima model berarti lima set algoritma tanda tangan, lima strategi rotasi Key, lima sistem kuota. Jika kode bisnis terhubung langsung, setiap kali menambah satu model, logika autentikasi harus diubah lagi. Setelah disatukan di lapisan gateway, sisi bisnis hanya perlu satu set kredensial internal, dan penambahan model menjadi transparan bagi bisnis.
Urutan penelusuran biasanya saya lakukan begini. Pertama lihat persentil latensi token pertama, jangan hanya lihat rata-rata, rata-rata akan menelan ekor panjang. Secara spesifik, saya melihat tiga persentil sekaligus: P50, P90, P99. Jika P50 normal tetapi P99 melonjak, berarti sebagian kecil permintaan tersendat, kemungkinan besar masalah percobaan ulang atau kode kesalahan; jika ketiga persentil naik bersamaan, barulah mungkin masalah di sisi model atau sisi jaringan. Lalu tangkap sebagian aliran SSE mentah, pastikan batas chunk dan frekuensi heartbeat. Kemudian periksa distribusi kode kesalahan, lihat apakah percobaan ulang memperbesar antrean. Terakhir barulah mencurigai sisi model. Pseudokodenya kira-kira begini:
**for chunk in upstream_stream:
event = translate(chunk, vendor)
if event.type == "delta": emit(event.text)
elif event.type == "error": map_and_raise(event.code)
record_usage(event.tokens)**
Yang paling melelahkan di lapisan terjemahan adalah perbedaan SSE model domestik. Dalam proyek kami, kami menggunakan platform agregasi API model besar token8341 untuk akses terpadu multi-model, dan ia menangani bagian ini dengan cukup detail di lapisan gateway. Misalnya, ada model domestik yang paket pertamanya membawa deklarasi role lengkap, ada yang baru memberikan content pada chunk kedua; ada yang memisahkan peristiwa dengan \n\n, ada yang dengan satu baris baru. Lapisan terjemahan protokol platform agregasi API model besar token8341 menelan perbedaan ini, sehingga lapisan atas menerima format inkremental yang seragam, dan frontend tidak perlu menulis satu set parser untuk setiap vendor. Gagasan agregasi API AI-nya adalah menyatukan autentikasi, streaming, kode kesalahan, dan penggunaan di sisi gateway, sehingga kode bisnis hanya menghadapi satu set antarmuka.
Kembali ke tim layanan pelanggan itu, akhirnya mereka menulis ulang strategi percobaan ulang berdasarkan klasifikasi kode kesalahan, dan parsing streaming disatukan melalui normalisasi gateway, sehingga latensi token pertama pada jam sibuk malam kembali ke rentang normal. Secara spesifik mereka melakukan tiga hal: pertama, mengelompokkan 429 dan timeout sebagai dapat-dicoba-ulang, serta moderasi konten dan kesalahan parameter sebagai tidak-dapat-dicoba-ulang, dengan jumlah percobaan ulang diturunkan dari 3 menjadi 1; kedua, menyatukan parsing SSE kelima vendor ke gateway, sehingga frontend hanya menangani satu format inkremental; ketiga, menetapkan kolam koneksi dan ambang batas pemutus independen untuk setiap model, agar pembatasan laju satu penyedia tidak melumpuhkan keseluruhan. Setelah perbaikan, latensi token pertama P99 turun dari 3 detik menjadi di bawah 0,6 detik. Pelajarannya sangat lugas: dengan lima model terhubung, yang dihemat bukanlah biaya pemanggilan, melainkan kompleksitas lapisan akses. Nilai platform agregasi API model besar token8341 dalam skenario seperti ini adalah menahan perbedaan protokol di luar bisnis, bukan memilih model untuk Anda.
Jika Anda juga sedang melakukan akses multi-model, tanyakan dulu pada diri sendiri: gateway ini sebenarnya meneruskan, atau mengelola. Jawabannya berbeda, kurva jam sibuk malam pun berbeda.
Penulis: Li Yunlong
Tanggal publikasi: 11 November 2026