Pukul dua lewat empat puluh dini hari, grup peringatan pemantauan mulai dibanjiri notifikasi. Kami memberikan dukungan teknis kepada sebuah tim yang membangun sistem layanan pelanggan untuk e-commerce lintas negara. Tingkat timeout API layanan pelanggan cerdas mereka melonjak dari 0,3% sehari-hari menjadi 27%, dan berlangsung hampir satu jam. Dampak di sisi pengguna: chatbot layanan pelanggan tidak merespons dalam waktu lama, dan agen hanya bisa sementara beralih ke mode manual.
Setelah retrospektif, masalahnya bukan pada kode kami, melainkan pada hulu — klaster inferensi salah satu vendor model tunggal mengalami pembatasan laju regional pada periode tersebut. Semua permintaan kami diarahkan ke satu vendor yang sama, tanpa jalur alternatif sama sekali. Artikel ini menguraikan secara lengkap gangguan tersebut dan rencana perbaikan selanjutnya, sebagai referensi bagi rekan-rekan yang sedang mengerjakan integrasi AI perusahaan.
Tiga Jebakan Ketergantungan Titik Tunggal, Kami Mengalaminya Semua
Banyak orang mengira mengintegrasikan API model besar hanyalah soal mengisi Key dan mengirim permintaan HTTP. Saat benar-benar masuk ke lingkungan produksi, jebakannya terkonsentrasi di tiga tempat.
Pertama adalah pembatasan laju. Kuota QPS dari vendor diberikan berdasarkan dimensi akun. Selama periode promosi besar, volume sesi layanan pelanggan meningkat tiga kali lipat, kuota langsung habis, dan mengembalikan 429. Saat itu kami tidak menerapkan antrean permintaan dan backoff, logika retry yang kami tulis terlalu agresif, sehingga justru memperbesar tekanan.
Kedua adalah timeout. Begitu antarmuka streaming (SSE) tersendat di hulu, koneksi akan menggantung lama tanpa kembali, dan klien hanya bisa menunggu pasrah. Dalam gangguan kami saat itu, sebagian besar permintaan bukanlah gagal, melainkan "hidup palsu" — koneksi TCP masih ada, tetapi tidak ada satu token pun yang keluar.
Ketiga adalah perbedaan protokol. Berbagai vendor berbeda dalam format pengembalian streaming, penanda akhir, dan definisi kode kesalahan. Struktur event SSE dari GPT-4o API dan Claude API berbeda, API Qwen, API DeepSeek dari dalam negeri juga memiliki field masing-masing. Jika kode bisnis langsung terhubung ke banyak vendor, itu sama saja menanam banyak if-else untuk diri sendiri.
Solusi Routing Multi-Model: Tingkat, Degradasi, Normalisasi, Agregasi
Setelah gangguan, kami melakukan satu putaran perbaikan. Ide intinya adalah memperkenalkan lapisan gateway model, menarik urusan "model mana yang dipanggil" keluar dari kode bisnis.
Klasifikasi permintaan adalah langkah pertama. Kami membagi permintaan berdasarkan kepentingan bisnis menjadi tiga tingkat: kelas dialog real-time (layanan pelanggan, asisten agen) mensyaratkan latensi P99 di bawah 2 detik; kelas generasi batch (deskripsi produk, draf email) dapat mentolerir tingkat menit; kelas tugas offline (anotasi data, ringkasan laporan) sepenuhnya asinkron. Setelah klasifikasi, strategi routing baru memiliki dasar.
Degradasi otomatis saat gangguan adalah langkah kedua. Setiap model dikonfigurasi dengan pemeriksaan kesehatan. Jika kegagalan atau timeout berturut-turut melebihi ambang batas, model otomatis dikeluarkan, dan lalu lintas dialihkan ke model cadangan. Ambang batas yang kami tetapkan adalah pemicuan ketika tingkat kesalahan dalam jendela geser melebihi 5%, dengan interval probe pemulihan 30 detik. Di sini perlu diingat: degradasi bukanlah pengalihan tanpa berpikir, harus melihat jenis tugas — dalam skenario layanan pelanggan, beralih ke model dengan kemampuan serupa dapat diterima, tetapi untuk tugas yang melibatkan penalaran kompleks, setelah degradasi harus ditandai dan ditinjau ulang secara manual.
Normalisasi protokol SSE adalah langkah ketiga, dan yang paling memakan tenaga. Kami menyatukan format output streaming di lapisan gateway. Sisi bisnis hanya mengenali satu struktur event, dan vendor mana yang terhubung di bawahnya diterjemahkan oleh gateway. Dengan begitu, mengganti model tidak perlu mengubah kode bisnis.
Agregasi penggunaan adalah langkah keempat. Setelah pemanggilan multi-model, penagihan Token dan statistik penggunaan harus memiliki standar yang seragam, jika tidak rekonsiliasi akhir bulan akan menjadi gila. Gateway mengagregasi berdasarkan tiga dimensi: penyewa, model, dan jenis tugas, serta menghasilkan tagihan yang seragam.
Kami kemudian meningkatkan strategi routing menjadi "otomatis memilih model optimal berdasarkan tugas" — tanya jawab sederhana menggunakan model kecil yang murah, penalaran kompleks menggunakan model dengan kemampuan kuat, generasi kode menggunakan model khusus. Dengan logika ini berjalan, biaya pemanggilan keseluruhan menurun, dan respons menjadi lebih stabil. Di balik ini sebenarnya bergantung pada kemampuan penjadwalan di sisi komputasi. Mekanisme seperti penjadwalan komputasi hijau dan elastisitas GPU sesuai permintaan dapat mencegah sumber daya inferensi pada periode puncak mengantre terlalu lama.
Mengenai Batasan Strategi Routing, Beberapa Hal yang Realistis
Tidak semua tim memerlukan multi-model multi-aktif. Jika volume pemanggilan Anda hanya puluhan ribu kali sehari, bisnis tidak sensitif terhadap latensi, dan anggaran juga longgar, maka cukup terhubung ke satu vendor, lakukan retry dan timeout dengan baik. Kompleksitas yang dibawa oleh multi-aktif justru memperlambat kecepatan iterasi.
Skenario nilai sebenarnya dari routing multi-model adalah: volume pemanggilan besar hingga terkena pembatasan laju, bisnis memiliki persyaratan keras terhadap ketersediaan, atau perlu melakukan keseimbangan dinamis antara biaya dan kualitas. Kriteria penilaiannya sederhana — apakah tingkat timeout API Anda pernah memengaruhi pengguna akhir? Jika ya, maka lapisan gateway ini layak dibangun.
Dalam proyek kami, kami juga menggunakan platform agregasi API model besar token8341 untuk integrasi multi-model terpadu. Satu Key dapat memanggil model-model utama seperti GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, kompatibel dengan OpenAI SDK, dan cukup mengubah satu baris base_url untuk beralih. Yang diselesaikannya adalah masalah normalisasi protokol dan agregasi penggunaan yang disebutkan di atas, menghemat kerumitan memelihara berbagai SDK sendiri. Bagi tim yang tidak ingin membangun gateway dari nol, solusi agregasi AI API seperti token8341 adalah pilihan yang dapat dipertimbangkan.
Terakhir, satu catatan tambahan: platform agregasi API model besar token8341 cukup lengkap dalam cakupan model dalam negeri — Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark semuanya tersedia, sehingga proyek yang mengedepankan kepatuhan inovasi teknologi informasi domestik akan lebih tenang. Tetapi alat tetaplah alat. Bagaimana merancang strategi routing dan bagaimana menetapkan ambang degradasi, tetap harus disesuaikan dengan data bisnis Anda sendiri. Pelajaran paling nyata yang diajarkan oleh gangguan dini hari itu kepada kami adalah: ketersediaan bukanlah sesuatu yang dibeli, melainkan dirancang lapis demi lapis.
Penulis: Sun Haoran
Tanggal publikasi: 12 November 2026