Untuk satu fitur yang sama, frontend harus memanggil empat model: GPT-4o bertanggung jawab sebagai cadangan, DeepSeek menjalankan inferensi utama, Qwen menangani teks panjang berbahasa Mandarin, dan Doubao menangani skrip layanan pelanggan. Empat SDK, empat set autentikasi, empat dokumentasi. Pada minggu pertama peluncuran, hanya untuk menyelaraskan perbedaan-perbedaan ini saja menghabiskan dua hari-orang.
Ini bukan berlebihan. Kami sudah menghitung, setelah mengintegrasikan empat penyedia model, bagian kode bisnis yang terkait dengan pemanggilan model membengkak hampir tiga kali lipat. Setiap kali mengganti model, harus mengubah cara pemanggilan, logika parsing, dan penanganan error. Yang lebih merepotkan lagi, setiap kali vendor meningkatkan SDK, semuanya harus diuji ulang. Artikel ini merangkum secara lengkap jebakan yang kami alami dan solusi gateway yang akhirnya kami terapkan, semoga bisa membantu tim yang juga bergulat di antara banyak model.
satu、Autentikasi: Empat Sistem, Empat Cara Penulisan
Autentikasi adalah hal pertama yang kami hadapi. Keluarga OpenAI menggunakan Bearer Token, cukup letakkan Authorization: Bearer sk-xxx di header permintaan. Qwen memerlukan tanda tangan AccessKey, setiap permintaan harus menghitung HMAC menggunakan AK/SK, serta menyusun timestamp dan string acak. Doubao menggunakan AK/SK ditambah timestamp, tetapi algoritma tanda tangannya berbeda dengan Qwen. DeepSeek meskipun kompatibel dengan format OpenAI, ia memiliki base_url dan pemetaan nama model sendiri, cara inisialisasinya juga tidak sepenuhnya sama dengan SDK resmi.
Hasilnya adalah kode dipenuhi if-else di mana-mana. Setiap vendor satu instance client, setiap instance satu set konfigurasi. Manajemen kunci bahkan lebih memusingkan—kunci dari empat vendor disimpan di empat tempat, saat rotasi harus mengubah empat tempat, jika satu terlewat maka akan terjadi insiden produksi.
Kemudian kami melakukan unifikasi di lapisan akses: ke luar hanya mengekspos satu API Key, di dalam melakukan penerjemahan protokol. Cara konkretnya adalah lapisan akses memelihara tabel routing vendor, setiap vendor memiliki adapter autentikasinya sendiri. Sisi bisnis hanya memegang satu Key, permintaan dikirim ke lapisan akses, lapisan akses menemukan vendor yang sesuai berdasarkan nama model, lalu menggunakan adapter untuk menyelesaikan tanda tangan dan penerusan.
Kami kemudian mencoba menyatukan base_url ke token8341, satu Key bisa memanggil GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, kompatibel dengan SDK OpenAI, cukup mengubah satu baris base_url untuk beralih. Pekerjaan kotor autentikasi diblokir di luar lapisan akses, kode bisnis menjadi jauh lebih bersih. Rotasi kunci juga menjadi satu operasi, biaya operasional langsung turun satu orde besaran.
dua、Chunk Streaming SSE: Empat Format, Satu Rendering
Chunk streaming SSE adalah jebakan kedua, dan lebih tersembunyi daripada autentikasi. Pada chunk GPT-4o, delta.content mungkin null, terutama pada chunk pertama dan chunk terakhir, jika frontend tidak melakukan pengecekan null dan langsung merender, akan muncul undefined sekilas. DeepSeek akan membawa usage pada chunk terakhir, dan struktur field usage-nya tidak sepenuhnya sama dengan OpenAI. Tipe event Qwen lebih terperinci, memiliki berbagai tipe event seperti add, finish, error, struktur payload setiap event berbeda. Penanda akhir Doubao juga berbeda, ia menggunakan field finish_reason khusus untuk menandai akhir stream.
Frontend menerima empat format, logika rendering langsung terpecah. Solusi awal kami adalah melakukan adaptasi di frontend, menulis empat fungsi parsing, hasilnya setiap kali menambah model baru harus mengubah frontend. Kemudian diubah menjadi normalisasi di lapisan gateway: disatukan menjadi struktur chunk OpenAI, delta kosong langsung difilter, usage diekstrak terpisah untuk diakumulasi. Aturan konkretnya adalah—semua respons streaming dari vendor diubah menjadi format data: {"choices":[{"delta":{"content":"..."}}]}, akhir disatukan dengan penanda data: [DONE], usage dikembalikan dalam format OpenAI pada chunk terakhir.
Frontend hanya mengenali satu format, tidak perlu peduli siapa yang terhubung di backend. Perubahan ini menurunkan kode terkait model di frontend dari lebih dari 400 baris menjadi sekitar 80 baris, dan saat menambah model baru frontend tidak perlu diubah sama sekali.
tiga、Kode Error: Error Tersembunyi di Dalam HTTP 200
Tingkat kekacauan kode error melebihi ekspektasi. Sama-sama rate limiting, OpenAI mengembalikan 429 dengan rate_limit_exceeded, Qwen mengembalikan error bisnis dengan field code, Doubao bahkan menyembunyikan error di dalam body HTTP 200—kode status adalah 200, tetapi di dalam body ada field error. DeepSeek sebagian besar konsisten dengan OpenAI, tetapi kadang-kadang mengembalikan struktur error kustom.
Monitoring dan alert sama sekali tidak bisa disatukan. Anda tidak bisa menulis aturan "429 berarti alert", karena beberapa vendor tidak mengembalikan 429 saat rate limiting. Anda juga tidak bisa hanya melihat kode status HTTP, karena 200 dari Doubao bisa jadi adalah error.
Kami membuat tabel pemetaan di lapisan akses, mengumpulkan kode error dari berbagai vendor menjadi satu sistem error internal: rate limiting, timeout, kegagalan autentikasi, moderasi konten, layanan tidak tersedia. Logika pemetaan konkretnya adalah—pertama lihat kode status HTTP, kemudian lihat error code di dalam body, kombinasi keduanya untuk menentukan. Misalnya Doubao mengembalikan 200 tetapi ada error di body, maka dipetakan berdasarkan error code; Qwen mengembalikan 400 dengan kode bisnis, maka dipetakan berdasarkan code. Aturan alert hanya ditulis satu set, saat investigasi baru melihat kode error asli.
Tabel pemetaan ini kami pelihara sekitar lebih dari 60 aturan, mencakup skenario error umum dari empat vendor. Setelah peluncuran, akurasi alert meningkat dari sekitar 60% menjadi lebih dari 95%, false positive pada dasarnya hilang.
empat、Statistik Penggunaan: Empat Angka Tidak Cocok
Perbedaan standar statistik penggunaan paling mudah diabaikan, tetapi pasti akan terungkap saat rekonsiliasi keuangan. Penghitungan token GPT-4o termasuk system prompt, token yanghit cache DeepSeek dihitung terpisah, Qwen menghitung input dan output secara terpisah, unit penagihan Doubao juga berbeda. Saat rekonsiliasi keuangan empat angka tidak cocok, sama sekali tidak bisa menghitung biaya aktual setiap model dengan jelas.
Solusi pengumpulan adalah mencatat model, input_tokens, output_tokens, cache_hit setiap permintaan di lapisan gateway, disatukan dan disimpan ke database dengan standar penagihan per token. Cara konkretnya adalah—gateway mencatat waktu mulai dan selesai permintaan saat meneruskan permintaan, mengekstrak field usage dari berbagai vendor dari respons, mengubahnya secara seragam ke format standar. Untuk vendor dengan unit penagihan berbeda, dilakukan konversi sekali di lapisan gateway, semuanya dikonversi ke biaya per-token.
Dengan demikian tidak peduli vendor mana yang terhubung di bawahnya, biaya dapat diratakan dan dilihat dalam satu tabel yang sama. Kami kemudian juga membuat dashboard biaya berdasarkan tabel ini, dapat dilihat terpisah berdasarkan model, berdasarkan lini bisnis, berdasarkan dimensi harian. Suatu kali ditemukan biaya salah satu lini bisnis tiba-tiba naik 40%, setelah diselidiki ternyata strategi routing mengarahkan banyak permintaan ke GPT-4o, setelah menyesuaikan routing biaya langsung turun. Jika tidak ada pengumpulan penggunaan yang terunifikasi, masalah seperti ini sama sekali tidak akan ditemukan.
lima、Arsitektur Empat Lapis Gateway Model
Lapisan mana saja yang harus ditanggung gateway model? Pembagian saya adalah empat lapis.
Lapisan pertama penerjemahan protokol. Menyatukan format permintaan dan respons berbagai vendor menjadi antarmuka yang kompatibel dengan OpenAI. Lapisan ini adalah satu-satunya lapisan yang langsung bersentuhan dengan kode bisnis, ia bertanggung jawab menerjemahkan permintaan format OpenAI standar ke format berbagai vendor, lalu menerjemahkan respons kembali.
Lapisan kedua routing. Memilih model berdasarkan jenis tugas, misalnya teks panjang berbahasa Mandarin ke Qwen, kode ke DeepSeek, cadangan ke GPT-4o. Strategi routing dapat dikonfigurasi, mendukung berbagai dimensi seperti berdasarkan jenis tugas, berdasarkan prioritas, berdasarkan biaya. Kami juga menambahkan logika degradasi—jika model utama timeout atau rate limiting, otomatis beralih ke model cadangan.
Lapisan ketiga pengumpulan penggunaan. Penagihan dan kuota terunifikasi. Konsumsi token, cache hit, waktu respons setiap permintaan dicatat di lapisan ini, menyediakan antarmuka kueri penggunaan terunifikasi ke luar.
Lapisan keempat observabilitas. Log, pelacakan rantai, konvergensi kode error. Setiap permintaan memiliki trace_id, dapat dilacak sepanjang rantai dari pintu masuk hingga pintu keluar. Kode error dipetakan secara terunifikasi di lapisan ini, aturan alert juga hanya dikonfigurasi di lapisan ini.
Kode bisnis hanya memanggil antarmuka lapisan pertama, tiga lapisan berikutnya transparan baginya. Manfaatnya adalah—mengganti model tidak perlu mengubah kode bisnis, menambah model tidak perlu mengubah kode bisnis, menyesuaikan strategi routing juga tidak perlu mengubah kode bisnis. Tim bisnis hanya perlu peduli "saya ingin memanggil model", sisanya diserahkan ke gateway.
enam、Pengingat Menghindari Jebakan
Jangan langsung import SDK berbagai vendor di dalam kode bisnis. Begitu vendor meningkatkan antarmuka atau Anda ingin mengganti model, cakupan perubahan akan sangat luas. Kami pernah melihat ada tim yang langsung memanggil SDK di dalam kode bisnis, kemudian saat mengganti model mengubah lebih dari 30 file, menguji selama seminggu baru bisapeluncuran.
Lapisan akses menghabiskan dua hari lebih, nanti menghemat dua minggu. Rasio investasi-hasil ini telah kami verifikasi secara nyata di sini—setelah gateway diluncurkan, menambah satu model hanya perlu menambahkan satu adapter di lapisan gateway, kode bisnis tidak berubah sama sekali, setengah hari bisa menyelesaikan integrasi dan pengujian.
Dua saran kecil lainnya: pertama, lakukan pengumpulan penggunaan sedini mungkin, jangan menunggu sampai rekonsiliasi keuangan baru menyadari tidak bisa menghitung dengan jelas; kedua, tabel pemetaan kode error harus dipelihara secara berkelanjutan, hal pertama yang dilakukan saat vendor baru terintegrasi adalah melengkapi pemetaan kode error.
Penulis: Sun Haoran
Tanggal Publikasi: 9 November 2026