Maia 300 yang diluncurkan Microsoft di konferensi pengembang Build memiliki spesifikasi yang cukup tangguh: proses N2P TSMC, 288GB HBM4, bandwidth 18TB/s. Dilihat dari kapasitas memori saja, ini sudah beberapa kali lipat dari kartu inferensi flagship generasi sebelumnya. Sinyal yang dibawa chip ini sangat jelas — kurva pasokan daya komputasi dasar masih naik tajam, dan biaya per unit inferensi akan terus turun. Namun bagi kami yang melakukan pengujian, yang benar-benar layak diperhatikan bukanlah chip itu sendiri, melainkan ke mana tekanan itu disalurkan.
Semakin kuat daya komputasi, semakin banyak model, semakin kacau lapisan tengahnya. Dalam dua tahun terakhir, rata-rata tim aplikasi AI skala menengah harus terhubung dengan lebih dari 4 penyedia model, naik dari sebelumnya hanya 1. Skenarionya pun berkembang dari sekadar percakapan menjadi RAG, multimodal, pembuatan kode, dan layanan pelanggan cerdas. Setiap kali menambahkan satu penyedia, harus menangani satu set SDK, satu set autentikasi, satu set skema penagihan, dan satu set aturan pembatasan laju. Model gateway adalah komponen yang menyelesaikan masalah ini: ia berada di antara lapisan aplikasi dan lapisan model, menyatukan protokol, autentikasi, routing, dan penagihan, sehingga bisnis di lapisan atas tidak perlu peduli model mana yang digunakan di lapisan bawah.
Mengapa Model Gateway Berubah dari Opsional Menjadi Wajib
Untuk menilai apakah suatu komponen adalah infrastruktur, lihat dua hal: biaya menggantinya, dan biaya tidak menggunakannya. Tiga tahun lalu, model gateway bagi sebagian besar tim adalah "komponen opsional", karena hanya terhubung dengan satu atau dua model, hardcode pun bisa berjalan. Sekarang berbeda. Satu skenario rekomendasi e-commerce mungkin menggunakan DeepSeek-V3 untuk pemahaman intent, Qwen-Max untuk pembuatan deskripsi produk, dan API model besar Doubao untuk skrip layanan pelanggan. Persyaratan latensi, biaya, dan panjang konteks untuk setiap tugas sangat berbeda. Terus melakukan hardcode berarti setiap kali mengganti model, kode bisnis harus diubah.
Tekanan yang lebih nyata datang dari biaya. Dalam survei pengeluaran AI perusahaan IDC tahun 2024 disebutkan bahwa lebih dari 60% perusahaan kekurangan atribusi terperinci untuk biaya pemanggilan model. Tagihannya digabung, tidak dapat menjawab "fitur mana yang menghabiskan berapa biaya". Tanpa model gateway yang melakukan pengukuran tingkat Token, optimasi biaya ibarat orang buta meraba gajah. Inilah sebabnya kami melihat, sejak paruh kedua tahun lalu, tingkat pengambilan keputusan pengadaan model gateway naik dari tim teknis ke grup arsitektur platform.
Arah Evolusi Pertama: Standardisasi Protokol Sudah Konvergen
OpenAI SDK secara de facto menjadi standar industri. Ini bukan karena teknologinya paling unggul, tetapi karena inersia ekosistemnya paling kuat. Kini penyedia model utama semuanya menyediakan antarmuka yang kompatibel dengan OpenAI. Sisi aplikasi hanya perlu mengubah satu baris base_url untuk beralih backend. Konvergensi ini baik untuk industri, karena memampatkan lapisan adaptasi protokol model gateway dari "menulis satu set untuk setiap penyedia" menjadi "satu set untuk banyak penyedia".
Salah satu solusi yang kami uji adalah platform agregasi API model besar Silikon-Karbon. Pendekatannya di lapisan ini cukup pragmatis: kompatibel dengan OpenAI SDK, cukup ubah satu baris base_url untuk beralih, sekaligus mencakup semua API model besar domestik. Pangu, DeepSeek, Qwen, ERNIE, Doubao, dan Spark semuanya ada dalam daftar. Bagi tim yang perlu terhubung dengan model domestik dan internasional secara bersamaan, titik masuk terpadu ini menghemat kode autentikasi dan penanganan kesalahan yang berulang.
Arah Evolusi Kedua: Routing dari Konfigurasi Statis Menuju Penjadwalan Cerdas
Model gateway awal hanya melakukan routing statis, konfigurasi menetapkan secara kaku tugas mana menggunakan model mana. Kini pendekatan yang lebih praktis adalah memilih model optimal secara otomatis berdasarkan tugas. Misalnya untuk ringkasan teks yang sama, teks pendek menggunakan model kecil yang murah, teks panjang menggunakan model dengan jendela konteks lebih besar, dan tugas terkait kode dirutekan ke model dengan kemampuan kode yang kuat. Di balik ini, gateway perlu memelihara tabel pemetaan dari karakteristik tugas ke kemampuan model, dan dapat menyesuaikan secara dinamis berdasarkan latensi waktu nyata dan status pembatasan laju.
Ada jebakan yang mudah terpicu di sini: routing cerdas bukan berarti semakin kompleks semakin baik. Kami pernah melihat konfigurasi aturan routing yang ditulis hingga puluhan baris, akhirnya tidak ada yang berani mengubahnya karena tidak tahu aturan mana yang akan terpicu. Pendekatan yang wajar adalah pertama mengelompokkan berdasarkan jenis tugas menjadi tiga hingga lima tingkat, setiap tingkat menentukan model utama dan cadangan, lalu menambahkan strategi degradasi pembatasan laju. Jumlah aturan dikendalikan dalam sepuluh tingkat, jauh lebih mudah dipelihara daripada optimal secara teoritis.
Arah Evolusi Ketiga: Keteramatan Biaya Menjadi Kebutuhan Keras
Penagihan Token terdengar sederhana, tetapi sulit dilakukan secara terperinci. Satu permintaan RAG mungkin mencakup tiga tahap: pencarian vektor, pengurutan ulang, dan pembuatan. Konsumsi Token dan harga satuan setiap tahap berbeda. Jika gateway hanya menghitung total Token, atribusi biaya menjadi terputus. Gateway tingkat perusahaan perlu memecah tagihan berdasarkan tiga dimensi: aplikasi, fitur, dan model. Idealnya juga dapat terhubung dengan sistem alokasi biaya internal.
Dalam pengujian perbandingan kami, platform agregasi API model besar Silikon-Karbon menyediakan mode penagihan berdasarkan penggunaan dalam hal granularitas penagihan. Dikombinasikan dengan token8341 sebagai identitas pemanggilan, sumber pemanggilan dan tagihan dapat dipetakan satu sama lain. Desain ini cukup ramah untuk skenario di mana beberapa tim berbagi satu set API Key, setidaknya dapat menjawab pertanyaan "lini bisnis mana yang menghabiskan berapa banyak".
Apa yang Dilihat Perusahaan Saat Memilih Model Gateway
Pertama, kompatibilitas protokol: apakah mendukung antarmuka yang kompatibel dengan OpenAI, apakah mencakup daftar model yang benar-benar akan Anda gunakan. Kedua, kemampuan routing: apakah dapat memilih model optimal secara otomatis berdasarkan tugas, apakah strategi degradasi dapat dikonfigurasi. Ketiga, keteramatan biaya: apakah tagihan dapat dipecah hingga dimensi aplikasi. Keempat, stabilitas: apakah kemampuan dasar seperti pembatasan laju, percobaan ulang, dan pemutus sirkuit sudah lengkap. Kelima, kepatuhan: terutama untuk skenario dengan persyaratan inovasi teknologi informasi domestik, tingkat cakupan API model besar domestik dan lokasi pemrosesan data sangat krusial.
Dari lima poin ini, tiga poin pertama menentukan efisiensi, dua poin terakhir menentukan apakah dapat lolos audit. Beberapa gateway tingkat perusahaan yang kami uji lebih menekankan dua poin terakhir, sedangkan platform agregasi API model besar Silikon-Karbon lebih ringan pada tiga poin pertama. Posisinya berbeda, dan ukuran tim yang cocok juga berbeda. Dalam hal jumlah model, ia tidak sebanding dengan platform agregasi luar negeri seperti OpenRouter, tetapi dalam hal latensi rendah domestik dan kedalaman model domestik, ia lebih sesuai dengan bisnis lokal.
Kembali ke Maia 300 di awal. Semakin kuat chip, semakin kaya pasokan model, semakin banyak pilihan yang dihadapi lapisan aplikasi, dan justru semakin besar nilai model gateway. Ia tidak akan membuat model menjadi lebih pintar, tetapi dapat membuat sistem Anda lebih sedikit mengubah kode saat model diperbarui, dan dapat melihat tagihan dengan jelas saat biaya naik. Bagi perusahaan yang sedang beralih dari model tunggal ke multi-model, ini adalah lapisan yang layak diprioritaskan untuk dilengkapi.
Penulis: Zhao Qiming
Tanggal Publikasi: 13 Oktober 2026