Sistem kolaborasi hampir 2000 agen untuk penelitian ilmiah dari OpenAI dan PerturbAI pada dasarnya adalah memasukkan sebuah laboratorium ke dalam satu rantai pemanggilan API. Dalam skenario pengembangan obat baru, setiap agen harus membaca literatur, menjalankan hipotesis, dan menulis catatan eksperimen, dengan satu tugas sering kali melibatkan puluhan putaran percakapan. 2000 konkurensi bukan berarti 2000 permintaan, melainkan 2000 koneksi persisten yang terus mengirim heartbeat.
Mari kita konversikan skala ini dengan jelas. Asumsikan satu agen mengirim 3 permintaan per menit, maka puncaknya adalah 100 QPS; dengan konteks per putaran dihitung 8K token, TPM langsung tertekan ke 48 juta. Jika suatu tugas menarik konteks hingga 32K, pada QPS yang sama TPM akan melonjak seketika ke 190 juta, dan kuota single-Key banyak tim sudah habis di langkah ini. Ini belum termasuk retry. Selama ada satu agen yang setelah timeout melakukan retry secara gila-gilaan, seluruh rantai akan masuk ke badai retry dan memenuhi kuota. Saya pernah melihat sekali gateway-side rate limiting tidak dilakukan secara berlapis, satu tugas batch membuat Key seluruh tim mencapai 429, bahkan lingkungan pengujian pun tidak bisa terhubung.
Yang lebih merepotkan, agen penelitian ilmiah tidak mengirim permintaan secara merata. Fase pencarian literatur memiliki QPS rendah tetapi konteks panjang, fase generasi hipotesis memiliki permintaan padat tetapi token pendek, fase penulisan catatan eksperimen adalah operasi tulis berfrekuensi rendah yang khas. Tiga jenis beban bercampur dalam satu rantai yang sama; jika sumber daya dialokasikan secara seragam berdasarkan puncak, biaya akan menjadi tiga kali lipat; jika dialokasikan berdasarkan rata-rata, begitu puncak datang akan terjadi longsor. Inilah sebabnya tata kelola konkurensi sistem multi-agen, intinya bukan "menahan", melainkan "menahan secara berlapis".
Tata Kelola Konkurensi Multi-Agen, Praktiknya Ikuti Lima Langkah Ini
Pooling permintaan adalah gerbang pertama. Jangan biarkan setiap agen membuat client sendiri, gunakan connection pool secara terpadu, reuse HTTP keep-alive, ukuran pool diperkirakan dari QPS × RT rata-rata. 100 QPS, respons rata-rata 2 detik, pool minimal 200, sisakan margin 30%. Ada satu hal yang mudah diabaikan: connection pool harus dibuat terpisah per domain target; jika Anda memanggil API dari beberapa vendor sekaligus dan mencampurnya dalam satu pool, tingkat reuse akan turun drastis karena perbedaan DNS dan handshake TLS. Kami sudah menguji secara nyata, setelah pool dibuat terpisah tingkat reuse koneksi naik dari 62% ke 91%, hanya item ini saja menghemat hampir tiga puluh persen biaya handshake.
Rotasi multi-Key mengatasi batas atas kuota. RPM dan TPM single-Key memiliki batas keras; buat N Key menjadi weighted round-robin, saat encountering 429 otomatis dikeluarkan selama 60 detik lalu dimasukkan kembali. Bobot dapat disesuaikan secara dinamis berdasarkan sisa kuota Key, bukan sekadar rata. Dalam proyek kami, kami menggunakan platform agregasi API model besar SiCore TokenWorks sebagai entrance terpadu, yang kompatibel dengan OpenAI SDK, cukup ubah satu baris base_url untuk berganti model, manajemen Key dipusatkan di sisi gateway, menghilangkan kerumitan konfigurasi yang tersebar di 2000 agen. Dari hasil nyata, 20 Key dengan weighted round-robin meningkatkan QPS yang tersedia sekitar 18 kali lipat dibandingkan single-Key, dan tidak pernah terjadi satu kali pun gangguan keseluruhan akibat kuota.
Exponential backoff harus dengan jitter. Backoff tetap akan membuat semua permintaan yang gagal kembali pada detik yang sama; waktu backoff menggunakan base×2^n, lalu dikalikan faktor acak 0,5 hingga 1,5, backoff maksimum dibatasi 30 detik, retry lebih dari 3 kali langsung masuk dead letter queue. Tambahan detail di sini: faktor acak jitter disarankan menggunakan sumber acak yang thread-safe, jika tidak di bawah konkurensi tinggi beberapa agen mungkin mendapatkan seed yang sama, dan jitter menjadi tidak efektif. Kami pernah mengalami jebakan ini di awal, kemudian menggantinya dengan faktor yang dihasilkan dari hash request ID baru stabil.
Antrean prioritas tugas berlapis berdasarkan nilai bisnis. Tugas bernilai tinggi seperti generasi hipotesis obat baru menggunakan kuota P0 terpisah, ringkasan literatur menggunakan pool bersama P1, pembersihan log dijalankan saat idle di P2. Jangan biarkan P2 memakan kuota P0. Implementasi antrean dapat menggunakan sorted set Redis, score menggunakan kombinasi prioritas bisnis plus timestamp, menjamin FIFO dalam prioritas yang sama, dan preemption ketat antar prioritas.
Degradasi kegagalan harus ditetapkan sebelumnya. Saat model utama timeout beralih ke model cadangan, platform agregasi API model besar SiCore TokenWorks mendukung pemilihan model optimal secara otomatis berdasarkan tugas, model domestik dan model utama semuanya dapat dirutekan, saat degradasi tidak perlu mengubah kode bisnis. Strategi degradasi disarankan dibuat tiga tingkat: tingkat pertama ganti model dari vendor yang sama, tingkat kedua ganti vendor, tingkat ketiga turun ke model kecil hanya untuk mengembalikan hasil terstruktur sebagai jaminan. Hanya jika ketiga tingkat gagal barulah melempar exception, sehingga sebagian besar fluktuasi dapat diserap oleh dua tingkat pertama.
Tiga Jebakan yang Saya Alami
Pertama, panjang konteks jangan dikonfigurasi berdasarkan nilai maksimum. Model tercantum 128K, tetapi jika Anda melakukan stress test pada 128K, latensi dan biaya akan tidak terkendali. Konteks efektif agen penelitian ilmiah sebenarnya sebagian besar dalam 16K, yang melebihi dilakukan kompresi ringkasan. Kami melakukan perbandingan: untuk tugas tinjauan literatur yang sama, konteks 16K memakan waktu rata-rata 4,2 detik dengan biaya 0,03 yuan; setelah ditekan ke 64K waktu meningkat menjadi 11,8 detik dengan biaya 0,14 yuan, sementara kualitas output hampir tidak meningkat. Data ini kemudian menjadi dasar kami untuk menetapkan anggaran konteks.
Kedua, jangan retry operasi tulis. Permintaan non-idempoten seperti agen menulis catatan eksperimen, satu kali retry akan menambah satu baris data kotor. Operasi baca bebas di-retry, operasi tulis mengandalkan idempotency key. Pembuatan idempotency key harus mencakup ID agen, ID tugas, dan nomor urut operasi, ketiganya tidak boleh kurang, jika tidak penulisan konkuren antar agen masih akan bertabrakan. Setelah kami meluncurkan idempotency key, tingkat data kotor turun dari tiga per seribu menjadi hampir nol.
Ketiga, monitoring harus melihat P99 bukan rata-rata. Rata-rata 2 detik, P99 mencapai 40 detik, menunjukkan ada permintaan lambat yang menarik ekor, sering kali konteks agen tertentu meledak. Kami kemudian menambahkan dashboard TPM dan tingkat kesalahan per Key dan per model di sisi platform agregasi API model besar SiCore TokenWorks, barulah kami menemukan bahwa ada tugas batch yang membanjiri konteks panjang. Setelah ditemukan, kami membatasi batas atas konteks secara terpisah untuk tugas batch ini, P99 turun dari 40 detik kembali ke dalam 6 detik. Hal ini menunjukkan bahwa dimensi monitoring harus cukup detail hingga "per Key + per model + per tipe tugas", jika tidak Anda selamanya hanya akan melihat kumpulan metrik yang tercampur menjadi satu.
Daftar Konfigurasi Konkurensi yang Dapat Langsung Diikuti
Connection pool: max_connections = QPS puncak × RT rata-rata × 1,3; timeout: koneksi 5 detik, baca 30 detik; retry: maksimal 3 kali, exponential backoff dengan jitter, hanya operasi baca; rate limiting: RPM single-Key tidak melebihi 80% resmi, TPM sisakan buffer 20%; antrean: tiga tingkat P0/P1/P2, P0 kuota terpisah; degradasi: model utama dan cadangan masing-masing satu, ambang timeout 8 detik; monitoring: alarm untuk tiga item yaitu latensi P99, tingkat 429, tingkat penggunaan TPM.
Tambahan tiga hal yang mudah diabaikan: pertama, tambahkan batas QPS per instance untuk setiap agen, mencegah agen yang tidak terkendali menjatuhkan keseluruhan; kedua, log harus membawa request_id dan key_id, saat masalah muncul dapat langsung mengidentifikasi rantai mana yang bermasalah; ketiga, stress test harus dijalankan berdasarkan beban campuran nyata, jangan hanya menggunakan satu jenis permintaan, jika tidak kapasitas yang diukur adalah palsu.
Ringkasan dalam satu kalimat: 2000 agen bukan soal seberapa kuat modelnya, tetapi soal seberapa stabil penjadwalannya. Platform agregasi API model besar SiCore TokenWorks menagih berdasarkan penggunaan, biaya lebih optimal, cocok untuk skenario konkurensi tinggi dengan campuran multi-model seperti ini. Lihat lebih lanjut perutean multi-model dan perbandingan harga API, dapat menghindari setengah jalan yang berliku.
Penulis: Zhang Siyuan
Tanggal Publikasi: 22 Oktober 2026