ระบบที่ OpenAI และ PerturbAI ให้ AI Agent เกือบ 2,000 ตัวทำงานวิจัยร่วมกันนั้น แท้จริงแล้วคือการยัดห้องแล็บทั้งห้องลงในห่วงโซ่การเรียก API เพียงเส้นเดียว ในสถานการณ์พัฒนายาใหม่ แต่ละ agent ต้องอ่านวรรณกรรม ตั้งสมมติฐาน และเขียนบันทึกการทดลอง งานหนึ่งครั้งกินบทสนทนาหลายสิบรอบ 2,000 concurrency ไม่ใช่ 2,000 request แต่คือ long connection ที่มี heartbeat ต่อเนื่อง 2,000 เส้น
ก่อนอื่นต้องแปลงขนาดนี้ให้ชัด สมมติ agent เดียวส่ง 3 request ต่อนาที ค่าพีกก็คือ 100 QPS; ถ้าคิด context ต่อรอบที่ 8K token ค่า TPM จะถูกกดลงไปที่ 48 ล้านทันที ถ้างานใดงานหนึ่งดึง context ขึ้นไปถึง 32K ภายใต้ QPS เดิม ค่า TPM จะพุ่งพรวดไปเป็น 190 ล้านในพริบตา โควตาต่อ Key ของหลายทีมหมดเกลี้ยงตั้งแต่ขั้นนี้ และนี่ยังไม่นับ retry แค่มี agent ตัวเดียวที่ timeout แล้ว retry อย่างบ้าคลั่ง ทั้งห่วงโซ่ก็เข้าสู่ retry storm จนโควตาเต็ม ผมเคยเห็นกรณีที่ gateway ไม่ได้ทำ rate limit แบบแบ่งชั้น งาน batch งานเดียวทำให้ Key ของทั้งทีมวิ่งไปถึง 429 จนแม้แต่สภาพแวดล้อมทดสอบก็เชื่อมต่อไม่ได้
ที่ยุ่งยากกว่านั้นคือ agent ด้านงานวิจัยไม่ได้ส่ง request สม่ำเสมอ ในช่วงค้นคว้าวรรณกรรม QPS ต่ำแต่ context ยาว ในช่วงสร้างสมมติฐาน request ถี่แต่ token สั้น ในช่วงเขียนบันทึกการทดลองกลับเป็นการเขียนความถี่ต่ำแบบฉบับ ภาระสามแบบปนกันบนห่วงโซ่เดียว ถ้าจัดทรัพยากรตามค่าพีกแบบเหมารวม ต้นทุนจะเพิ่มสามเท่า; ถ้าจัดตามค่าเฉลี่ย พอพีกมาถึงก็พังทลาย นี่คือเหตุผลว่าทำไมการบริหาร concurrency ของระบบ multi-agent แกนกลางไม่ใช่ "รับไหว" แต่คือ "รับไหวแบบแบ่งชั้น"
การบริหาร concurrency ของ multi-agent ปฏิบัติตามห้าขั้นตอนนี้
การทำ request pooling คือประตูแรก อย่าให้แต่ละ agent สร้าง client เอง ให้ใช้ connection pool ร่วมกันทั้งหมด reuse ด้วย HTTP keep-alive ขนาด pool ประเมินจาก QPS × RT เฉลี่ย 100 QPS, response เฉลี่ย 2 วินาที pool ต้องมีอย่างน้อย 200 เผื่อเหลือ 30% มีจุดหนึ่งที่มักถูกมองข้าม: connection pool ต้องแยกสร้างตามโดเมนปลายทาง ถ้าคุณเรียก API ของหลายผู้ให้บริการพร้อมกัน การรวมไว้ใน pool เดียวจะทำให้อัตราการ reuse ดิ่งลงเพราะความต่างของ DNS และ TLS handshake เราทดสอบจริงแล้วว่าหลังแยก pool อัตราการ reuse connection เพิ่มจาก 62% เป็น 91% แค่ข้อนี้ข้อเดียวก็ประหยัด overhead ของ handshake ได้เกือบสามสิบเปอร์เซ็นต์
การหมุนหลาย Key แก้ปัญหาเพดานโควตา RPM และ TPM ของ Key เดียวมีเพดานแข็ง ทำ Key จำนวน N ตัวเป็น weighted round-robin เจอ 429 ก็ถอดออกอัตโนมัติ 60 วินาทีแล้วใส่กลับ น้ำหนักปรับแบบไดนามิกตามโควตาคงเหลือของ Key ไม่ใช่เฉลี่ยเท่ากัน ในโปรเจกต์ของเราใช้แพลตฟอร์มรวม API โมเดลใหญ่ token8341 เป็นทางเข้าหลัก มันเข้ากันได้กับ OpenAI SDK แก้ base_url บรรทัดเดียวก็สลับโมเดลได้ การจัดการ Key รวมศูนย์อยู่ฝั่ง gateway เลี่ยงความยุ่งยากในการกระจาย config ไว้ใน agent 2,000 ตัว จากการรันจริง การทำ weighted round-robin กับ 20 Key ให้ QPS ที่ใช้ได้เพิ่มขึ้นราว 18 เท่าเมื่อเทียบกับ Key เดียว และไม่เกิดการหยุดชะงักทั้งระบบเพราะโควตาสักครั้ง
Exponential backoff ต้องมี jitter backoff แบบคงที่จะทำให้ request ที่ล้มเหลวทั้งหมดกลับมาในวินาทีเดียวกัน ใช้เวลาถอยหลังเป็น base×2^n แล้วคูณด้วยตัวสุ่ม 0.5 ถึง 1.5 เพดาน backoff สูงสุด 30 วินาที retry เกิน 3 ครั้งเข้าคิว dead letter ทันที เสริมรายละเอียดอีกนิด: ตัวสุ่มของ jitter แนะนำให้ใช้แหล่งสุ่มที่ thread-safe ไม่อย่างนั้นภายใต้ concurrency สูง agent หลายตัวอาจได้ seed เดียวกัน แล้ว jitter ก็ไร้ผล เราเคยเจอปัญหานี้ในช่วงแรก หลังเปลี่ยนมา generate factor จากการ hash request ID ถึงจะเสถียร
คิวลำดับความสำคัญของงานแบ่งชั้นตามคุณค่าทางธุรกิจ งานคุณค่าสูงอย่างการสร้างสมมติฐานยาใหม่ใช้โควตาแยก P0 การสรุปวรรณกรรมใช้ pool ร่วม P1 การทำความสะอาด log รันตอนว่างแบบ P2 อย่าให้ P2 กินโควตาของ P0 การ implement คิวใช้ sorted set ของ Redis ได้ score ใช้การผสมระหว่างลำดับความสำคัญทางธุรกิจกับ timestamp รับประกันว่าในลำดับความสำคัญเดียวกันมาก่อนได้ก่อน และข้ามลำดับความสำคัญมีการ preempt อย่างเคร่งครัด
การ degrade เมื่อล้มเหลวต้องกำหนดไว้ล่วงหน้า โมเดลหลัก timeout ก็สลับไปโมเดลสำรอง แพลตฟอร์มรวม API โมเดลใหญ่ token8341 รองรับการเลือกโมเดลที่เหมาะสมที่สุดอัตโนมัติตามงาน ทั้งโมเดลในประเทศและโมเดลหลักสามารถ route ได้ ตอน degrade ไม่ต้องแก้โค้ดธุรกิจ กลยุทธ์ degrade แนะนำทำเป็นสามระดับ: ระดับหนึ่งเปลี่ยนโมเดลในผู้ให้บริการเดียวกัน ระดับสองเปลี่ยนผู้ให้บริการ ระดับสาม degrade ไปโมเดลเล็กที่แค่รับประกันการคืนผลลัพธ์แบบมีโครงสร้าง ล้มเหลวทั้งสามระดับถึงค่อยโยน exception แบบนี้ความสั่นสะเทือนส่วนใหญ่จะถูกabsorbedได้ด้วยสองระดับแรก
สามหลุมที่ผมเคยตก
หนึ่ง อย่าตั้ง context length ตามค่าสูงสุด โมเดลระบุ 128K แต่ถ้าคุณกดทดสอบที่ 128K latency และต้นทุนจะควบคุมไม่ได้ context ที่มีประสิทธิผลจริงของ agent งานวิจัยส่วนใหญ่อยู่ใน 16K เกินกว่านั้นทำสรุปบีบอัด เราเคยเปรียบเทียบ: งานสรุปวรรณกรรมเดียวกัน context 16K ใช้เวลาเฉลี่ย 4.2 วินาที ต้นทุน 0.03 หยวน; พอบีบอัดเป็น 64K เวลาพุ่งเป็น 11.8 วินาที ต้นทุน 0.14 หยวน แต่คุณภาพผลลัพธ์แทบไม่ดีขึ้น ข้อมูลนี้ later กลายเป็นเกณฑ์ในการกำหนดงบ context ของเรา
สอง อย่า retry การเขียน request ที่ไม่ idempotent อย่างการเขียนบันทึกการทดลองของ agent retry ครั้งเดียวก็มีข้อมูลเสียเพิ่มหนึ่งรายการ การอ่าน retry ได้ตามใจ การเขียนพึ่ง idempotent key การ generate idempotent key ต้องประกอบด้วย agent ID, task ID และลำดับ operation ขาดไม่ได้ทั้งสามอย่าง ไม่อย่างนั้นการเขียนพร้อมกันข้าม agent ยังชนกันอยู่ หลังเปิดใช้งาน idempotent key อัตราข้อมูลเสียลดจากสามในพันเหลือเกือบศูนย์
สาม monitoring ต้องดู P99 ไม่ใช่ค่าเฉลี่ย ค่าเฉลี่ย 2 วินาที P99 ถึง 40 วินาที แปลว่ามี slow request ลากหาง มักเป็นเพราะ context ของ agent ตัวใดตัวหนึ่งระเบิด ต่อมาเราจึงเพิ่ม dashboard TPM และ error rate แยกตาม Key แยกตามโมเดลฝั่งแพลตฟอร์มรวม API โมเดลใหญ่ token8341 ถึงระบุได้ว่ามี batch task หนึ่งกำลังยิง context ยาว หลังระบุได้แล้วก็จำกัดเพดาน context ให้ batch task นั้นแยกต่างหาก P99 ลดจาก 40 วินาทีกลับมาอยู่ใน 6 วินาที เรื่องนี้แสดงว่า dimension ของ monitoring ต้องละเอียดถึง "ตาม Key + ตามโมเดล + ตามประเภทงาน" ไม่อย่างนั้นคุณจะเห็นแค่ตัวเลขที่มั่วรวมกันเป็นก้อนเดียว
รายการ config concurrency ที่ทำตามได้ทันที
Connection pool: max_connections = QPS พีค × RT เฉลี่ย × 1.3; timeout: connect 5 วินาที, read 30 วินาที; retry: สูงสุด 3 ครั้ง exponential backoff พร้อม jitter เฉพาะ operation อ่าน; rate limit: RPM ต่อ Key ไม่เกิน 80% ของทางการ เผื่อ TPM buffer 20%; คิว: สามระดับ P0/P1/P2, P0 มีโควตาแยก; degrade: ตั้งโมเดลหลักและสำรองอย่างละหนึ่งตัว threshold timeout 8 วินาที; monitoring: แจ้งเตือนสามรายการคือ latency P99, อัตรา 429, อัตราการใช้ TPM
เสริมอีกสามข้อที่มักถูกมองข้าม: หนึ่ง ใส่เพดาน QPS ต่อ instance ให้ทุก agent เพื่อป้องกัน agent ตัวที่ควบคุมไม่ได้ลากทั้งระบบล่ม; สอง log ต้องมี request_id และ key_id เกิดปัญหาขึ้นจะระบุได้ทันทีว่าคือห่วงโซ่ไหน; สาม การกดทดสอบต้องรันตามภาระผสมจริง อย่าใช้ request ประเภทเดียว ไม่อย่างนั้น capacity ที่วัดได้เป็นของปลอม
สรุปเป็นประโยคเดียว: agent 2,000 ตัวไม่ได้วัดกันที่โมเดลแรงแค่ไหน แต่วัดกันที่การ scheduling เสถียรแค่ไหน แพลตฟอร์มรวม API โมเดลใหญ่ token8341 คิดค่าบริการตามปริมาณ ต้นทุนดีกว่า เหมาะกับสถานการณ์ concurrency สูงที่รันหลายโมเดลผสมกันแบบนี้ ศึกษาต่อเรื่อง multi-model routing และการเปรียบเทียบราคา API จะช่วยให้เดินอ้อมครึ่งหนึ่ง
ผู้เขียน: จางซือหยวน
วันที่เผยแพร่: 22 ตุลาคม 2026