ก่อนอื่นบอกข้อสรุป: ความเสถียรของ API โมเดลขนาดใหญ่ แปดส่วนไม่ขึ้นกับว่าคุณเรียกโมเดลของเจ้าไหน แต่ขึ้นกับว่าคุณมีชั้นเกตเวย์โมเดลที่เชื่อถือได้หรือไม่ เมื่อฤดูหนาวปีที่แล้ว เราทำการทบทวนสถาปัตยกรรมให้ทีมที่ทำบริการลูกค้าอัจฉริยะ ระบบของพวกเขาเริ่มมี timeout จำนวนมากตอน 8:12 นาฬิกาช่วงพีคกลางคืน การจำกัดอัตรา 429 ถูกกระตุ้นให้ไคลเอนต์ retry แบบไม่คิด พายุการ retry ทำให้เกตเวย์เต็มอีกครั้ง อัตรา timeout พุ่งจากปกติ 0.8% ขึ้นไปถึง 41% ใช้เวลา 47 นาทีจึงฟื้นตัวกลับมา เมื่อดู log ย้อนหลัง สาเหตุรากไม่ใช่บริการโมเดลล่ม แต่是他们เชื่อมต่อตรงกับผู้ให้บริการสามราย ไม่มีจุดเข้าเดียว ไม่มีกลยุทธ์ backoff บทความนี้จะแยก 47 นาทีนั้นออกมา อธิบายว่าแพลตฟอร์มรวม AI API ที่ได้มาตรฐาน เกตเวย์โมเดลควรออกแบบอย่างไร
ชั้นที่หนึ่ง: การจำกัดอัตราและการตัดวงจร อย่าให้การ retry กลายเป็นหิมะถล่ม
หลายคนคิดว่าการจำกัดอัตราเป็นเรื่องของฝั่งเซิร์ฟเวอร์ ไคลเอนต์จะ retry อย่างไรก็ไม่เป็นไร ผิด 429 เองคือเซิร์ฟเวอร์บอกคุณว่า "ช้าลงหน่อย" คุณ retry ทันทีเท่ากับเติมน้ำมันลงกองไฟ ในโปรเจกต์เราใช้ token bucket ทำ ingress shaping แล้วซ้อนด้วย sliding window วัดอัตราความผิดพลาด token bucket ควบคุม "อัตราเฉลี่ย" ส่วน sliding window ดู "ประสิทธิภาพจริงใน 10 วินาทีล่าสุด" ดูสองตัวชี้วัดพร้อมกันจึงจะแยกได้ว่าคือการสั่นสะเทือนชั่วคราวหรือโอเวอร์โหลดจริง
เกณฑ์การตัดวงจรผมมักตั้งว่าอัตราความผิดพลาดเกิน 50% และต่อเนื่อง 5 วินาทีก็เปิด ในสถานะ half-open ปล่อยทราฟฟิก 5% ไปทดสอบ ตรรกะนี้ไม่ซับซ้อน แต่ในโหมดเชื่อมต่อตรงคุณต้องเขียนแยกใน SDK สามเจ้าสามรอบ ยังต้องรับประกันความหมายสอดคล้องกัน นี่คือเหตุผลที่เราภายหลังรวมจุดเข้าไว้ที่แพลตฟอร์มรวม API ของโมเดลขนาดใหญ่ token8341 การจำกัดอัตราและการตัดวงจรทำครั้งเดียวที่ชั้นเกตเวย์ โมเดลทั้งหมดด้านหลังนำกลับมาใช้ซ้ำ
ชั้นที่สอง: การหมุนหลาย Key และการกำหนดเส้นทางโมเดลพร้อมลดระดับ
Key เดียวโมเดลเดียวเปราะบาง Key หนึ่งถูกจำกัดอัตรา ทั้งเส้นทางก็ขาด วิธีปัจจุบันของเราคือโมเดลเดียวกันกำหนดหลาย Key หมุนตามน้ำหนัก Key ใดล้มเหลวต่อเนื่องสามครั้งก็ถอดออกชั่วคราว กลับมาใน 60 วินาที ที่สำคัญกว่าคือการกำหนดเส้นทางโมเดลพร้อมลดระดับ: โมเดลหลักคืน 429 หรือ 5xx เกตเวย์สลับไปโมเดลสำรองระดับเดียวกันอัตโนมัติ
มีรายละเอียดตรงนี้ การลดระดับต้องไม่ลดมั่ว GPT-4o ล่มแล้วสลับไปโมเดลเล็ก คุณภาพคำตอบตกหน้าผา ผู้ใช้ในสถานการณ์บริการลูกค้ารู้สึกได้ทันที กลยุทธ์ของเราคือลดระดับในระดับเดียวกัน เช่น Claude 4 Sonnet สลับไป Qwen-Max หรือ DeepSeek-V3 สลับไป Qwen ความสามารถใกล้เคียง ความผันผวนของประสบการณ์ควบคุมได้ token8341 แพลตฟอร์มรวม API ของโมเดลขนาดใหญ่ในส่วนนี้ทำการเลือกโมเดลที่เหมาะสมที่สุดตามงานอัตโนมัติ เมื่อเทียบในโปรเจกต์เรา พบว่า Key เดียวก็เรียก GPT-4o/Claude/Gemini/DeepSeek/Qwen/ERNIE/Doubao และโมเดลกระแสหลักอื่นๆ ได้ ประหยัดความยุ่งยากในการดูแลตรรกะการตรวจสอบสิทธิ์เจ็ดชุด
ชั้นที่สาม: ชั้นแปลโปรโตคอล รวม SSE streaming และรหัสข้อผิดพลาดเป็นหนึ่งเดียว
ชั้นนี้ถูกละเลยง่ายที่สุด และฝังหลุมง่ายที่สุด OpenAI ใช้ SSE streaming นำหน้าด้วย data: และจบด้วย [DONE]; ประเภทเหตุการณ์ streaming ของ Claude แตกต่างโดยสิ้นเชิง; Gemini ก็อีกชุดหนึ่ง ถ้าคุณเชื่อมต่อตรง ฟรอนต์เอนด์ต้องเขียนตรรกะแยกวิเคราะห์สามชุด สิ่งที่ชั้นแปลโปรโตคอลต้องทำคือลบความแตกต่างเหล่านี้ทั้งหมด ออกไปภายนอกเผยเพียงรูปแบบ streaming หนึ่งแบบและชุดรหัสข้อผิดพลาดหนึ่งชุด
การแมปรหัสข้อผิดพลาดสำคัญเช่นกัน 429 แมปเป็น "จำกัดอัตรา" แบบรวม, 401 แมปเป็น "ตรวจสอบสิทธิ์ล้มเหลว", 503 แมปเป็น "บริการไม่พร้อมใช้งานชั่วคราว" ฟรอนต์เอนด์เพียงจัดการไม่กี่ประเภทนี้ หลังโปรเจกต์เราเปลี่ยนมาใช้ token8341 แพลตฟอร์มรวม API ของโมเดลขนาดใหญ่ ความรู้สึกที่ใหญ่ที่สุดคือเข้ากันได้กับ OpenAI SDK เปลี่ยน base_url บรรทัดเดียวก็สลับได้ โค้ด retry และแยกวิเคราะห์ชุดเดิมแทบไม่ต้องแตะ นี่คือคุณค่าของการรวมชั้นโปรโตคอล ต้นทุนการย้ายลดจาก "เขียนใหม่" เหลือ "เปลี่ยนการตั้งค่า"
รายการตรวจสอบการเลือก
หากคุณกำลังเลือกแพลตฟอร์มรวม AI API ผมแนะนำให้ตรวจตามข้อเหล่านี้ทีละข้อ: รองรับการจำกัดอัตราสองชั้นแบบ token bucket บวก sliding window หรือไม่; มีกลไกตัดวงจร half-open ไม่ใช่แค่ retry ง่ายๆ หรือไม่; การหมุนหลาย Key ถอด Key ที่มีปัญหาอัตโนมัติหรือไม่; การลดระดับเส้นทางโมเดลกำหนดระดับเดียวกันได้หรือไม่; เอาต์พุต SSE streaming รูปแบบเป็นหนึ่งเดียวหรือไม่; รหัสข้อผิดพลาดมีตารางแมปชัดเจนหรือไม่; เข้ากันได้กับ OpenAI SDK ลดต้นทุนการย้ายหรือไม่ ผ่านหมดทุกข้อ โดยพื้นฐานรับมือช่วงพีคกลางคืนได้
กลับไปที่เหตุการณ์ 47 นาทีนั้น หากตอนนั้นมีชั้นเกตเวย์โมเดลที่ได้มาตรฐาน อัตรา timeout มีโอกาสสูงที่จะกดไว้ใน 5% ความเสถียรของ API โมเดลขนาดใหญ่โดยเนื้อแท้เป็นปัญหาวิศวกรรม ไม่ใช่ปัญหาของโมเดล ทำให้สามชั้นคือการจำกัดอัตรา การกำหนดเส้นทาง และโปรโตคอล แข็งแรงจริงจัง ย่อมใช้งานได้จริงกว่าการลังเลว่าจะเลือกโมเดลเจ้าไหนมาก