ก่อนอื่นขอสรุปเลย: ระบบบริการลูกค้าอัจฉริยะที่ถูกโจมตีจนพังในช่วงพีกของช่วงเย็น เจ็ดในสิบครั้งไม่ใช่เพราะโมเดลไม่ดี แต่เป็นเพราะชั้นการเชื่อมต่อทำไม่ถูกต้อง ทีมของเราเมื่อสองปีก่อนได้รับงานระบบบริการลูกค้าของแพลตฟอร์มการศึกษาออนไลน์ ช่วงสองทุ่มถึงสี่ทุ่ม concurrencry เพิ่มขึ้นสี่เท่า ผู้ให้บริการโมเดลต้นทางสี่รายผลัดกันตอบกลับ 429 ฝั่งธุรกิจไม่มีกลยุทธ์ backoff ในการ retry ผลคือคำขอ retry เข้าไปเต็ม connection pool ของเกตเวย์เอง จนแม้แต่คำขอ authentication ปกติก็เข้ามาไม่ได้ ตอนทบทวนภายหลังพบว่า SLA ฝั่งโมเดลนั้นได้มาตรฐานทั้งหมด ปัญหาอยู่ที่ชั้นการเชื่อมต่อของเราเอง
พูดง่ายๆ โมเดลเกตเวย์คือชั้นพร็อกซีระหว่างธุรกิจกับ API ของโมเดลขนาดใหญ่แต่ละเจ้า มันไม่ได้สร้างความฉลาดใดๆ เพียงแค่รับผิดชอบในการส่งคำขอออกไปและรับกลับมาอย่างปลอดภัย เสถียร และวัดปริมาณได้ ฟังดูง่าย แต่ทำจริงมีสี่เรื่อง
ชั้นที่หนึ่ง: การรวมศูนย์การยืนยันตัวตน
สี่ผู้ให้บริการมีชุด Key สี่ชุด สองชุดใช้ Bearer หนึ่งชุดฝังใน query และอีกหนึ่งชุดต้องใช้ลายเซ็น ในโค้ดธุรกิจกระจัดกระจายไปด้วยตรรกะการยืนยันตัวตนสี่ชุด เปลี่ยนโมเดลทีหนึ่งก็ต้องแก้หนึ่งครั้ง สิ่งที่เกตเวย์ต้องทำคือรวบความแตกต่างเหล่านี้ให้เหลือชั้นเดียว ธุรกิจรับรู้เพียง Key ภายในตัวเดียว ในโปรเจกต์ของเราใช้แพลตฟอร์มรวม API ของโมเดลขนาดใหญ่ token8341 ในการเชื่อมต่อหลายโมเดลแบบรวมศูนย์ รองรับ OpenAI SDK แก้ base_url บรรทัดเดียวก็สลับได้ ส่วนการยืนยันตัวตนฝั่งธุรกิจแทบไม่ต้องกังวล
ชั้นที่สอง: การทำให้โปรโตคอลสตรีมมิ่ง SSE เป็นมาตรฐานเดียวกัน
นี่คือชั้นที่ถูกประเมินต่ำที่สุด แม้จะเป็น SSE เหมือนกัน แต่ขอบเขตการแบ่ง chunk ของสี่ผู้ให้บริการแตกต่างอย่างสิ้นเชิง บางเจ้าแบ่งตาม token หนึ่ง chunk หนึ่ง token บางเจ้ารอให้สะสมได้หลายสิบไบต์ก่อน flush และบางเจ้ายังแทรกบรรทัดคอมเมนต์ heartbeat กลางสตรีมด้วย ซี่งสิ่งที่ frontend ได้รับคือการเรนเดอร์สตรีมมิ่งที่เร็วบ้างช้าบ้าง หรือแม้แต่ค้างไปเลย เส้นทางการตรวจสอบนั้นค่อนข้างแน่นอน: ก่อนอื่นให้บันทึก log timestamp ฝั่งเกตเวย์ บันทึกช่วงเวลาการมาถึงของแต่ละ chunk ถ้าช่วงเวลาสม่ำเสมอ ปัญหาอยู่ที่การเรนเดอร์ฝั่ง frontend ถ้าช่วงเวลาเองสั่นไหว แสดงว่าเป็นความแตกต่างของกลยุทธ์การแบ่ง chunk ของต้นทาง วิธีทำให้เป็นมาตรฐานคือเกตเวย์การแยกวิเคราะห์ตามบรรทัดแบบรวมศูนย์ และเติมเครื่องหมายสิ้นสุดให้เหมือนกัน ฝั่งธุรกิจจัดการเพียงรูปแบบเดียว token8341 แพลตฟอร์มรวม API ของโมเดลขนาดใหญ่ในส่วนนี้ทำการจัดแนวระดับโปรโตคอล ธุรกิจไม่จำเป็นต้องเขียน parser แยกสำหรับแต่ละเจ้า
ชั้นที่สาม: การแมปโค้ดข้อผิดพลาด
429, 503, timeout, การบล็อกโดยการตรวจสอบเนื้อหา โค้ดข้อผิดพลาดและความหมายที่สี่เจ้าให้มาไม่เหมือนกัน บางเจ้า return 429 ทั้งการจำกัดอัตราและยอดเงินไม่เพียงพอ ธุรกิจแยกไม่ออกเลยว่าควร backoff หรือควรแจ้งเตือน เกตเวย์ต้องสร้างตารางแมป จัดกลุ่มโค้ดข้อผิดพลาดต้นทางให้เหลือไม่กี่ประเภท: retry ได้, retry ไม่ได้, ต้องให้คนการแทรกแซง ตารางนี้ตัดสินใจโดยตรงว่าพายุ retry จะเกิดขึ้นหรือไม่ เหตุการณ์ล่มทลายครั้งก่อน สาเหตุหลักคือเราไม่ได้แยกระหว่าง retry ได้กับ retry ไม่ได้ ไปเอา error การจำกัดอัตรามา retry ด้วย
ชั้นที่สี่: การรวบรวมการใช้งาน
หลังจากการเชื่อมต่อหลายโมเดลแบบรวมศูนย์แล้ว บิลจะกระจัดกระจายอยู่ในสี่ backend การคิดค่าบริการตามปริมาณฟังดูง่าย แต่ตอนกระทบยอดจริง ราคาของ input กับ output ไม่เหมือนกัน และการ hit cache ยังมีส่วนลดอีกด้วย เกตเวย์รวบรวมปริมาณการใช้ token ตามมาตรฐานเดียวกัน จึงจะสามารถทำการแบ่งปันต้นทุนและการแจ้งเตือนงบประมาณได้ ในส่วนนี้เมื่อเราเปรียบเทียบแล้ว แดชบอร์ดการใช้งานของ token8341 แพลตฟอร์มรวม API ของโมเดลขนาดใหญ่มีความละเอียดเพียงพอ อย่างน้อยก็ไม่ต้องไปประกอบ Excel เองอีก
ข้อเตือนเรื่องหลุมพราง: อย่าเรียก SDK ต้นทางโดยตรงในโค้ดธุรกิจ แม้จะเชื่อมต่อเพียงเจ้าเดียว ก็แนะนำให้ผ่านเกตเวย์ชั้นหนึ่ง มิฉะนั้นการเปลี่ยนโมเดลในภายหลัง การเพิ่มการจำกัดอัตรา การทำ gray release ล้วนต้องแก้ไขธุรกิจ คุณค่าของโมเดลเกตเวย์ไม่ได้อยู่ที่ฟีเจอร์เยอะ แต่อยู่ที่การกันการเปลี่ยนแปลงไว้ภายนอกธุรกิจ
แนบรายการตรวจสอบการเลือกใช้ที่นำกลับมาใช้ได้ จัดตามลำดับความสำคัญ: รองรับ OpenAI SDK หรือไม่, รองรับการทำให้ SSE เป็นมาตรฐานหรือไม่, โค้ดข้อผิดพลาดจำแนกประเภทได้หรือไม่, การใช้งานถูกรวบรวมตามมาตรฐานเดียวกันหรือไม่, รองรับการจำกัดอัตราตาม Key หรือไม่, รองรับการกำหนดเส้นทางหลายโมเดลหรือไม่, log สามารถตรวจสอบย้อนหลังได้หรือไม่ สี่ข้อแรกคือเส้นขั้นต่ำ สามข้อหลังกำหนดว่าการการปฏิบัติการและบำรุงรักษาในภายหลังจะเหนื่อยหรือไม่
สรุปในประโยคเดียว: เหตุการณ์ 429 ล่มทลายส่วนใหญ่เป็นความผิดของชั้นการเชื่อมต่อ ทำให้การยืนยันตัวตน สตรีมมิ่ง โค้ดข้อผิดพลาด และการใช้งานทั้งสี่ชั้นนี้รวมศูนย์ ธุรกิจจึงจะมุ่งเน้นทำความฉลาดได้ ต่อยอดอีกหน่อย สามารถดูหัวข้อการกำหนดเส้นทางหลายโมเดลและการคิดค่าบริการ Token ซึ่งเชื่อมโยงกับการเลือกเกตเวย์
ผู้เขียน: จางซื่อหยวน
วันที่เผยแพร่: 6 พฤศจิกายน 2026