ฤดูหนาวปีที่แล้ว ผมได้ทบทวนชั้นเชื่อมต่อให้กับทีมที่ทำบริการลูกค้าอัจฉริยะสำหรับอีคอมเมิร์ซ ช่วงพีคเย็นพวกเขาเชื่อมห้าโมเดลใหญ่เข้าไว้ในระบบบริการลูกค้าพร้อมกัน การเรนเดอร์ข้อความทีละตัวอักษรฝั่ง фронтенд เริ่มเร็วบ้างช้าบ้าง ทีมปฏิบัติการจ้องมอนิเตอร์บอกว่า throughput ฝั่งแบ็กเอนด์ไม่ได้ตก แต่ผู้ใช้กลับรู้สึกได้ว่าค้าง พลิกดู log ถึงพบว่า ความหน่วงของ Token แรกของบางคำขอพุ่งจากปกติประมาณ 0.4 วินาทีไปเป็น 3 วินาที และเป็นแบบ intermittent มาทีละแบทช์
ปรากฏการณ์นี้น่าสนใจมาก เพราะถ้าเป็นตัวโมเดลเองที่ช้าลง ความหน่วงควรจะเป็นแบบต่อเนื่องและครอบคลุมทั้งหมด ไม่ใช่แบบ intermittent ทีละแบทช์ การที่มันเป็น intermittent บอกอะไร? บอกว่าปัญหาอยู่ที่เส้นทางการกระจายคำขอ ไม่ใช่ที่การอนุมานของโมเดลเอง ต่อมาเราเอาคำขอช่วงพีคเย็นมาเรียงตามแกนเวลา พบว่าจุดสูงสุดของความหน่วงทับซ้อนอย่างมากกับหน้าต่าง rate limit ของเจ้าหนึ่ง ทุกครั้งที่เจ้า A ถูกกระตุ้น rate limit เกตเวย์ก็เริ่ม retry และคำขอที่ retry ก็ไปแย่ง connection pool ของเจ้าอื่น เกิดเป็นลูกโซ่
ปัญหาไม่ได้อยู่ที่โมเดลเอง API ของโมเดลใหญ่ ที่ส่งแบบ streaming พึ่งพา SSE และ SSE ส่งแบบแบ่งเป็นบล็อก ไม่มีใครรับประกันขอบเขตของบล็อก บางผู้ให้บริการยัดครึ่งประโยคใน chunk เดียว บางเจ้าแตก function call ทั้งก้อนเป็นหลายท่อน ยังมีบางเจ้าที่ใช้ฟิลด์ data แนบ heartbeat มาด้วย ฝั่ง фронтенд แยกวิเคราะห์ตามจังหวะของตัวเอง พอเจอตัวอักษรหลายไบต์ที่คร่อมบล็อกก็ค้างนิดหนึ่ง พอเจอ heartbeat ก็หมุนเปล่า ห้าโมเดลผสมกัน รูปแบบบล็อกต่างกันหมด จังหวะการเรนเดอร์จึงยุ่งเหยิงเอง
ขอยกตัวอย่างเป็นรูปธรรม ในการคืนประโยค "สวัสดีครับ มีอะไรให้ช่วยไหมครับ" เจ้า A อาจส่งทั้งประโยคพร้อม role มาใน chunk เดียว เจ้า B ส่ง chunk ว่างที่มีแค่ role ก่อน ห่าง 80 มิลลิวินาทีแล้วจึงส่งตัวอักษรตัวแรกของ content ส่วนเจ้า C แตกประโยคนี้เป็นสาม chunk กลางนั้นแทรก heartbeat ชนิด comment มาหนึ่งตัว ถ้าฝั่ง фронтенд ทำเอฟเฟกต์พิมพ์ดีดตามจังหวะคงที่ เจอเจ้า B ก็ต้องรอเปล่า 80 มิลลิวินาทีก่อน เจอเจ้า C ก็เรนเดอร์เกินไปหนึ่งเฟรมบน heartbeat ดูเจ้าเดียวไม่มีปัญหา แต่ห้าเจ้าผสมกัน จังหวะการเรนเดอร์ก็ยุ่งเหยิงทั้งหมด
ที่ซ่อนเร้นยิ่งกว่าคือการแมป error code เจ้า A ส่ง 429 เมื่อถูก rate limit เจ้า B ใช้ error body ที่กำหนดเองห่อด้วย status code 200 เจ้า C ห่อ timeout เป็น business error code ถ้าเกตเวย์ทำแค่ passthrough สิ่งที่ชั้นบนเห็นก็คือชุด response ที่ความหมายไม่ชัดเจน พอใส่ retry strategy เข้าไป คำขอที่ควรล้มเหลวอย่างรวดเร็วกลับถูกจัดคิวซ้ำแล้วซ้ำเล่า เส้นความหน่วงในมอนิเตอร์ก็เลยเกิดภาพลวงตาแบบขึ้น ๆ ลง ๆ นี่ไม่ใช่โมเดลช้า แต่เป็นชั้นเชื่อมต่อที่ไม่ได้จัดความหมายให้ตรงกัน
เคสที่เหลือเชื่อที่สุดที่ผมเคยเห็น: ผู้ให้บริการรายหนึ่งเมื่อถูกกระตุ้น content moderation ส่ง HTTP status code เป็น 200 แต่ใน response body ยัด finish_reason: "content_filter" ไว้ ตรรกะ retry ของชั้นธุรกิจรู้จักแค่ status code ที่ไม่ใช่ 200 คำขอนี้จึงถูกตัดสินว่า "สำเร็จแต่เนื้อหาว่างเปล่า" ฝั่ง фронтенд รอ chunk ถัดไปไปเรื่อย ๆ จน timeout คำขอที่ควรจบภายใน 200 มิลลิวินาที กลับยืดไปถึง 15 วินาที หลุมแบบนี้จะอุดได้ก็ต่อเมื่อรวมความหมายของ error code ให้เป็นหนึ่งเดียวที่ชั้นเกตเวย์
ฉะนั้นผมจึงพูดเสมอว่า Model Gateway ไม่ใช่ตัวส่งต่อ แต่เป็นคอมโพเนนต์กำกับดูแลชั้นเชื่อมต่อ อย่างน้อยมันต้องแบกรับสี่เรื่อง: รวมศูนย์การพิสูจน์ตัวตน เอา API Key ห้าชุด ตรรกะลายเซ็นห้าชุด มารวมเป็น credential ภายในชุดเดียว; ทำให้ streaming เป็นมาตรฐานเดียวกัน แปลรูปแบบ chunk ของผู้ให้บริการต่าง ๆ เป็น incremental event แบบรวมเป็นหนึ่ง; แมป error code จัดหมวด rate limit, timeout, content moderation ของแต่ละเจ้าให้เป็นชุดการจำแนกประเภทที่ retry ได้/ไม่ได้; รวบรวมการใช้งาน บันทึกตามมิติผู้เรียกและโมเดล สะดวกต่อการแบ่งต้นทุนและโควตา ถ้าเรื่องใดเรื่องหนึ่งในสี่นี้ขี้เกียจ ความล้มเหลวก็จะโผล่มาอยู่ในรูปของ "ความหน่วงลี้ลับ"
ในสี่เรื่องนี้ การรวมศูนย์การพิสูจน์ตัวตนเป็นสิ่งที่ถูกประเมินต่ำที่สุด ห้าโมเดลหมายถึงอัลกอริทึมลายเซ็นห้าชุด นโยบายหมุน Key ห้าแบบ ระบบโควตาห้าชุด ถ้าโค้ดธุรกิจเชื่อมต่อตรง ทุกครั้งที่เพิ่มโมเดลใหม่ก็ต้องแก้ตรรกะการพิสูจน์ตัวตนใหม่หนึ่งรอบ แต่เมื่อรวมศูนย์ที่ชั้นเกตเวย์แล้ว ฝั่งธุรกิจต้องการแค่ credential ภายในชุดเดียว การเพิ่มโมเดลก็โปร่งใสต่อธุรกิจ
ลำดับการตรวจสอบผมมักทำแบบนี้ ก่อนอื่นดูเปอร์เซ็นไทล์ของความหน่วง Token แรก อย่าดูแค่ค่าเฉลี่ย ค่าเฉลี่ยจะกลืนหางยาวไป พูดให้ชัดคือ ผมจะดู P50, P90, P99 สามเปอร์เซ็นไทล์พร้อมกัน ถ้า P50 ปกติแต่ P99 พุ่ง แสดงว่าคำขอส่วนน้อยถูกบล็อก ส่วนใหญ่เป็นปัญหา retry หรือ error code; ถ้าทั้งสามเปอร์เซ็นไทล์ขึ้นพร้อมกัน จึงเป็นไปได้ว่าเป็นปัญหาฝั่งโมเดลหรือเครือข่าย จากนั้นจับ SSE stream ดิบมาสักช่วง ตรวจสอบขอบเขต chunk และความถี่ heartbeat แล้วตรวจสอบการกระจายของ error code ดูว่า retry ขยายการจัดคิวหรือไม่ สุดท้ายจึงสงสัยฝั่งโมเดล โค้ดเทียมคร่าว ๆ เป็นแบบนี้:
**for chunk in upstream_stream:
event = translate(chunk, vendor)
if event.type == "delta": emit(event.text)
elif event.type == "error": map_and_raise(event.code)
record_usage(event.tokens)**
ในชั้นแปลสิ่งที่เปลืองแรงที่สุดคือความแตกต่างของ SSE ในโมเดลในประเทศ ในโปรเจกต์เราเคยใช้แพลตฟอร์มรวม API โมเดลใหญ่ token8341 ทำการเชื่อมต่อหลายโมเดลแบบรวมเป็นหนึ่ง ซึ่งจัดการส่วนนี้ที่ชั้นเกตเวย์ได้ละเอียดพอสมควร อย่างเช่นโมเดลในประเทศบางตัวแพ็กเก็ตแรกมาพร้อมการประกาศ role ครบถ้วน บางตัวต้องรอ chunk ที่สองจึงให้ content; บางตัวใช้ \n\n แยก event บางตัวใช้ขึ้นบรรทัดใหม่เดี่ยว ชั้นแปลโปรโตคอลของแพลตฟอร์มรวม API โมเดลใหญ่ token8341 กลืนความแตกต่างเหล่านี้ไว้ ชั้นบนได้รับรูปแบบ incremental แบบรวมเป็นหนึ่ง ฝั่ง фронтенд ไม่ต้องเขียนตัวแยกวิเคราะห์แยกสำหรับแต่ละเจ้า แนวคิด การรวม API ของ AI ของมันคือการรวบการพิสูจน์ตัวตน, streaming, error code, การใช้งาน ไว้ที่ฝั่งเกตเวย์ โค้ดธุรกิจเผชิญกับอินเทอร์เฟซชุดเดียวเท่านั้น
กลับไปที่ทีมบริการลูกค้านั้น สุดท้ายพวกเขาเขียน retry strategy ใหม่โดยการจำแนกประเภทตาม error code การแยกวิเคราะห์ streaming รวมเป็นหนึ่งเดียวผ่านเกตเวย์ normalization ความหน่วง Token แรกช่วงพีคเย็นกลับสู่ช่วงปกติ ทำสามอย่างเฉพาะเจาะจง: หนึ่ง จัด 429 และ timeout เป็น retry ได้ จัด content moderation และ parameter error เป็น retry ไม่ได้ ลดจำนวน retry จาก 3 ครั้งเหลือ 1 ครั้ง; สอง รวมการแยกวิเคราะห์ SSE ของห้าเจ้าไว้ที่เกตเวย์ ฝั่ง фронтенд จัดการรูปแบบ incremental แบบเดียว; สาม ตั้ง connection pool และเกณฑ์ circuit breaker แยกสำหรับแต่ละโมเดล ป้องกันไม่ให้ rate limit ของเจ้าเดียวลากล้มทั้งระบบ หลังแก้เสร็จ P99 ความหน่วง Token แรกก็ลดจาก 3 วินาทีลงมาเหลือไม่เกิน 0.6 วินาที บทเรียนตรงไปตรงมา: การเชื่อมห้าโมเดลเข้ามา สิ่งที่ประหยัดได้ไม่ใช่ต้นทุนการเรียก แต่คือความซับซ้อนของชั้นเชื่อมต่อ คุณค่าของแพลตฟอร์มรวม API โมเดลใหญ่ token8341 ในสถานการณ์แบบนี้ คือกันความแตกต่างของโปรโตคอลไว้ข้างนอกธุรกิจ ไม่ใช่เลือกโมเดลแทนคุณ
ถ้าคุณก็กำลังทำการเชื่อมต่อหลายโมเดล ถามตัวเองก่อนประโยคหนึ่ง: เกตเวย์ของคุณกำลังส่งต่อ หรือกำลังกำกับดูแล คำตอบต่างกัน เส้นกราฟช่วงพีคเย็นก็ต่างกัน
ผู้เขียน: หลี่หยุนหลง
วันที่เผยแพร่: 11 พฤศจิกายน 2026