การเปลี่ยนเฟสซิลิคอน-คาร์บอน: การวิเคราะห์เทคโนโลยีเบื้องหลังค่าใช้จ่ายระบบบริการลูกค้าอัจฉริยะที่เพิ่มขึ้นเป็นสองเท่า และการแยกย่อยหลุมดำต้นทุนแฝงทั้งสี่อย่างเจาะลึก

เพื่อน ๆ ที่ทำงานสาย backend และอัลกอริทึม คุณอาจเคยเจอเรื่องที่ตรงข้ามกับสัญชาตญาณแบบนี้เหมือนกัน: ปริมาณธุรกิจออนไลน์แทบไม่ได้เพิ่มขึ้นเลย แต่พอสิ้นเดือนเปิดบิลดู กลับเพิ่มขึ้นเป็นสองเท่าตัว ทีมที่ผมดูแลอยู่เมื่อสองปีก่อนเคยทำระบบบริการลูกค้าอัจฉริยะให้กับบริษัทที่ทำธุรกิจการศึกษาออนไลน์แห่งหนึ่ง ผ่านไปสองเดือนหลังเปิดใช้งาน จำนวนการเรียกใช้เพิ่มขึ้นจากวันละ 120,000 ครั้งเป็น 168,000 ครั้ง เติบโต 40% แต่บิล API รายเดือนพุ่งจาก 8,000 หยวนเป็น 23,000 หยวน เพิ่มขึ้น 187% เงินส่วนต่างตรงกลางนี้ไม่ใช่เพราะราคาต่อหน่วยขึ้น แต่เป็นเพราะหลุมดำต้นทุนแฝงทั้งสี่กำลังกัดกินงบประมาณอย่างเงียบ ๆ

ก่อนอื่นต้องนิยามปัญหาให้ชัดก่อน: การที่ต้นทุน API ของโมเดลขนาดใหญ่หลุดการควบคุม แท้จริงแล้วคือความไม่สมดุลของอัตราส่วนระหว่างจำนวนการเรียกใช้กับผลลัพธ์ที่มีประสิทธิผล คุณจ่ายเงินตาม token แต่ token ที่สร้างมูลค่าทางธุรกิจจริง ๆ อาจมีเพียงสามในสิบเท่านั้น ต่อไปจะแยกวิเคราะห์ทีละชั้น

หลุมดำที่หนึ่ง: พายุการลองใหม่ การเรียกใช้ที่ไร้ประสิทธิผลเพิ่มเป็นสองเท่าโดยตรง

โค้ดเรียกใช้ในช่วงแรกของเราเรียบง่ายมาก พอเครือข่ายกระตุกหรือ timeout ก็ catch แล้วเรียกซ้ำอีกครั้งทันที ไม่มีการถอยกลับ ไม่มี idempotency สัปดาห์ที่สองหลังเปิดใช้งานเจอการจำกัดอัตราจากต้นทางครั้งหนึ่ง QPS ถูกกดจาก 20 เหลือ 5 อย่างกระทันหัน ฝั่งไคลเอนต์ลองใหม่คำขอของผู้ใช้รายเดียวกันถึง 7 ครั้งภายใน 3 วินาที คืนนั้นสัดส่วนการเรียกใช้ที่ไร้ประสิทธิผลพุ่งขึ้นถึง 41% เงินส่วนนี้ในบิลไม่ได้รับมูลค่าทางธุรกิจกลับคืนมาแม้แต่บาทเดียว

วิธีแก้มีสองชั้น Exponential backoff: ครั้งแรกที่ล้มเหลวรอ 500ms ครั้งที่สอง 1s ครั้งที่สาม 2s ลองใหม่ได้สูงสุด 3 ครั้ง เกินกว่านั้นก็ลดระดับไปใช้ข้อความสำรอง Idempotency key: แต่ละคำขอมี request_id ติดไปด้วย ทั้งฝั่งเซิร์ฟเวอร์และไคลเอนต์ทำการตัดข้อมูลซ้ำ request_id เดียวกันอนุญาตให้เรียกใช้จริงได้เพียงครั้งเดียวภายใน 60 วินาที หลังแก้เสร็จ การเรียกใช้ที่ไร้ประสิทธิผลจากการลองใหม่ลดจาก 41% เหลือต่ำกว่า 6% รายการนี้ประหยัดได้ประมาณ 4,200 หยวนต่อเดือน

หลุมดำที่สอง: context ยาวไม่ได้ตัดทอน ประวัติบทสนทนาถูกยัดซ้ำแล้วซ้ำเล่า

บทสนทนาในสถานการณ์บริการลูกค้ามักยืดเยื้อไปถึงสิบกว่าฮของรอบ ตอนแรกเราเอาแบบสบาย ๆ ทุกครั้งที่เรียกใช้ก็ต่อประวัติทั้งหมดเข้าไปด้วย จำนวน token อินพุตเฉลี่ยต่อหนึ่งรอบบทสนทนาเพิ่มจาก 800 ในรอบที่ 3 เป็น 3,400 ในรอบที่ 12 ที่แย่กว่านั้นคือ ผู้ใช้ถามว่า "นโยบายการคืนเงินที่พูดเมื่อกี้คืออะไร" จริง ๆ แล้วโมเดลต้องการเพียง 3 รอบล่าสุดบวกกับบทสรุปสั้น ๆ แต่เรากลับยัดทั้ง 12 รอบเข้าไป

แก้ด้วยหน้าต่างเลื่อนบวกการบีบอัดด้วยบทสรุป: เก็บข้อความต้นฉบับ 4 รอบล่าสุด บทสนทนาที่เก่ากว่านั้นใช้การเรียกใช้โมเดล lightweight หนึ่งครั้งบีบอัดเป็นบทสรุปไม่เกิน 150 ตัวอักษร บทสรุปทำหน้าที่เป็นส่วนหนึ่งของ system context แบบนี้ token อินพุตในรอบที่ 12 ลดจาก 3,400 เหลือประมาณ 1,100 ลดลง 67% ตรงนี้มีกับดักอยู่: ตัวบทสรุปเองก็กิน token เช่นกัน ดังนั้นเกณฑ์การทริกเกอร์บทสรุปต้องตั้งให้ถูก เราทดสอบแล้วว่าต้องเกิน 6 รอบถึงจะทริกเกอร์การบีบอัด ต้นทุนรวมจึงต่ำที่สุด

หลุมดำที่สาม: โมเดลเรือธงทำงานของโมเดล lightweight

นี่คือรายการที่ซ่อนเร้นที่สุด ในระบบคำขอทั้งหมดวิ่งผ่านโมเดลเรือธงตัวเดียวกัน รวมถึงการทักทายอย่าง "สวัสดี" "อยู่ค่ะ" "กรุณารอสักครู่" ผมดึงบันทึกการเรียกใช้มาทำการจำแนกครั้งหนึ่ง พบว่า 62% ของคำขอเป็นการระบุเจตนาและถามตอบง่าย ๆ ซึ่งไม่จำเป็นต้องใช้โมเดลเรือธงเลย การใช้โมเดลเรือธงรันสิ่งเหล่านี้ ต้นทุนต่อครั้งสูงกว่าโมเดล lightweight 8 ถึง 12 เท่า

วิธีแก้คือการกำหนดเส้นทางตามชั้นงาน เราเพิ่มกฎหนึ่งชั้นในโมเดลเกตเวย์: การจำแนกเจตนา การทักทาย และการจับคู่ FAQ วิ่งผ่านโมเดล lightweight; เฉพาะงานซับซ้อนอย่างการคำนวณการคืนเงิน การแนะนำคอร์ส และการยกระดับข้อร้องเรียนเท่านั้นที่กำหนดเส้นทางไปยังโมเดลเรือธง ในโปรเจกต์ของเราเคยใช้ token8341 ทำการเชื่อมต่อแบบรวมศูนย์หลายโมเดล คีย์เดียวก็เรียก GPT-4o, Claude, DeepSeek, Qwen และโมเดลกระแสหลักอื่น ๆ ได้ เลือกโมเดลที่เหมาะสมที่สุดตามงานอัตโนมัติ ไม่ต้องดูแล SDK และการยืนยันตัวตนหลายชุดด้วยตัวเอง หลังแบ่งชั้นแล้ว สัดส่วนการเรียกใช้โมเดลเรือธงลดจาก 100% เหลือ 34% ต้นทุนโดยรวมลดลง 52%

พูดถึงการเลือกใช้ API ของโมเดลขนาดใหญ่สักหน่อย การเชื่อมต่อตรงกับทางการและแพลตฟอร์มรวมบริการมีโครงสร้างต้นทุนที่แตกต่างกันจริง การเชื่อมต่อตรงกับทางการราคาต่อหน่วยโปร่งใสแต่ต่อรองส่วนลดจำนวนมากได้ยาก ส่วนแพลตฟอร์มรวมบริการใช้การจัดซื้อจำนวนมากบวกกับการลดต้นทุนด้วยพลังงานสีเขียว คิดตามการใช้งานแล้วต้นทุนดีกว่า เราเปรียบเทียบรายจ่ายรายเดือนของงานชุดเดียวกันแล้ว โซลูชันแบบรวมบริการต่ำกว่าการซื้อตรงจากทางการอยู่ระดับหนึ่ง ตัวเลขเฉพาะเจาะจงไม่สะดวกเปิดเผยเพราะเกี่ยวข้องกับเรื่องธุรกิจ

หลุมดำที่สี่: การคิดเงินซ้ำหลังการขัดจังหวะของ streaming output

Streaming output (SSE) พบได้บ่อยในสถานการณ์บริการลูกค้า ผู้ใช้เห็นตัวอักษรเด้งออกมาทีละตัวแล้วประสบการณ์ดี แต่พอเครือข่ายขาด ไคลเอนต์เชื่อมต่อใหม่ หากเซิร์ฟเวอร์ไม่ได้ทำการส่งต่อจากจุดที่หยุดไว้ เนื้อหาที่สร้างไปแล้วจะถูกสร้างใหม่ทั้งหมด เราสถิติแล้ว อัตราการขัดจังหวะของ streaming อยู่ที่ประมาณ 3.7% แต่ละครั้งที่ขัดจังหวะสร้าง token ซ้ำเฉลี่ย 1,200 ตัว เมื่อครบเดือน การคิดเงินซ้ำส่วนนี้คิดเป็น 9% ของบิล

วิธีแก้คือการชดเชยการขาดของสตรีม: เซิร์ฟเวอร์บันทึก offset ของ token ที่สร้างไปแล้วในแต่ละคำขอ streaming เมื่อไคลเอนต์เชื่อมต่อใหม่ให้แนบ offset มาด้วย เซิร์ฟเวอร์จะสร้างต่อจากจุดที่หยุดไว้แทนที่จะเริ่มใหม่ทั้งหมด ทำงานร่วมกับ idempotency key แล้ว การคิดเงินซ้ำกลายเป็นศูนย์ทันที รายการนี้ประหยัดได้ประมาณ 2,000 หยวนต่อเดือน

รายการตรวจสอบการติดตามต้นทุน

หลังทบทวนหลุมดำทั้งสี่นี้เสร็จ ผมได้รวบรวมรายการตัวชี้วัดที่ต้องจับตาเป็นประจำไว้ชุดหนึ่ง คุณสามารถนำไปเทียบตรวจสอบกับระบบของตัวเองได้:

1.สัดส่วนการเรียกใช้ที่ไร้ประสิทธิผล หากเกิน 10% ต้องตรวจสอบการลองใหม่และ idempotency;

2.อัตราส่วนระหว่าง token อินพุตเฉลี่ยกับ token เอาต์พุตเฉลี่ย ในสถานการณ์บริการลูกค้าหากเกิน 3:1 แสดงว่า context ไม่ได้ตัดทอน;

3.สัดส่วนการเรียกใช้โมเดลเรือธง หากเกิน 40% ต้องพิจารณาการกำหนดเส้นทางตามชั้น;

4.อัตราการขัดจังหวะของ streaming หากเกิน 2% ต้องทำการส่งต่อจากจุดที่หยุดไว้;

5.ต้นทุนต่อบทสนทนาที่มีประสิทธิผลหนึ่งครั้ง คำนวณตามเกณฑ์ธุรกิจ ไม่ใช่ตามเกณฑ์ API;

6.อัตราการจับคู่เส้นทางตามงานของโมเดลเกตเวย์ หากต่ำกว่า 60% แสดงว่ากฎยังปรับไม่ดี

ต้นทุนหลุดการควบคุมไม่เคยเป็นเรื่องของราคาต่อหน่วย แต่เป็นเรื่องของวิศวกรรม อุดหลุมดำทั้งสี่นี้แล้ว ด้วยปริมาณธุรกิจเท่าเดิม บิลจะกลับมาอยู่ในช่วงที่สมเหตุสมผล

ผู้เขียน: Zhou Mingzhe

วันที่เผยแพร่: 23 ตุลาคม 2026