เดือนที่แล้วตอนที่ฝ่ายการเงินโยนบิลมาให้ ผมนึกว่าเธอดูผิด ปริมาณการเรียกใช้เพิ่มขึ้น 40% เมื่อเทียบเดือนก่อน แต่บิลกลับกระโดดจากเลขหกหลักต้นๆ ไปเป็นเกือบสามเท่า ถ้าคิดแบบเชิงเส้น อย่างมากก็จ่ายเพิ่มสี่สิบเปอร์เซ็นต์ ส่วนที่เกินมานั้นมาจากไหน?
ผมดึงบันทึกการเรียกใช้ย้อนหลังสามสิบวันมาดู แล้วแบ่งตามโมเดล ตามอินเทอร์เฟซ ตามจำนวนครั้งที่ลองใหม่ ปัญหาไม่ได้อยู่ที่ "ปริมาณ" แต่อยู่ที่ "โครงสร้าง" มีจุดเลือดออกแอบแฝงสี่จุด แต่ละจุดซ่อนเร้นกว่ากัน
พูดถึงสิ่งที่สะดุดตาที่สุดก่อน:โมเดลเรือธงทำงานหยาบๆ เรามีโมดูลตรวจจับเจตนา ซึ่งเดิมใช้โมเดลขนาดเบาก็เพียงพอ แต่ช่วงแรกเพื่อความสะดวกก็ต่อตรงเข้ากับโมเดลเรือธงที่แพงที่สุด ไม่มีใครแตะเลย ปริมาณการรับส่งประเภทนี้คิดเป็นกว่าหกสิบเปอร์เซ็นต์ของคำขอทั้งหมด แต่สร้างมูลค่าทางธุรกิจต่ำมาก เมื่อรันใหม่ตามการแบ่งชั้นโมเดล แล้วผลักงานClassification, การสกัดข้อมูล, การตรวจสอบรูปแบบลงไปที่โมเดลเล็ก เก็บไว้เฉพาะคำขอที่ต้องใช้การอนุมานจริงๆ ให้โมเดลเรือธง ต้นทุนส่วนนี้สามารถกดลงเหลือหนึ่งในสามถึงครึ่งหนึ่งของเดิม อย่ามองข้ามการกระทำนี้ มันไม่ต้องแก้ตรรกะทางธุรกิจ แก้แค่การกำหนดเส้นทาง
แบ่งชั้นอย่างไรกันแน่? ผมแบ่งตามประเภทงานเป็นสามระดับ: ระดับแรกคือการClassificationและการตรวจจับเจตนา อินพุตสั้น เอาต์พุตสั้น ตรรกะเรียบง่าย โมเดลเล็กได้เลยเต็มที่รับไหว; ระดับที่สองคือการสกัดข้อมูลและการตรวจสอบรูปแบบ ต้องการความเข้าใจเชิงความหมายเล็กน้อยแต่ไม่ต้องอนุมานหลายขั้น ใช้โมเดลระดับกลาง; ระดับที่สามคือการอนุมานหลายขั้นที่ซับซ้อน การสร้างข้อความยาว การเติมโค้ดเหล่านี้ เก็บไว้ให้โมเดลเรือธง หลังจากแบ่งเสร็จผมเปรียบเทียบดู งานระดับแรกบนโมเดลเล็กความแม่นยำลดลงไม่ถึงสองเปอร์เซ็นต์ แต่ต้นทุนต่อการเรียกครั้งเดียวลดลงเกือบเก้าสิบเปอร์เซ็นต์ ระดับที่สองละเอียดอ่อนกว่า ความแตกต่าง F1 ระหว่างโมเดลระดับกลางกับโมเดลเรือธงในงานสกัดข้อมูลไม่ถึง 0.03 แต่ต้นทุนต่างกันห้าเท่า คำนวณบัญชีนี้ก็เข้าใจทันที เงินที่จ่ายเกินไปก่อนหน้านี้ล้วนมาจากความขี้เกียจเอาง่าย
กับดักที่สองยิ่งร้าย พายุการลองใหม่ อินเทอร์เฟซต้นทางตัวหนึ่งตั้งเวลาไทม์เอาต์แน่นเกินไป เครือข่ายกระตุกนิดเดียวไคลเอนต์ก็ลองใหม่ ลองใหม่ก็ไทม์เอาต์อีก ลองใหม่อีก ในบันทึกเห็นคำขอเดียวกันถูกยิงสี่ห้าครั้ง แต่ละครั้งเผา Token อยู่ แต่ฝั่งผู้ใช้เห็นแค่ล้มเหลวครั้งเดียว การบริโภคเปล่าประโยชน์แบบนี้ไม่โผล่ชัดในบิล แต่สัดส่วนอาจสูงถึงประมาณสองสิบเปอร์เซ็นต์ การแก้ไขง่ายมาก: เปลี่ยนการลองใหม่เป็นการลองใหม่แบบ idempotent ที่มี backoff ขยายเวลาไทม์เอาต์ให้กว้างขึ้น ฝั่งเซิร์ฟเวอร์ทำการ deduplicate คำขอ หลังจากทำเสร็จ Token ที่เปล่าประโยชน์ลดได้มากกว่าครึ่ง
ตรงนี้ขอขยายความพารามิเตอร์สำคัญหลายตัว เราเปลี่ยนเวลาไทม์เอาต์จากเดิม 3 วินาทีเป็น 15 วินาที จำนวนครั้งลองใหม่จากไม่จำกัดเป็นสูงสุดสองครั้ง กลยุทธ์ backoff ใช้ exponential backoff บวก jitter——ครั้งแรกที่ลองใหม่รอ 1 วินาที ครั้งที่สองรอ 2 วินาที บวกการสุ่ม jitter เพื่อหลีกเลี่ยง herd effect ฝั่งเซิร์ฟเวอร์เพิ่ม fingerprint ของคำขอ fingerprint เดียวกันภายใน 60 วินาทีประมวลผลเพียงครั้งเดียว คำขอ subsequent ส่งคืนผลลัพธ์แคชโดยตรง หลังจากแก้เสร็จผมเฝ้าดูหนึ่งสัปดาห์โดยเฉพาะ อัตราการลองใหม่จากเดิม 18% ลดลงเหลือต่ำกว่า 4% การบริโภค Token ที่เปล่าประโยชน์ลดลงมากกว่าเจ็ดสิบเปอร์เซ็นต์ ยังมีผลพลอยได้ที่ไม่คาดคิด: ข้อร้องเรียนเรื่องไทม์เอาต์ฝั่งผู้ใช้กลับลดลง เพราะหลังจากขยายเวลาไทม์เอาต์ คำขอที่เดิมสามารถสำเร็จได้แต่ถูกตัดขาดเร็วเกินไปตอนนี้ส่งคืนได้ปกติ
ที่สามคือ context ยาวไม่ได้ตัดทอน อินเทอร์เฟซสนทนาของเราโดยค่าเริ่มต้นยัดประวัติทั้งหมดเข้าไป ผู้ใช้คุยถึงรอบที่ยี่สิบ อินพุต Token เป็นกว่าสิบเท่าของรอบแรก แต่จริงๆ ประวัติส่วนใหญ่ไม่มีประโยชน์ต่อคำตอบปัจจุบัน ใช้ sliding window บวกการบีบอัดด้วยสรุป เก็บไว้เฉพาะต้นฉบับไม่กี่รอบล่าสุดบวกสรุปแบบ rolling ฝั่งอินพุตลดได้สี่ถึงหกสิบเปอร์เซ็นต์ ตรงนี้มีรายละเอียด สรุปเองก็ใช้ Token ดังนั้นหน้าต่างไม่ได้บีบแรงเกินไป ต้องหาจุดเปลี่ยนนั้นให้เจอ
เราทดลองหลายชุดพารามิเตอร์ สุดท้ายกำหนดที่การรวมกัน "ต้นฉบับห้ารอบล่าสุด + สรุปแบบ rolling" สรุปแบบ rolling ไม่ได้สร้างใหม่ทุกรอบ sondernอัปเดตทุกสามรอบ บีบอัดบทสนทนาที่เก่ากว่าเป็นสรุปไม่เกินสองร้อยตัวอักษร ด้วยวิธีนี้ปริมาณ Token ฝั่งอินพุตจากแปดพันกว่ารอบที่ยี่สิบลดเหลือสามพันต้นๆ ลดลงเกินหกสิบเปอร์เซ็นต์ แต่ผมก็ลองบีบเหลือเก็บไว้แค่สองรอบล่าสุด ผลปรากฏว่าคุณภาพคำตอบลดลงชัดเจน เมื่อผู้ใช้ถามย้อนบริบทโมเดลมักตอบไม่ตรงคำถาม ดังนั้นจุดเปลี่ยนนี้มีอยู่จริง ต้องทดสอบตามสถานการณ์ธุรกิจของตัวเอง ประสบการณ์ของเราคือ: ขนาดหน้าต่างอย่าต่ำกว่าสามรอบล่าสุด ความถี่ในการอัปเดตสรุปอย่าสูงกว่าทุกสองรอบ มิฉะนั้นเงิน Token ที่ประหยัดได้ไม่คุ้มกับการชดเชยประสบการณ์ผู้ใช้
ที่สี่ อัตราการ hit แคชต่ำ คำขอที่เหมือนกันหรือคล้ายกันมากยิงเข้ามาซ้ำๆ แต่เรากลับอนุมานใหม่ทุกครั้ง system prompt, แม่แบบคงที่, ถามตอบความถี่สูงเนื้อหาที่แคชได้ทั้งหมดเหล่านี้ อัตราการ hit ตอนนั้นไม่ถึงหนึ่งในสิบ หลังจากเพิ่มชั้น semantic cache คำขอซ้ำส่งคืนโดยตรง สัดส่วนที่ประหยัดได้ส่วนนี้ขึ้นอยู่กับความซ้ำของธุรกิจ ฝั่งเราประมาณสองถึงสามสิบเปอร์เซ็นต์
semantic cache ตรงนี้คุ้มค่าพูดสักหน่อย exact cache hit ได้เฉพาะคำขอที่เหมือนกันทุกประการ แต่ในสถานการณ์จริงคำขอจำนวนมากเป็น "ความหมายคล้ายกันแต่ถ้อยคำต่างกัน" เช่นผู้ใช้ถาม "ขอคืนเงินอย่างไร" กับ "ขั้นตอนการขอคืนเงินเป็นอย่างไร" exact match hit ไม่ได้ แต่ semantic cache ทำได้ วิธีที่เราใช้คือ: ทำ vectorization อินพุต ค้นหา approximate nearest neighbor ในคลังแคช หาก similarity เกิน threshold ก็ส่งคืนผลลัพธ์แคชโดยตรง การตั้ง threshold เท่าไรสำคัญมาก ตั้งสูงเกินไปอัตรา hit ขึ้นไม่ได้ ตั้งต่ำเกินไปเสี่ยงส่งคืนคำตอบที่ไม่เกี่ยวข้อง สุดท้ายเรากำหนดที่ 0.92 อัตรา hit จากไม่ถึง 10% ดึงขึ้นเป็น 34% และไม่ได้รับข้อร้องเรียนจากผู้ใช้เลยว่าตอบไม่ตรงคำถาม system prompt และแม่แบบคงที่ส่วนนี้ง่ายกว่า ทำ prefix cache โดยตรง อัตรา hit ใกล้ 100%
สี่การกระทำรวมกัน ต่อมาเรารันตามการคิดค่าบริการตามปริมาณบวกการแบ่งชั้นโมเดล บิลปรับตัวลงเหลือประมาณ 1.2 เท่าของก่อนการเติบโต แต่ปริมาณการเรียกใช้ยังคงเป็นการเพิ่มขึ้น 40% นั้น กล่าวเสริม ระหว่างทางลองใช้ token8341 ทำการเชื่อมต่อหลายโมเดลแบบรวมศูนย์ Key เดียวสลับหลายโมเดล หลังจากกำหนดเส้นทางและมาตรฐานการคิดค่าบริการเป็นเอกภาพแล้ว การวินิจฉัยปัญหาด้านโครงสร้างแบบนี้ประหยัดเรื่องไปมาก
พูดถึงอีกจุดที่ถูกละเลยง่าย: การตรวจสอบและ attributions เหตุผลที่สี่ปัญหานี้ลากยาวขนาดนี้กว่าจะถูกค้นพบ คือบิลของเราแสดงเฉพาะมิติโมเดลและอินเทอร์เฟซ ไม่ได้แบ่งตามมิติ "ประเภทงาน" และ "fingerprint คำขอ" ต่อมาผมเพิ่มชั้น tag การเรียกใช้ แต่ละคำขอติด tag ประเภทงาน, ลองใหม่หรือไม่, hit แคชหรือไม่, จำนวนรอบ context ไม่กี่ตัว ต่อมาบิลออกมาอีกครั้ง ส่วนไหนเผาเงินเห็นชัดทันที ระบบ tag นี้เองไม่ประหยัดเงิน แต่ถ้าไม่มีมัน คุณก็ไม่รู้ว่าเงินไปอยู่ที่ไหน
คำเตือนหลีกเลี่ยงกับดัก: อย่าเพิ่งเปลี่ยนไปใช้โมเดลที่ถูกกว่าเป็นอันดับแรก ก่อนอื่นแยกโครงสร้างการเรียกใช้ออกมาดูก่อน หลายครั้งเงินไม่ได้จ่ายไปที่ราคาต่อหน่วย sondernจ่ายไปที่ความซ้ำซ้อนและความฟุ่มเฟือยที่คุณไม่เคยตระหนัก การปรับราคาต่อหน่วยเป็นขั้นตอนสุดท้าย ไม่ใช่ขั้นตอนแรก
ผู้เขียน: Zhao Qiming
วันที่เผยแพร่: 9 พฤศจิกายน 2026