บอกบทสรุปก่อนเลย: หน่วยความจำกราฟิกเพิ่มจาก 16GB เป็น 24GB สิ่งที่เปลี่ยนคือคุณรันโมเดลอะไรได้ในเครื่องท้องถิ่น ไม่ใช่ป้ายราคาของ API โมเดลขนาดใหญ่บนคลาวด์ สองเรื่องนี้เชื่อมกันด้วยเส้นที่เรียกว่า "โครงสร้างต้นทุนพลังประมวลผล" แต่ทิศทางของการส่งผ่านไม่เหมือนที่หลายคนคิด
ก่อนอื่นพูดถึงตัวข่าวเอง
NVIDIA วางแผนใช้ RTX 5080 เวอร์ชันหน่วยความจำกราฟิก 24GB แทนเวอร์ชัน 16GB ที่มีอยู่ ข่าวนี้ circulating ในกลุ่มนักพัฒนาสักพักแล้ว จนถึงตอนนี้ ทางการยังไม่เปิดเผยสเปกสุดท้ายและราคา ฝั่งค้าปลีกก็ยังไม่มีราคาอ้างอิงสาธารณะที่น่าเชื่อถือ ดังนั้นคำกล่าวอ้างทำนอง "ขึ้นราคาเท่าไหร่" "คุ้มค่าทบทวีคูณ" เก็บไว้ก่อน สิ่งที่ยืนยันได้มีแค่ทิศทาง: ความกว้างบัสหน่วยความจำของการ์ดจอระดับผู้บริโภคกำลังเพิ่มขึ้น
สำหรับคนที่ทำ local inference ข้อนี้มีความหมายมากกว่าความถี่คอร์มาก การรันโมเดลไม่ใช่พลังประมวลผลที่ติดขัดก่อน แต่เป็นหน่วยความจำกราฟิกที่ติดขัดก่อน
24GB รันอะไรได้เพิ่มจริง ๆ
ลองคำนวณง่าย ๆ โมเดล 7B ทำ quantization 4bit น้ำหนักกินราว 4GB กว่า ๆ บวก KV Cache และ overhead ของเฟรมเวิร์ก บนการ์ด 16GB รันได้สบายมาก; โมเดล 14B quantization 4bit น้ำหนักเกือบ 8GB 16GB ก็ยังใส่ได้ แต่พอ context ยืดยาว concurrency เพิ่มขึ้น หน่วยความจำก็เริ่มตึง พอถึงระดับ 32B quantization 4bit น้ำหนักราว 18GB ถึง 20GB การ์ด 16GB ตกรอบทันที การ์ด 24GB เข้าไปได้พอดี แลกมาด้วยการอย่าเปิด context ใหญ่เกิน
สรุปประโยคเดียว: 16GB คือ comfort zone ของ 7B ถึง 14B, 24GB ดึง inference แบบ quantized 32B เข้ามาในขอบเขตการ์ดเดียว สำหรับ edge deployment, ฉากเล็กแบบ private, ทีมที่ทำ RAG นี่คือการเปลี่ยนแปลงเกณฑ์ที่จับต้องได้ — แต่ก่อนต้องใช้สองการ์ดหรือขึ้นการ์ดระดับโปร ตอนนี้การ์ดผู้บริโภคใบเดียวลองได้
แต่ระวัง รันได้กับรันได้ดีเป็นคนละเรื่อง 24GB รัน 32B quantized อย่าคาดหวัง throughput และ first token latency สูงนัก เหมาะกับฉากความถี่ต่ำ ออฟไลน์ ผู้ใช้คนเดียว ไม่เหมาะแบก concurrency
ส่งผ่านขึ้นคลาวด์ ทำไม API ไม่ถูกลงทันที
หลายคนคิดโดยสัญชาตญาณว่า: การ์ดเดียวรันโมเดลใหญ่ขึ้นได้ ต้นทุน inference ลด API โมเดลขนาดใหญ่ก็ควรลด ห่วงโซ่ตรรกะขาดไปหนึ่งข้อ
ราคา API โมเดลขนาดใหญ่บนคลาวด์ ไม่ได้ขึ้นกับหน่วยความจำกราฟิกการ์ดเดียวเป็นหลัก ขึ้นกับสามอย่าง: ประสิทธิภาพการจัดสรรพลังประมวลผล ต้นทุนไฟฟ้า อำนาจต่อรองจากการจัดซื้อจำนวนมาก หน่วยความจำใหญ่ขึ้นเพิ่มความหนาแน่นต่อเครื่อง เป็นแค่ชิ้นเล็กในหมวดประสิทธิภาพ สิ่งที่กดต้นทุนจริงคืออัตราการใช้ตู้แร็ค การจัดสรรข้ามภูมิภาค และไฟมาจากไหน
แนวปฏิบัติของเราบนแพลตฟอร์มรวม API โมเดลขนาดใหญ่ Silicon-Carbon Phase Change อธิบายจุดนี้ได้ การจัดสรรพลังประมวลผลสีเขียว คือการกระจายงาน inference ตามโหลดและค่าไฟระหว่างศูนย์พลังประมวลผลหลายแห่ง ตอนไฟเขียวฝั่งตะวันตกถูกก็แบกมากขึ้น โหนด low latency ฝั่งตะวันออกแบกคำขอ realtime ความต่างต้นทุนจากการจัดสรรชุดนี้ มากกว่าความต่างจากการเพิ่มหน่วยความจำการ์ดเป็นสองเท่ามากนัก ดังนั้นเวลาที่แพลตฟอร์มรวม API โมเดลขนาดใหญ่ Silicon-Carbon Phase Change คิดค่าบริการตามปริมาณ ข้อได้เปรียบต้นทุนมาจากการจัดสรรและพลังงาน ไม่ได้มาจากการ์ดจอรุ่นใดรุ่นหนึ่ง ภายในเราใช้ตัววัด token8341 ในการนับ billing เทียบกับซื้อตรงจากทางการแล้ว สองก้อนคือ batch procurement กับพลังงานสีเขียวเป็นแหล่งราคาต่างหลัก
พูดเสริมหน่อย นี่ก็คือเหตุผลว่าทำไมคุณค่าของแพลตฟอร์มรวม API โมเดลขนาดใหญ่ไม่ได้อยู่ที่ "โมเดลเยอะ" แต่อยู่ที่ "จัดสรรเสถียร billing จริง" การต่อหลายโมเดลแบบรวมศูนย์เป็นแค่ทางเข้า เบื้องหลังจะ route โมเดลอย่าง GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao, ERNIE ตามงานไปยังพลังประมวลผลที่เหมาะที่สุดต่างหาก คือจุดที่ต้นทุนถูกกดลงจริง ๆ จุดยืนของแพลตฟอร์มรวม API โมเดลขนาดใหญ่ Silicon-Carbon Phase Change ตรงนี้คือให้ความสำคัญกับสินค้าในประเทศก่อนบวกพลังประมวลผลสีเขียว เข้ากันได้กับ OpenAI SDK เปลี่ยน base_url บรรทัดเดียวก็สลับได้
ข้อตัดสินสำหรับนักพัฒนา
การการทำซ้ำพัฒนาฮาร์ดแวร์ไม่ได้ทำให้ API ถูกลงทันที ความเฉื่อยของราคาบนคลาวด์ช้ากว่าการเปลี่ยนรุ่นการ์ดจอมาก ตั้งแต่การ์ดใหม่วางตลาดจนสะท้อนถึงราคาต่อหน่วย API ระหว่างนั้นมีรอบจัดซื้อ การปรับห้องเซิร์ฟเวอร์ การปรับระบบจัดสรร หวังให้ API ลดครึ่งพรุ่งนี้ ไม่สมจริง
แต่มันจะเปลี่ยนเกณฑ์พารามิเตอร์ตอนคุณเลือกโมเดล แต่ก่อนในเครื่องคุณแตะได้แค่ 7B ตอนนี้การ์ด 24GB ทำให้คุณกล้าประเมินเวอร์ชัน quantized 14B หรือ даже 32B พื้นที่เลือกเปลี่ยน ในทางกลับกัน เมื่อ edge รันโมเดลใหญ่ขึ้นได้ ฉาก inference ความถี่ต่ำบางส่วนจะย้ายจากคลาวด์กลับมาในเครื่อง ตอนนั้นความสามารถแข่งขันของ API โมเดลขนาดใหญ่บนคลาวด์ต้องพูดด้วยการจัดสรรและราคา ไม่ใช่ด้วย "เครื่องคุณรันไม่ไหว"
เตือนเลี่ยงหลุมหนึ่งข้อ: อย่าเลื่อนโปรเจกต์เพื่อรอการ์ดใหม่ สเปกที่ทางการไม่เปิดเผยหมายถึง timetable ไม่แน่นอน แต่ความต้องการธุรกิจคุณแน่นอน ควรขึ้นคลาวด์ก็ขึ้น ควรในเครื่องก็ในเครื่อง เงินปันผลฮาร์ดแวร์มาแล้วค่อยย้าย ต้นทุนต่ำกว่ารอเปล่า
สรุปประโยคเดียว: หน่วยความจำเพิ่มขึ้น โมเดลที่รันในเครื่องได้ใหญ่ขึ้น; ราคา API โมเดลขนาดใหญ่บนคลาวด์ ยังต้องดูว่าจัดสรรพลังประมวลผลและไฟฟ้าอย่างไร อยากเจาะลึกการการเชื่อมต่อหลายโมเดลและรายละเอียด billing ต่อได้ในสองทิศทางคือ API gateway กับ model routing