สิ่งที่ควรพิจารณาในผู้ให้บริการ LLM API: เช็กลิสต์

การเลือกผู้ให้บริการ LLM จากคะแนน benchmark ก็เหมือนกับการเลือกร้านอาหารจากรูปในเมนู ตัวโมเดลสำคัญ แต่ทุกสิ่งรอบๆ โมเดลก็สำคัญเช่นกัน และสิ่งที่อยู่รอบๆ นั่นแหละที่กัดคุณจริงในโปรดักชัน นี่คือเช็กลิสต์ที่ผมใช้ตรวจผู้ให้บริการก่อนจะชี้อะไรจริงจังไปที่มัน

Uptime และ SLA

SLA คือคำสัญญาที่มีตัวเลขกำกับ ดังนั้นอ่านตัวเลขให้ดี เปอร์เซ็นต์ uptime ดูใกล้กันจนหลอกตา จนกว่าคุณจะแปลงมัน:

99.9% ฟังดูยอดเยี่ยมและยังอนุญาตให้ล่มได้เกือบหนึ่งชั่วโมงต่อเดือน ถ้าโปรดักต์ของคุณพึ่งพา endpoint นี้ 99.9% กับ 99.99% คือความต่างระหว่าง "น่ารำคาญ" กับ "ลืมไปเลย" และตรวจสอบอีกสองสิ่งนอกเหนือจากตัวเลขพาดหัว:

•อะไรนับเป็น downtime SLA บางเจ้าครอบคลุมเฉพาะการล่มทั้งหมด ไม่รวม throughput ที่ลดลงหรืออัตราข้อผิดพลาดสูง

•คุณได้อะไรเมื่อพวกเขาพลาด เครดิตมีค่าเพียงน้อยนิดถ้าเครดิตถูกจำกัดเพดานหรือต้องยื่นคำร้องขอ การเยียวยาควรเป็นรูปธรรม

ผู้ให้บริการที่ไม่ยอมเผยแพร่ SLA เลยกำลังบอกอะไรคุณอย่างหนึ่ง และมันไม่ใช่เรื่องดี

Latency และ throughput

Latency มีสองตัวเลขที่คุณสนใจ และมันวัดสิ่งที่ต่างกัน:

•Time to first token (TTFT) ใช้เวลานานแค่ไหนกว่าการตอบจะเริ่มสตรีม นี่คือสิ่งที่ผู้ใช้รู้สึกว่า "ฉับไว"

•Tokens per second (throughput) ส่วนที่เหลือของการตอบมาถึงเร็วแค่ไหน นี่คือสิ่งที่กำหนดว่าคำตอบยาวๆ รู้สึกช้าหรือไม่

ทั้งสองอย่างแปรผันตามโมเดลและตามโหลด ดังนั้นอย่าเชื่อตัวเลขการตลาด วัดมันเอง:

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.token8341.com/v1",
                api_key="sk-your-key")

start = time.perf_counter()
stream = client.chat.completions.create(
    model="deepseek-chat",
    messages=[{"role": "user", "content": "Write 200 words about caching"}],
    stream=True,
)
ttft = None
tokens = 0
for chunk in stream:
    if ttft is None:
        ttft = time.perf_counter() - start
    tokens += 1
elapsed = time.perf_counter() - start
print(f"TTFT: {ttft:.2f}s, total: {elapsed:.2f}s, "
      f"{tokens / elapsed:.1f} tok/s")

รันสิ่งนั้นในเวลาต่างๆ ของวันและภายใต้ concurrency ที่คุณคาดหวัง ผู้ให้บริการที่เร็วตอน 10 นาฬิกาและช้าตอน 19 นาฬิกา มีปัญหาด้าน capacity ที่คุณต้องรู้

ค่าใช้จ่าย

ราคาต่อ token เป็นส่วนที่ง่าย ภาพค่าใช้จ่ายทั้งหมดรวมถึง:

•ราคา input vs. output เนื่องจาก output ปกติมีราคาสูงกว่า input หลายเท่า

•ราคาเมื่อ cache hit สำหรับงานที่มีรูปแบบซ้ำๆ prompt cache สามารถลดค่าใช้จ่ายได้มากกว่าส่วนลดใดๆ

•Rate limit และการ throttling endpoint ราคาถูกที่คุณเข้าถึงได้แค่ประปรายไม่ถือว่าถูก เมื่อคุณบวกการจัดคิวและการ retry เข้าไป

•สกุลเงินและความยุ่งยากในการชำระเงิน ค่าธรรมเนียมบัตรข้ามพรมแดนและค่าคอนเวอร์ชันเป็นเรื่องจริงสำหรับทีมเล็ก

ถามราคาของ workload จริงของคุณ ไม่ใช่ราคาต่อล้าน token แบบลอยๆ

ความครอบคลุมของโมเดลและความเข้ากันได้

•API เป็น OpenAI-compatible หรือไม่ ถ้าใช่ คุณใช้ SDK มาตรฐานได้และสลับภายหลังได้โดยไม่ต้องเขียนใหม่ ถ้าเป็น proprietary คุณกำลังแต่งงานกับผู้ให้บริการ

•คุณเข้าถึงโมเดลหลายตระกูลผ่านคีย์เดียวได้ไหม แคตตาล็อกที่มีหนึ่งหรือสองโมเดลล็อกคุณไว้แน่นพอๆ กับ API proprietary แคตตาล็อกที่มีหลายโมเดลให้ทางเลือกสำรองและเส้นทางสู่ routing ที่ถูกกว่า

•รองรับ embeddings, function calling และ streaming ไหม ไม่ใช่แค่ chat ธรรมดา นี่คือฟีเจอร์ที่ตัดสินว่า endpoint นี้เหมาะกับแอปจริงหรือแค่เดโม

การจัดการข้อมูลและการสนับสนุน

•การเก็บรักษาข้อมูล ผู้ให้บริการเก็บ prompt และ completion ของคุณไว้ฝึกโมเดลไหม ขอเป็นลายลักษณ์อักษร

•ภูมิภาคและที่ตั้งข้อมูล คำขอถูกประมวลผลที่ไหน สำหรับผู้ใช้บางรายนี่เป็นข้อกำหนดทางกฎหมาย ไม่ใช่ความชอบ

•คุณภาพการสนับสนุน ลองเปิด ticket ก่อนตัดสินใจ ความเร็วและประโยชน์ของคำตอบแรกเป็นตัวพยากรณ์ที่ดีว่าการล่มจะเป็นอย่างไร

•ความโปร่งใสของสถานะ หน้าสถานะสาธารณะและประวัติเหตุการณ์บอกคุณว่าผู้ให้บริการซื่อสัตย์เรื่องความน่าเชื่อถือของตัวเองไหม

ฉบับย่อ

ตรวจผู้สมัครทุกเจอด้วยห้าคำถามนี้:

1.SLA คืออะไร และการเยียวยาเมื่อพลาดคืออะไร?

2.TTFT และ throughput ที่วัดได้ภายใต้โหลดของผมคือเท่าไร?

3.workload จริงของผมมีค่าใช้จ่ายเท่าไร รวม cache hit?

4.API เป็น OpenAI-compatible พร้อมหลายโมเดลหลังคีย์เดียวไหม?

5.พวกเขาจะบอกไหมว่าข้อมูลประมวลผลที่ไหนและการสนับสนุนตอบสนองอย่างไร?

ไม่มีข้อใดต้องใช้ความเชี่ยวชาญเชิงลึก ทั้งหมดต้องการให้คุณถามก่อนการล่ม ไม่ใช่หลัง ผู้ให้บริการที่ตอบคำถามเหล่านี้ได้อย่างสบายใจมักเป็นรายที่วิ่ง production traffic จริง ไม่ใช่แค่ลงรายชื่อโมเดล

SiCore TokenWorks เข้ากับรายการนี้ได้ง่ายในเกือบทุกข้อ: SLA 99.9% endpoint ที่เป็น OpenAI-compatible ที่ https://api.token8341.com/v1 คีย์เดียวครอบคลุม GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, Spark และ Pangu พร้อมการคิดค่าบริการต่อ token แบบมิเตอร์กับราคาเมื่อ cache hit