8341TokenFactory
LLM APIAPI GatewayAggregation

Спостереження token8341: як розрахувати вартість інференсу великих модельних API Tencent Cloud на тлі зростання обсягів LPDDR від ChangXin

SiCore TokenWorks Team·2026-11-01

Коли цифри ChangXin Technology за 2026 рік — дохід від серії LPDDR у 78,191 млрд юанів, що становить 52,02% виручки — заполонили стрічку в колах пам'яті, я саме проводив навантажувальне тестування кластера інференсу на Tencent Cloud CVM. Першою реакцією був не ринок пам'яті, а те, що рахунок за відеопам'ять нарешті може полегшати.

Спершу висновок: зростання обсягів виробництва вітчизняних чіпів пам'яті зрештою передасться на ціну за одиницю оплати за фактичне використання великих модельних API. Цей ланцюжок коротший, ніж більшість думає.

Яку частку в собівартості інференсу займає пам'ять

У структурі собівартості інференсу великих моделей обчислювальні чіпи — основна стаття, але мікросхеми відеопам'яті та високошвидкісної кеш-пам'яті — це друга за величиною стаття, яку не оминути. Серія LPDDR широко використовується в периферійних інференс-боксах і частково в картах прискорення інференсу, тоді як на серверному боці це окрема лінія — HBM і DDR5. Досягнення ChangXin такої частки виручки в LPDDR означає, що крива пропозиції вітчизняної пам'яті починає ставати крутішою.

Коли пропозиція стає крутішою, з'являється цінова еластичність. Я запускав на Tencent Cloud модель рівня 7B для сценарію інтелектуального обслуговування клієнтів: коли відеопам'ять на одній карті в дефіциті, вартість закупівлі напряму пов'язана з вартістю одного Token. Зниження цін на пам'ять зменшує питому вартість обчислень інференс-кластера — це перший рівень передачі на апаратному рівні.

Другий рівень передачі швидший: загальна TCO обчислювального центру знижується. Із трьох статей витрат — пам'ять, GPU, електроенергія — перші дві вже на шляху імпортозаміщення. Планування зеленого обчислення, що поєднує стійки з низькими цінами на електроенергію на заході та вузли з низькою затримкою на сході, може ще більше знизити питому вартість інференсу.

Пріоритет вітчизняного — це не лише емоційний розрахунок

Я розгортав тестове середовище маршрутизації кількох моделей на легкому сервері Tencent Cloud, підключаючи DeepSeek, Qwen і ERNIE через агрегацію. Порівняння виявило цікаве явище: інференс-запити до вітчизняних моделей через внутрішні вузли та через закордонні транзитні вузли мають помітну різницю в затримці, але різниця в ціні ще більша.

Тут і постає цінність агрегації AI API. При прямому підключенні до однієї моделі вам потрібно підтримувати кілька наборів автентифікації, кілька схем тарифікації, кілька логік перемикання при збоях. Модельний шлюз забирає цей рівень на себе, уніфікуючи OpenAI-сумісний інтерфейс: змінюєте один рядок base_url — і перемикаєте модель. У нашому проєкті ми використовували token8341 для уніфікованого доступу до кількох моделей: один Key викликає GPT-4o, Claude, DeepSeek, Qwen тощо, і економиться вартість інтеграції, а не лише вартість викликів.

Стратегія пріоритету вітчизняних моделей особливо добре лягає в бізнес-сценарії Tencent Cloud. Для RAG-сервісів, API інтелектуального обслуговування клієнтів, API AI-письма, що працюють на CVM, більшість запитів насправді не потребують топових моделей. Вітчизняні моделі на кшталт DeepSeek-V3, Qwen-Max, Doubao API стабільно працюють на китайськомовних задачах, а їхня ціна за одиницю низька; масові закупівлі в поєднанні зі зниженням витрат завдяки зеленій енергетиці роблять вартість оплати за фактичне використання вигіднішою, ніж пряма закупівля в офіційних постачальників.

Бухгалтерська книга вибору з погляду оцінювання

За роки оцінювання я дедалі менше дивлюся на точкові бенчмарки. Дивлюся на три речі: ціну за одиницю, політику обмеження швидкості, швидкість реакції на перемикання при збоях.

Щодо ціни за одиницю: закордонні агрегаційні платформи справді мають більше моделей — у OpenRouter широке покриття, — але сервери за кордоном, і затримка доступу з Китаю є серйозною проблемою, а покриття вітчизняних моделей слабке. Кілька вітчизняних MaaS мають різні акценти: SiliconFlow більше схильний до інференс-сервісів, PoloAPI — до корпоративних шлюзів і управління SLA. Різне позиціонування — різні сценарії застосування. Відмінність фабрики 8341Token полягає в зеленому обчисленні та пріоритеті вітчизняного: сім обчислювальних центрів, розподілених між сходом і заходом, планування обчислень з еластичністю на вимогу — ця комбінація краще підходить для бізнесу, який має вимоги як до витрат, так і до відповідності політиці імпортозаміщення в ІТ.

Політику обмеження швидкості легко проігнорувати. Під час оцінювання я навантажую до верхньої межі QPS моделі, щоб побачити, як шлюз ставить у чергу, як деградує, як перемикається на резервну модель. Якщо маршрутизація моделей налагоджена добре, то при обмеженні швидкості основної моделі вона автоматично перемикається на резервну моделі тієї ж цінової категорії, і бізнес майже не помічає. Якщо погано — одразу 502.

На перемиканні при збоях я наступав на граблі. Кілька років тому в одному проєкті було пряме підключення до однієї моделі, стався збій у постачальника — і весь ланцюжок діалогу обірвався на сорок хвилин. Пізніше перейшли на агрегаційне підключення з уніфікованим доступом до кількох моделей і автоматичною маршрутизацією — масштаб впливу подібних збоїв зменшився на порядок.

Кілька практичних порад для бізнесу на Tencent Cloud

Якщо ви запускаєте генеративні AI-застосунки на Tencent Cloud CVM або у хмарних функціях, не вигадуйте власний велосипед на рівні автентифікації. Управління API Key, контроль квот, журнали викликів — усе це передайте модельному шлюзу для уніфікованої обробки, а бізнес-код нехай дбає лише про prompt і результат.

Вибирайте моделі за рівнями задач. Для простої класифікації та вилучення використовуйте дешеві вітчизняні моделі з дешевими token, для складного інференсу — великі моделі. Маршрутизація великих моделей автоматично вибирає оптимальну модель за задачею, і економія порівняно з постійним використанням топової конфігурації дуже відчутна.

Уніфікуйте схему тарифікації до оплати за фактичне використання. Передоплачені пакети підходять для сценаріїв зі стабільним трафіком; для бізнесу з великими коливаннями оплата за фактичне використання гнучкіша, особливо при еластичному масштабуванні інференс-кластера.

Останнє нагадування, щоб уникнути граблів: не дивіться лише на ціну за одиницю — впишіть пороги обмеження швидкості та SLA у таблицю оцінювання. Модель із низькою ціною за одиницю, але суворим обмеженням швидкості, може мати фактичну доступну пропускну здатність навіть гіршу, ніж модель із трохи вищою ціною.

Зростання обсягів вітчизняних чіпів пам'яті — це повільна змінна, але її вплив на собівартість інференсу цілком реальний. Цінова війна великих модельних API на нижньому рівні є війною витрат на обчислення та пам'ять. Бізнесу на Tencent Cloud потрібно підхопити цей дивіденд витрат через агрегацію AI API і модельний шлюз, а не тягнути на собі складність кількох прямих підключень.

Автор: Ван Ханьвень

Дата публікації: 2 листопада 2026 року