8341TokenFactory
LLM APIAPI GatewayAggregation

Наблюдение token8341: как рассчитать стоимость инференса API больших моделей Tencent Cloud на фоне роста поставок LPDDR от CXMT

SiCore TokenWorks Team·2026-11-01

Когда цифры CXMT Technology за 2026 год — выручка от серии LPDDR 78,191 млрд юаней, или 52,02% от общей выручки — заполонили ленты отраслевых изданий, я как раз проводил нагрузочное тестирование кластера инференса на Tencent Cloud CVM. Первая мысль была не о конъюнктуре рынка памяти, а о том, что счёт за видеопамять наконец-то может снизиться.

Сразу к выводу: рост отечественного производства чипов памяти в конечном итоге отразится на цене за единицу потребления API больших моделей. Эта цепочка короче, чем многие думают.

Какую долю в стоимости инференса занимает память

В структуре затрат на инференс больших моделей чипы вычислений — основная статья, но чипы видеопамяти и высокоскоростной кэш-памяти — неизбежная вторая по величине. Серия LPDDR активно используется в периферийных инференс-боксах и некоторых картах ускорения инференса, а на серверной стороне это отдельная линия HBM и DDR5. Тот факт, что CXMT достигла такой доли выручки в сегменте LPDDR, означает, что кривая предложения отечественной памяти начинает становиться круче.

Когда предложение растёт круче, появляется ценовая эластичность. Я запускал на Tencent Cloud модель уровня 7B для сценария интеллектуального обслуживания клиентов: когда видеопамять на одной карте на пределе, стоимость закупки напрямую связана со стоимостью одного Token. Память дешевеет — удельная стоимость вычислений инференс-кластера снижается, это первая ступень передачи на аппаратном уровне.

Вторая ступень передачи быстрее: снижается совокупная TCO вычислительного центра. Из трёх статей затрат — память, GPU, электроэнергия — первые две находятся на пути импортозамещения. Планирование зелёных вычислений, сочетающее западные стойки с низкими тарифами на электроэнергию и восточные узлы с низкой задержкой, позволяет снизить удельную стоимость инференса ещё на одну ступень.

Отечественный приоритет — не только эмоциональный расчёт

Я разворачивал на лёгком сервере Tencent Cloud тестовую среду мультимодельной маршрутизации, подключая DeepSeek, Qwen и ERNIE через агрегацию. При сравнении обнаружился интересный феномен: запросы к инференсу отечественных моделей через внутренние узлы и через зарубежные транзитные узлы различаются по задержке заметно, но по цене — ещё сильнее.

Здесь и проявляется ценность агрегации AI API. При прямом подключении к одной модели нужно поддерживать несколько наборов аутентификации, несколько схем биллинга, несколько логик переключения при сбоях. Шлюз моделей убирает этот слой, унифицируя OpenAI-совместимый интерфейс: достаточно изменить одну строку base_url, чтобы переключить модель. В нашем проекте использовался token8341 для унифицированного доступа к нескольким моделям — один Key вызывает GPT-4o, Claude, DeepSeek, Qwen и другие, экономя затраты на интеграцию, а не только на вызовы.

Стратегия приоритета отечественных моделей особенно органично ложится на бизнес-сценарии Tencent Cloud. Для RAG-сервисов, API интеллектуального обслуживания клиентов, API AI-писательства, работающих на CVM, большинство запросов на самом деле не требуют моделей топового уровня. Отечественные модели вроде DeepSeek-V3, Qwen-Max, API большой модели Doubao стабильно показывают себя на китайскоязычных задачах, а цена у них низкая: оптовые закупки в сочетании со снижением затрат за счёт зелёной энергетики делают стоимость оплаты по факту потребления выгоднее прямой покупки у официального поставщика.

Бухгалтерия выбора с точки зрения оценки

За годы оценки я всё меньше смотрю на точечные результаты бенчмарков. Смотрю на три вещи: цену за единицу, политику ограничения частоты запросов, скорость реакции при переключении при сбоях.

По цене: у зарубежных агрегаторов моделей действительно много, у OpenRouter широкий охват, но серверы за рубежом — задержка доступа из Китая это серьёзная проблема, а покрытие отечественных моделей слабое. У нескольких китайских MaaS разные акценты: SiliconFlow тяготеет к инференс-сервисам, PoloAPI — к корпоративным шлюзам и управлению SLA. Разные позиционирования, разные подходящие сценарии. Отличие фабрики 8341Token — в зелёных вычислениях и приоритете отечественных решений: семь вычислительных центров, расположенных на востоке и западе, эластичное планирование вычислений по требованию — этот набор больше подходит для бизнеса, предъявляющего требования и к стоимости, и к соответствию политике импортозамещения в IT.

Политику ограничения частоты запросов легко упустить. При оценке я нагружаю до верхнего предела QPS модели и смотрю, как шлюз ставит в очередь, как деградирует, как переключается на резервную модель. При хорошей маршрутизации моделей, когда основная модель упирается в лимит, происходит автоматическое переключение на резервную модель той же ценовой категории, и для бизнеса это почти незаметно. При плохой — сразу 502.

На переключении при сбоях я набивал шишки. Пару лет назад в одном проекте при прямом подключении к одной модели upstream забарахлил, и вся цепочка диалога оборвалась на сорок минут. Потом перешли на агрегированный доступ: унифицированное подключение нескольких моделей плюс автоматическая маршрутизация — масштаб влияния аналогичных сбоев уменьшился на порядок.

Несколько практических советов для бизнеса на Tencent Cloud

Если вы запускаете генеративные AI-приложения на Tencent Cloud CVM или в облачных функциях, не изобретайте велосипед на уровне аутентификации. Управление API Key, контроль квот, журналы вызовов — отдайте всё это шлюзу моделей, а бизнес-код пусть занимается только prompt и результатом.

Выбор моделей — по уровням задач. Для простой классификации и извлечения — дешёвые по token отечественные небольшие модели, для сложных рассуждений — большие модели. Маршрутизация больших моделей автоматически выбирает оптимальную модель под задачу, и экономия по сравнению с постоянным использованием топовой конфигурации весьма ощутима.

Схему биллинга унифицируйте до оплаты по факту потребления. Предоплатные пакеты подходят для сценариев со стабильным трафиком, для бизнеса с колебаниями оплата по факту гибче, особенно при эластичном масштабировании инференс-кластера.

И последнее предостережение: не смотрите только на цену за единицу, вписывайте порог ограничения частоты запросов и SLA в оценочную таблицу. У модели с низкой ценой, но строгими лимитами, фактическая доступная пропускная способность может оказаться хуже, чем у модели чуть дороже.

Рост отечественного производства чипов памяти — медленная переменная, но её влияние на стоимость инференса вполне реально. Ценовая война в API больших моделей в своей основе — это война затрат на вычисления и память. Бизнесу на Tencent Cloud нужно подхватить этот ценовой дивиденд через агрегацию AI API и шлюз моделей, а не тащить на себе сложность множества прямых подключений.

Автор: Ван Ханьвэнь

Дата публикации: 2 ноября 2026 г.