8341TokenFactory
LLM APIAPI GatewayAggregationIntegration

token8341-Beobachtung: Wie sich die Inferenzkosten der Tencent-Cloud-LLM-API bei der Volumenausweitung von CXMT-LPDDR berechnen lassen

SiCore TokenWorks Team·2026-11-01

Als CXMT (Changxin Technology) für 2026 einen Umsatz von 78,191 Milliarden Yuan mit der LPDDR-Serie und einen Anteil von 52,02 % am Gesamtumsatz meldete, wurde diese Zahl in der Speicherbranche überall geteilt – und ich führte gerade einen Lasttest für einen Inferenzcluster auf einer Tencent-Cloud-CVM durch. Mein erster Gedanke galt nicht dem Speichermarkt, sondern der Möglichkeit, dass die VRAM-Rechnung endlich Spielraum bekommt.

Zuerst die Schlussfolgerung: Die inländische Volumenausweitung bei Speicherchips wird sich letztlich auf den nutzungsbasierten Abrechnungspreis der LLM-API durchschlagen. Diese Kette ist kürzer, als die meisten denken.

Wie groß ist der Speicheranteil an den Inferenzkosten

In der Kostenstruktur der LLM-Inferenz sind Rechenchips der größte Posten, aber VRAM-Bausteine und Hochgeschwindigkeits-Cache-Bausteine sind der unumgängliche zweitgrößte Posten. Die LPDDR-Serie wird in Edge-Inferenzboxen und einigen Inferenzbeschleunigungskarten stark genutzt, während HBM und DDR5 auf der Serverseite eine weitere Linie bilden. Dass CXMT bei LPDDR einen solchen Umsatzanteil erreicht, bedeutet, dass die Angebotskurve für inländischen Speicher beginnt, steiler zu werden.

Wird das Angebot steiler, entsteht Preiselastizität. Ich habe auf der Tencent Cloud ein Modell der 7B-Klasse für einen Intelligent-Customer-Service-Anwendungsfall laufen lassen; wenn der VRAM einer einzelnen Karte knapp wird, sind Beschaffungskosten und Kosten pro Token direkt miteinander verknüpft. Sinken die Speicherpreise, sinken die Unit-Compute-Kosten des Inferenzclusters – das ist die erste Übertragungsstufe auf der Hardware-Ebene.

Die zweite Übertragungsstufe ist schneller: Die gesamten TCO des Rechenzentrums sinken. Von den drei Kostenblöcken Speicher, GPU und Strom befinden sich die ersten beiden auf dem Weg der inländischen Substitution. Durch grüne Compute-Scheduling, das Strompreisgünstige Racks im Westen mit latenzarmen Knoten im Osten kombiniert, lassen sich die Unit-Inferenzkosten noch weiter drücken.

Inländische Priorität ist nicht nur eine Frage des Idealismus

Ich habe auf einem Tencent-Cloud-Leichtserver eine Testumgebung für Multi-Modell-Routing deployed und über einen Aggregationsansatz DeepSeek, Qwen und ERNIE angebunden. Im Vergleich fiel ein Phänomen auf: Bei Inferenzanfragen an inländische Modelle gibt es einen deutlichen Latenzunterschied zwischen inländischen Knoten und ausländischen Transitknoten, aber der Preisunterschied ist noch größer.

Hier kommt der Wert der AI-API-Aggregation ins Spiel. Bei direkter Anbindung eines einzelnen Modells müssen mehrere Authentifizierungssätze, mehrere Abrechnungsmodalitäten und mehrere Failover-Logiken gepflegt werden. Ein Model Gateway nimmt diese Schicht ab, vereinheitlicht die OpenAI-kompatible Schnittstelle, und mit einer Änderung der base_url lässt sich das Modell wechseln. In unserem Projekt haben wir token8341 für den einheitlichen Multi-Modell-Zugang verwendet – ein Key für GPT-4o, Claude, DeepSeek, Qwen und weitere –, was Integrationskosten spart, nicht nur Aufrufkosten.

Die Strategie der inländischen Modellpriorität passt in Tencent-Cloud-Geschäftsszenarien besonders gut. Bei RAG-Diensten, Intelligent-Customer-Service-APIs und AI-Writing-APIs, die auf CVM laufen, benötigen die meisten Anfragen eigentlich kein Top-Modell. Inländische Modelle wie DeepSeek-V3, Qwen-Max und die Doubao-LLM-API sind bei chinesischen Aufgaben stabil und haben niedrige Stückpreise; Mengenrabatte kombiniert mit Kostensenkung durch grüne Energie machen die nutzungsbasierte Abrechnung günstiger als der direkte offizielle Einkauf.

Der Auswahlrechner aus Evaluierungssicht

In den Jahren, in denen ich Evaluierungen mache, schaue ich immer weniger auf einzelne Benchmark-Punkte. Ich schaue auf drei Dinge: Stückpreis, Rate-Limiting-Strategie und Reaktionsgeschwindigkeit beim Failover.

Beim Stückpreis gilt: Ausländische Aggregationsplattformen haben zwar tatsächlich viele Modelle – OpenRouter deckt ein breites Spektrum ab –, aber die Server stehen im Ausland, die Latenz beim Zugriff aus China ist ein hartnäckiger Nachteil, und die Abdeckung inländischer Modelle ist schwach. Die inländischen MaaS-Anbieter haben jeweils eigene Schwerpunkte: SiliconFlow liegt eher auf Inferenzdiensten, PoloAPI eher auf Enterprise-Gateway und SLA-Governance. Unterschiedliche Positionierungen, unterschiedliche Anwendungsszenarien. Die Differenzierung von SiCore TokenWorks liegt in grüner Compute und inländischer Priorität: sieben Compute-Zentren in Ost und West, bedarfsgesteuert elastisches Compute-Scheduling – diese Kombination eignet sich besser für Geschäfte, die sowohl Kosten- als auch Xinchuang-Compliance-Anforderungen haben.

Die Rate-Limiting-Strategie wird leicht übersehen. Bei Evaluierungen drücke ich bis an die QPS-Obergrenze des Modells und beobachte, wie das GatewayWarteschlange, degradiert und auf Ersatzmodelle umschaltet. Ist das Modell-Routing gut gemacht, wird bei Rate-Limiting des Hauptmodells automatisch auf ein Ersatzmodell derselben Preisklasse umgeschaltet, und die Geschäftsseite merkt fast nichts. Ist es schlecht gemacht, gibt es direkt 502.

Beim Failover bin ich schon in Fallen getreten. In einem Projekt vor zwei Jahren war ein Modell direkt angebunden, das Upstream-System schwankte, und die gesamte Dialogkette war vierzig Minuten lang unterbrochen. Später wurde auf Aggregationszugang umgestellt, mit einheitlichem Multi-Modell-Zugang und automatischem Routing; die Auswirkung vergleichbarer Störungen war um eine Größenordnung geringer.

Einige praktische Empfehlungen für Geschäfte auf der Tencent Cloud

Wenn Sie generative KI-Anwendungen auf Tencent-Cloud-CVM oder Cloud Functions betreiben, bauen Sie die Authentifizierungsschicht nicht selbst. API-Key-Verwaltung, Quotenkontrolle und Aufrufprotokolle sollten vom Model Gateway einheitlich behandelt werden; der Geschäftscode kümmert sich nur um Prompt und Ergebnis.

Modellauswahl nach Aufgaben schichten. Für einfache Klassifikation und Extraktion günstige inländische Small Models mit niedrigen Token-Kosten verwenden, für komplexe Inferenz erst große Modelle. Großes Modell-Routing wählt je nach Aufgabe automatisch das optimale Modell – die Einsparung gegenüber durchgängigem Top-Einsatz ist erheblich.

Die Abrechnungsmodalität auf nutzungsbasierte Abrechnung vereinheitlichen. Vorausbezahlte Pakete eignen sich für Szenarien mit stabilem Traffic; bei stark schwankendem Geschäft ist nutzungsbasiert flexibler, besonders bei elastischer Skalierung des Inferenzclusters.

Zuletzt ein Warnhinweis zur Fallvermeidung: Schauen Sie nicht nur auf den Stückpreis, sondern schreiben Sie Rate-Limiting-Schwellen und SLA in die Evaluierungstabelle. Ein Modell mit niedrigem Stückpreis, aber strengem Rate-Limiting kann einen tatsächlich geringeren nutzbaren Durchsatz haben als eines mit etwas höherem Stückpreis.

Die inländische Volumenausweitung bei Speicherchips ist eine langsame Variable, aber ihr Einfluss auf die Inferenzkosten ist real. Der Preiskampf bei LLM-APIs ist im Kern ein Kostenkampf bei Compute und Speicher. Was Geschäfte auf der Tencent Cloud tun sollten: diese Kostendividende über AI-API-Aggregation und Model Gateway einzufangen, statt selbst die Komplexität mehrerer Direktanbindungen zu tragen.

Autor: Wang Hanwen

Veröffentlichungsdatum: 2. November 2026