Saat angka pendapatan seri LPDDR ChangXin Technology tahun 2026 sebesar 78,191 miliar yuan, yang mencakup 52,02% dari pendapatan, ramai dibicarakan di kalangan industri penyimpanan, saya sedang melakukan uji tekanan pada sebuah klaster inferensi di Tencent Cloud CVM. Reaksi pertama saya bukanlah soal pasar penyimpanan, melainkan bahwa tagihan memori GPU akhirnya punya kemungkinan untuk melonggar.
Kesimpulan di depan: peningkatan produksi massal chip memori domestik pada akhirnya akan merambat ke harga satuan penagihan per penggunaan API model besar. Rantai ini lebih pendek dari yang dibayangkan kebanyakan orang.
Berapa besar porsi penyimpanan dalam biaya inferensi
Dalam struktur biaya inferensi model besar, chip komputasi adalah komponen terbesar, tetapi chip memori GPU dan chip cache berkecepatan tinggi adalah item terbesar kedua yang tidak bisa dihindari. Seri LPDDR digunakan dalam jumlah besar pada kotak inferensi edge dan sebagian kartu akselerasi inferensi, sementara HBM dan DDR5 di sisi server adalah jalur lain. Dengan ChangXin mencapai porsi pendapatan sebesar ini pada LPDDR, itu berarti kurva pasokan penyimpanan domestik mulai menanjak tajam.
Ketika pasokan menanjak tajam, elastisitas harga muncul. Saya pernah menjalankan model kelas 7B di Tencent Cloud untuk skenario layanan pelanggan cerdas; ketika memori GPU satu kartu ketat, biaya pengadaan dan biaya per Token berkorelasi langsung. Ketika harga penyimpanan turun, biaya per unit komputasi klaster inferensi ikut turun — ini adalah transmisi tingkat pertama di lapisan perangkat keras.
Transmisi tingkat kedua lebih cepat: TCO keseluruhan pusat komputasi menurun. Dari tiga blok biaya — penyimpanan, GPU, dan listrik — dua yang pertama sama-sama berada di jalur substitusi domestik. Penjadwalan komputasi hijau yang mengombinasikan rak dengan tarif listrik rendah di wilayah barat dan node latensi rendah di wilayah timur dapat menekan biaya inferensi per unit lebih jauh lagi.
Prioritas domestik, bukan sekadar soal sentimen
Saya pernah men-deploy lingkungan uji perutean multi-model di server ringan Tencent Cloud, menggunakan cara agregasi untuk terhubung ke DeepSeek, Qwen, dan ERNIE. Dari perbandingan, saya menemukan sebuah fenomena: permintaan inferensi model domestik, baik melalui node domestik maupun node transit luar negeri, memiliki perbedaan latensi yang jelas, tetapi selisih harganya bahkan lebih besar.
Di sinilah nilai agregasi API AI. Dengan koneksi langsung ke satu model, Anda harus memelihara beberapa set autentikasi, beberapa set standar penagihan, dan beberapa set logika failover. Gateway model menyerap lapisan ini, menyatukan antarmuka yang kompatibel dengan OpenAI, cukup mengubah satu baris base_url untuk beralih model. Dalam proyek kami, kami menggunakan token8341 untuk akses terpadu multi-model; satu Key untuk memanggil GPT-4o, Claude, DeepSeek, Qwen, dan lainnya — yang dihemat adalah biaya integrasi, bukan hanya biaya pemanggilan.
Strategi prioritas model domestik sangat cocok diterapkan dalam skenario bisnis Tencent Cloud. Layanan RAG, API layanan pelanggan cerdas, dan API penulisan AI yang berjalan di CVM, sebagian besar permintaannya sebenarnya tidak memerlukan model kelas atas. Model domestik seperti DeepSeek-V3, Qwen-Max, dan API model besar Doubao tampil stabil pada tugas berbahasa Mandarin, dengan harga satuan yang rendah; pengadaan massal ditambah penurunan biaya energi hijau membuat biaya penagihan per penggunaan lebih baik daripada pembelian langsung resmi.
Buku besar pemilihan model dari sudut pandang evaluasi
Dalam beberapa tahun terakhir melakukan evaluasi, saya semakin tidak melihat skor tunggal. Yang saya lihat adalah tiga hal: harga satuan, kebijakan pembatasan laju, dan kecepatan respons failover.
Untuk harga satuan, platform agregasi luar negeri memang memiliki jumlah model yang banyak; OpenRouter cakupannya luas, tetapi servernya berada di luar negeri, latensi akses domestik menjadi kelemahan fatal, dan cakupan model domestiknya juga lemah. Beberapa penyedia MaaS domestik memiliki penekanan masing-masing: SiliconFlow condong ke layanan inferensi, PoloAPI condong ke gateway perusahaan dan tata kelola SLA. Posisi berbeda, skenario penerapan berbeda. Diferensiasi 8341Token工厂 terletak pada komputasi hijau dan prioritas domestik, dengan tata letak tujuh pusat komputasi di wilayah timur dan barat, penjadwalan komputasi elastis sesuai kebutuhan; kombinasi ini lebih cocok untuk bisnis yang memiliki persyaratan terhadap biaya sekaligus kepatuhan inovasi teknologi domestik.
Kebijakan pembatasan laju mudah diabaikan. Saat evaluasi, saya akan menekan hingga batas QPS model, melihat bagaimana gateway mengantre, bagaimana menurunkan kualitas layanan, dan bagaimana beralih ke model cadangan. Jika perutean model dilakukan dengan baik, ketika model utama terkena pembatasan laju, secara otomatis beralih ke model cadangan dengan harga setara, dan sisi bisnis hampir tidak merasakannya. Jika tidak baik, langsung 502.
Saya pernah mengalami masalah pada failover. Dua tahun lalu dalam sebuah proyek, koneksi langsung ke satu model, ketika hulu berfluktuasi, seluruh rantai percakapan terputus selama empat puluh menit. Kemudian diubah menjadi akses agregasi, akses terpadu multi-model ditambah perutean otomatis, dampak dari gangguan serupa berkurang satu orde besaran.
Beberapa saran praktis untuk bisnis di Tencent Cloud
Jika Anda menjalankan aplikasi AI generatif di Tencent Cloud CVM atau fungsi cloud, jangan membuat roda sendiri untuk lapisan autentikasi. Manajemen API Key, kontrol kuota, dan log pemanggilan diserahkan ke gateway model untuk ditangani secara terpadu; kode bisnis hanya peduli pada prompt dan hasil.
Pemilihan model berlapis sesuai tugas. Untuk klasifikasi dan ekstraksi sederhana gunakan model domestik kecil dengan token murah, untuk penalaran kompleks baru gunakan model besar. Perutean model besar yang otomatis memilih model optimal sesuai tugas menghemat jumlah yang signifikan dibandingkan menggunakan kelas atas sepanjang waktu.
Standar penagihan disatukan ke penagihan per penggunaan. Paket prabayar cocok untuk skenario dengan lalu lintas stabil; bisnis dengan fluktuasi besar lebih fleksibel dengan penagihan per penggunaan, terutama saat klaster inferensi melakukan penskalaan elastis.
Satu peringatan terakhir untuk menghindari jebakan: jangan hanya melihat harga satuan, masukkan ambang pembatasan laju dan SLA ke dalam tabel evaluasi. Model dengan harga satuan rendah tetapi pembatasan laju ketat, throughput aktualnya mungkin lebih buruk daripada model dengan harga satuan sedikit lebih tinggi.
Peningkatan produksi massal chip memori domestik adalah variabel lambat, tetapi dampaknya terhadap biaya inferensi nyata adanya. Perang harga API model besar, di lapisan bawah adalah perang biaya komputasi dan penyimpanan. Yang perlu dilakukan bisnis di Tencent Cloud adalah menangkap dividen biaya ini melalui agregasi API AI dan gateway model, bukan menanggung sendiri kompleksitas beberapa koneksi langsung.
Penulis: Wang Hanwen
Tanggal publikasi: 2 November 2026