Sunrise Origin AI Lab
朝陽智源 · Enterprise AI
查詢部署
Intelligence Brief · 每週三更新

AI 前線週報

每週三更新。只收錄對「在自己的機房跑模型」有實際影響的訊息:開源權重、推理引擎、硬件供應與記憶體成本。每一條都標明來源與日期,數字以可查證者為準。

本期第 001 期
更新日期2026 年 11 月 2 日
下次更新2026 年 11 月 4 日(週三)

本期要點

  1. 01Mistral 開源 1.05 兆參數旗艦,但最低量化仍要 298GB — 桌面級放不下,真正的看點是授權分家。
  2. 02SGLang 把 552B 模型推到單用戶 943 tok/s,證明 MoE 激活參數才是解碼速度的主導變數。
  3. 03同一個模型、同一份權重,DGX Spark 靠推測解碼從 12.5 拉到 48.2 tok/s — 這是本週最可直接複製的一條。
10 月 29 日 開源權重

Mistral 開源 1.05 兆參數旗艦,但桌面上跑不動

Mistral 於 10 月 29 日在 Hugging Face 公開旗艦模型 Mistral Large 4(代號 Le Chonk)的完整權重,FP8 與 NVFP4 兩個版本都不設申請門檻,匿名客戶端也能拉取檔案。模型是原生多模態 MoE,總參數約 1.05 兆,每個 token 激活約 49–52B,上下文 1M,支援低/中/高三檔推理模式。

它主打的是 token 效率而非絕對分數:在 Artificial Analysis 的 Coding Agent Index 取得 48%,官方稱與 GLM-5.3 基本持平,但每個任務平均少用 47% token;Terminal-Bench 4.0 由預覽版的 28% 升至 41%,輸出 token 同時少了約三成。不過同一個 Artificial Analysis 的 Intelligence Index v5 只給它 26 分,在開源權重中排第五,落後 DeepSeek V4.1 Flash 與 GLM-5.3。

體積才是最硬的門檻:官方 FP8 權重約 1,061GB、NVFP4 約 610GB,社群 ggml 量化由 Q8_0 的 1,115GB 到 IQ2_XXS 的 298GB。授權也換了 —— 由 Large 3 的 Apache 2.0 改為「Mistral Ecosystem Open-Weight License」,名義上是改良 MIT,但任何把它當付費推理服務轉售的業務,需另談商業授權。

總參數
1.05T
每 token 激活
約 52B
最低量化體積
298 GB
授權
改良 MIT,託管轉售需另授權
部署視角

對本地部署的意義:298GB 是壓到 IQ2_XXS 之後的數字,兩台 128GB 合併 256GB 仍然放不下。這不是桌面級方案,短期內也不該被描述成桌面級方案。真正值得留意的是授權趨勢 —— 「開源權重」正在和「開源」分家,分界線正好劃在推理服務商身上,GLM-5.3 與 MiniMax M3.1 Flash 走的是同一條路。

10 月 20 日 推理引擎

DeepSeek 開源 DeepInfer,552B 模型單用戶逼近 1000 tok/s

DeepSeek 在 10 月 20 日開源內部推理引擎 DeepInfer。SGLang 團隊隨後與 RadixArk、NVIDIA 在 GB300 NVL72 上以 MegaKernel 與 PD 分離(prefill/decode 解耦)調優,把 552B 的 DeepSeek V4.1 Flash 推到併發為 1 時每用戶 943 tok/s;峰值總吞吐由四天前的 654K 升到 1.09M tok/s/GPU。

vLLM 也整合了 DeepSeek 的開源 kernel,在專家並行度減半的情況下達到 954K tok/s/GPU,decode 曲線與 DeepInfer 在 batch 8 至 256 區間重合。DeepSeek 在技術報告中披露,單一生產集群每日處理 155 兆 token,輸入快取命中率 96%,離峰時段每 GPU 小時收入約 38 美元。

單用戶吞吐
943 tok/s(併發 1)
峰值吞吐
1.09M tok/s/GPU
生產規模
155T tokens/日
部署視角

對本地部署的意義:這批優化吃的是資料中心級 HBM 頻寬,桌面級 128GB 統一記憶體只有 273 GB/s,拿不到同樣紅利,不要照搬這些數字。但它證明了一件對小機器最重要的事 —— MoE 的解碼速度由「激活參數」而非「總參數」決定,這正是 128GB 盒子能跑 300B 級模型的原因。選型時看激活參數,不要看總參數。

近期 部署實測

同一份權重,DGX Spark 靠推測解碼從 12.5 拉到 48.2 tok/s

AutoTrust AI Lab 發布 Qwen3.8-27B-NVFP4 的無損 MTP 推測解碼方案:目標模型權重與 NVIDIA 上游 NVFP4 版本位元一致,21.9GB 的 safetensors 完全不動,只替換 drafter。手法是 64k 截斷詞表、Marlin NVFP4 draft head、量化 MTP 層,把單次 draft 的位元組讀取量砍到約八分之一,因此能開到 k=8,平均接受長度 5.29。

在 DGX Spark GB10 上,單流解碼由 12.5 升至 48.2 tok/s(3.9 倍);相較 Qwen 原生 MTP 約 37 tok/s 的平台期,再快約三成。分場景:程式 52.9、數學 56.9、對話 44.4、工具調用 45.2 tok/s。以 vLLM 0.31.0 插件加行程內補丁形式發布,已在 sm_120/121 Blackwell 上驗證。

單流解碼
12.5 → 48.2 tok/s
加速比
3.9×
推測深度
k=8,接受長度 5.29
部署視角

對本地部署的意義:這是本週最可直接複製的一條。128GB 機器的解碼上限由 273 GB/s 頻寬決定,而推測解碼是目前唯一能在不改動模型品質的前提下突破該上限的手段 —— 而且它不挑硬件,換的是 drafter,不是模型。我們在自家雙機集群上跑 MTP/DSpark 同類方案,觀察到的比例關係與此一致。

10 月下旬 硬件

RTX Spark 筆電開賣,本地 AI 被切成三個價位帶

柏林 GTC 之後,NVIDIA 的本地 AI 產品線正式成形:面向 Windows 個人代理的 RTX Spark 筆電、面向 Linux 開發者的 DGX Spark、以及企業級 DGX Station。RTX Spark 已在 ASUS、Dell、HP、Lenovo、Microsoft、MSI 同步開賣,把 Blackwell RTX GPU 與 Grace CPU 整合進單一超級晶片,最高 128GB 統一記憶體,走輕薄本路線。

同一週,微星於 10 月 23 日推出 DGX Spark 平台的 EdgeXpert 64GB 版本:GB10、1 petaFLOP FP4、64GB LPDDR5x 統一記憶體、1.2 升/1.2 公斤、10GbE 加 200GbE ConnectX-7、預裝 DGX OS,官方稱可在防火牆內運行最高 1,000 億參數級開源模型。廠商建議的部署形態很明確 —— 總部 AI 中心用 128GB,分公司、門店、醫院與金融機構等受監管場景用 64GB。

RTX Spark
最高 128GB 統一記憶體
EdgeXpert 64GB
1 petaFLOP FP4
互聯
200GbE ConnectX-7
部署視角

對本地部署的意義:硬件層已經從「一台開發機」變成一個分層產品線,說明廠商判斷本地推論是長期需求,不是實驗項目。對企業採購的直接影響是同一個軟件棧(DGX OS/CUDA)可以從門店 64GB 一路鋪到總部 128GB,運維語言統一 —— 這比單機跑分更能決定總擁有成本。

10 月底 供應鏈

DRAM 合約價再創新高,本地 AI 的成本曲線正在上移

DRAMeXchange 數據顯示,10 月主流 DDR4 8Gb 平均合約價達 27.5 美元,較 9 月的 26 美元上漲 5.77%,是 2016 年 6 月開始統計時 2.9 美元的約 9.5 倍。TrendForce 預計第四季 PC DRAM 合約價環比再漲 13% 至 18%,而韓國廠商明年的 PC DRAM 產量可能較今年減少兩成以上 —— 產能正被伺服器記憶體吸走。

上游財報同步印證這輪週期:鎧俠 2027 財年上半年營收約 4.25 兆日元、按年增 436.8%,歸母淨利約 2.20 兆日元;閃迪 2027 財年第一季營收 110.31 億美元、按年增 378%,其中數據中心業務按年增約 1,685%。

但要留意走勢已經分叉:NAND 這邊,128Gb MLC 合約價雖仍停在 30.61 美元的歷史高位,NAND 晶圓現貨貿易價自 10 月起加速回落,渠道 SSD 價格在 10 月 27 日當週全面下調,部分容量晶圓貿易價與原廠報價的差距已超過 30%。

DDR4 8Gb 合約價
27.5 美元(10 月)
月增幅
+5.77%
Q4 預測
+13% ~ +18%
部署視角

對本地部署的意義:統一記憶體機器的成本與 DRAM 週期直接綁定,而這一輪漲價由 AI 伺服器需求驅動,短期看不到回頭。對有明確部署計劃的買方,等待的機會成本正在變高。另一面要講清楚 —— NAND 現貨已在回落、SSD 渠道價在跌,記憶體與儲存走勢分叉,採購時不要用同一個判斷套在兩者身上。

模型部署速查

以下按「單機 128GB 統一記憶體(DGX Spark/AI TOP ATOM 同級)」與「雙機 256GB 互聯」兩種形態整理。判準只有一條:權重加 KV cache 能不能裝進去。

模型參數 / 激活量化權重解碼 tok/s上下文單機 128GB雙機 256GB
Qwen3.6-35B-A3B 35B / 3B 4-bit 22.1 GB 71.9 256K 可 可
Gemma 4 31B 31B 稠密 4-bit 30.7 GB 10.8 256K 可 可
DeepSeek-V4-Flash 284B / 13B 2-bit 96.8 GB 38.5 1M 可 可
GLM-5.3-Flash 320B / 18B 2-bit 108.7 GB 29.3 1M 可 可
Qwen3.8-Flash-Next 176B / 6B 4-bit 111.3 GB 42.9 256K 可 可
DeepSeek-V4.1-Flash 552B / 8B+16B 2-bit * 約 145 GB * 待測 1M 不可 可
Mistral-Large-4 1.05T / 52B IQ2_XXS 298 GB — 1M 不可 不可

數值為第三方整理(vramglass,2026-11 抓取),以權重體積與 273 GB/s 記憶體頻寬推算,非本站實測;實際表現隨上下文長度、KV cache 與並發數變化。標 * 者為本站按參數規模估算。Mistral-Large-4 的 2-bit 版本曾在 512GB 統一記憶體機器上測得約 15 tok/s(Hugging Face 數據),該機器規格遠高於本表假設,故不列入速度比較。

讀法 01看激活參數,不看總參數。GLM-5.3-Flash 總參 320B 卻比 176B 的 Qwen3.8-Flash-Next 更慢,差別在激活量(18B 對 6B)。稠密模型最吃虧 —— Gemma 4 31B 只有 10.8 tok/s,因為每個 token 都要讀完整份權重。
讀法 02量化不是免費的。把 4-bit 降到 2-bit 能把 GLM-5.3-Flash 從「跑不了」變成「跑得動」,但長上下文下的品質衰減要在自己的任務上驗,不要只看 perplexity。
讀法 03雙機不是為了更快,是為了裝得下。200GbE 互聯解決的是容量與張量並行,單流速度主要還是被單機頻寬限制。要提速先做推測解碼,要擴容才加第二台。

下週關注

編輯方法

本欄每週三更新,由 Sunrise Origin 團隊整理。內容只覆蓋與本地/私有化部署相關的訊息,不追社交媒體熱點。

每一條都標明原始來源與日期。涉及具體數字時,以官方公告、模型卡、原始榜單或兩家以上獨立媒體交叉為準;僅單一來源的傳聞不入欄。

廠商自報的跑分一律標注為「廠商數據」。我們不把未經獨立複現的數字寫成結論。

想把上面這些模型放進自己的機房?

我們在港部署 DGX Spark 與 GB10 級算力,從選型、量化、雙機互聯到推理引擎調優,交付可離線運行的完整方案。

預約技術討論