Engrams Embedding Entendre: Codesign for Efficient DRAM/SSD Offloading

Engram 模型架構創新與 DRAM 卸載：推論轉向頻寬導向，降低 HBM 容量依賴

—Engram 架構擴展標準 Token 嵌入並直接檢索預存向量，大幅減少對注意力機制與前饋網路的計算重構需求
—Engram 查表位址僅取決於 Token ID 而非隱藏狀態，極適合在計算早期層時直接從主機 DRAM 預先抓取，避免佔用珍貴的 HBM 容量
—在相同模型品質下，模型架構創新持續繞過硬體容量限制，推論負載中 4-hi HBM 憑藉最高頻寬性價比成為最優選擇

記憶體 ↑看多中期

Engram 等架構創新大幅降低模型對 HBM 容量的需求，使推論瓶頸轉向頻寬而非容量。在 $NVDA B300 等高階晶片上，將 Engram 卸載至主機 DRAM 不僅未損及效能，反而能縮小張量平行度至 TP2 並釋放更多 HBM 給 KVCache，使 4-hi HBM 具備最佳頻寬性價比與每 Token 成本。模型架構協同優化正將 AI 推論重心由追求極限 HBM 容量轉向最大化記憶體頻寬利用率與 DRAM 分層卸載

AI算力 ↑看多中期

$NVDA 在 Rubin Ultra 將單晶片 HBM 容量由 1024GB 大幅下調至約 200GB 後，模型架構層面的軟硬體協同設計成為關鍵破局點。DeepSeek-V4.1-Flash 展現了藉由 learned memory 減少注意力運算的潛力，推論工作負載正加速往頻寬密集型演化。演算法與模型架構持續繞過硬體容量限制，推論算力系統的競爭力取決於異步記憶體卸載與通訊重疊效率

Agentic 推論服務對決：NVIDIA CUDA 生態護城河顯著，AMD MI355X 性價比仍落後

—在 DeepSeek-V4.1-Flash 上線首日，NVIDIA vLLM 在 H100、H200、B200、B300、GB200 與 GB300 等 6 款 GPU 均開箱即用
—AMD 號稱以速度為護城河，但在模型發布 23 小時後才公開其 vLLM 容器鏡像，初版效能每美元表現更大幅落後

$NVDA ↑看多中期

在 DeepSeek-V4.1-Flash 的 AgentX 推論測試中，得益於與開源社群及 vLLM 維護者的深度協同，NVIDIA 全系列 6 款 GPU 於 Day 0 即達成開箱即用與極限優化。即便考慮對手較低的硬體採購成本，B200 與 B300 的每美元 Token 產出仍展現壓倒性優勢。CUDA 護城河源於數百萬開發者生態與推論引擎的即時深度適配，使 NVIDIA 在次世代模型推論服務中持續享有統治級優勢

$AMD ↓看空短期

儘管標榜以速度為護城河，AMD 在 DeepSeek-V4.1-Flash 發布首日未能即時釋出 vLLM 容器鏡像，初版效能每美元產出更大幅落後 $NVDA。即使在模型發布第 7 天進行顯著優化，MI355X 在計入 TCO 後的性價比仍比 B200 差 2 至 4 倍。開源軟體生態與推論引擎適配的執行力落差，嚴重削弱了 AMD 加速器在次世代推論工作負載中的硬體性價比競爭力

半導體 ↑看多中期

在新一代 Agentic 與 Flash 類模型推論中，軟硬體協同生態比單純的硬體理論規格更具決定性。開源推論框架如 vLLM 和 SGLang 的適配速度直接決定了硬體在雲端客戶端的可用性與實際 TCO。AI算力晶片的勝負關鍵已從純硬體算力與標稱容量，轉移至開源軟體推論引擎的 Day 0 最佳化生態

推論儲存層次權衡：SSD 卸載性價比低，DRAM 為生產環境唯一合理選擇

—在 B200 上將 Engram 表項卸載至 SSD 的實驗顯示，在 125 tokens/s/user 的互動速度下，DRAM 每美元產出 1.21 億 tokens，而 SSD 僅為 5,200 萬 tokens
—更便宜的儲存介質並未使整體伺服器配置更便宜，因為昂貴的 4 顆 GPU 與整機伺服器成本固定，SSD 的延遲與協同負擔反而削弱整體效益

AI基建 ↑看多中期

在 $NVDA B200 伺服器上針對 Engram 進行 SSD 卸載測試顯示，SSD 路徑因 CPU 往返拷貝與記憶體管理開銷，在 P90 互動延遲與每美元 Token 產出上全面遭 DRAM 碾壓。更便宜的儲存介質未能攤薄昂貴 GPU 的整體伺服器成本，在生產環境中缺乏經濟效益。AI 雲端推論基建的分層存儲設計應聚焦於主機記憶體 DRAM 卸載，SSD 卸載在當前架構下難以兼顧延遲與性價比

每天早上,收件匣見

53 位中英文財經 KOL 的觀點,每天自動整理成一份日報。免費,隨時可退訂。

免費訂閱