KOL Digest
Semianalysis · 2026.11.05 週四 · Substack

The Iron(wood) Throne: Google's TPU Stakes Its Claim on Inference

看原始內容 2 個主題 · 5 個標的/題材

Google TPUv7 在 AgentX 代理推論基準展現性價比突破,開源生態落地重構算力競爭

  • —AgentX 針對長上下文、多輪對話與動態子代理負載進行基準評測,真實反映當前生成式 AI 算力支出轉向推論的實際需求
  • —Google 透過 TPU-Sync 記憶體卸載、DCP 脈絡平行與 Megakernel 核心融合技術,克服了硬體架構限制並取得頂尖效能
$GOOGL 中期

Google 推進 TPU 外部化成效顯著,已獲 Meta、OpenAI 與 Anthropic 等頂級實驗室採用。最新 TPUv7 於 AgentX 基準的多個前沿模型中,在 FP8 精度下每美元效能顯著領先 $NVDA GB300,且在非友善架構下仍維持競爭力。透過深度整合 vLLM、SGLang 與 llm-d 開源生態,TPU 正在推論端有效瓦解對手長期以來的軟體生態護城河

AI算力 中期

生成式推論負載全面轉向長上下文與多輪代理互動,傳統僅看單輪產出的基準已無法反映真實成本。TPUv7 與開源解耦服務架構的結合,證明在 半導體 客製化晶片能以更佳的性價比挑戰既有壟斷。代理型推論對成本效益與動態架構的嚴苛要求,將加速 AI 算力市場從單一硬體走向多元異質架構共存

NVIDIA 組織官僚化與開源支援遲緩成為護城河隱憂,$AMD 敏捷開放加速追趕

  • —NVIDIA 即使動用工程團隊週末加班推出 GB300 FP4 反擊,其性價比在多數工作負載曲線中仍落後 TPUv7 FP8
  • —從 CudaGraph 驅動功能卡在法務審查數月,到對開源維護者的叢集贊助日趨緊縮,官僚主義正在侵蝕其開發者社群優勢
$NVDA 中期

面對 TPUv7 在推論性價比的強勢挑戰,即便祭出高強度工程動員,GB300 在特定前沿模型上的每美元效能仍難以重回霸主地位。更嚴峻的挑戰在於內部法務與行政流程拖慢技術迭代,對開源生態維護者的算力支援日趨官僚且吝嗇。過度臃腫的官僚流程與對社群回饋的遲緩反應,已成為威脅自身軟體生態護城河的最大隱憂

$AMD 中期

秉持新創敏捷文化,在驅動功能與遙測技術的開發節奏上已反超 $NVDA,並於 vLLM 等開源引擎率先推出 MonoKernel 大幅降低核心啟動延遲。同時對開源維護者提供充裕的叢集算力與 CI 資源。憑藉快速的開發迭代速度與開放的社群支援策略,在推論軟體生態的追趕步伐正顯著加快

半導體 中期

高階推論晶片市場競爭已從純粹的硬體規格,轉移至軟體編譯調度與開源社群協作效率。當領導廠商因體量龐大陷入官僚包袱,具備彈性與開放態度的挑戰者便能藉由生態合作快速縮小差距。半導體推論架構的競爭勝負關鍵,將日益取決於軟硬體協同優化節奏與生態夥伴的響應速度

每天早上,收件匣見

54 位中英文財經 KOL 的觀點,每天自動整理成一份日報。免費,隨時可退訂。

免費訂閱