Amazon’s Trainium Takes a Strike at the Training King

AWS Trainium3 轉向原生 PyTorch 與 TorchTitan 訓練實測：體驗大幅改善但編譯時延仍待克服

—AWS Neuron 放棄舊有 PyTorch/XLA 架構，改推原生 TorchNeuron 並聘請前 Google TPU 軟體負責人主導，支援 eager 模式、torch.compile 與標準分散式 API，大幅降低從 CUDA 遷移的門檻。
—在 TorchTitan 上訓練 Qwen3-32B 與 gpt-oss 20B，compiled 模式達 30.47% MFU，但首步編譯耗時過長（gpt-oss 需耗時 27 分鐘），且尚未原生支援 MoE 關鍵通訊 API TokenSwitch。

$AMZN 中期

推動 TorchNeuron 轉向原生 PyTorch 體驗並整合 TorchTitan 與 SGLang 等主流開源生態，大幅降低模型研究員進入門檻，惟首步編譯時間長達數分鐘至數十分鐘成為當前主要摩擦點。原生 PyTorch 轉型顯著擴大 Trainium3 在研究訓練領域的採用潛力，新編譯後端若能將首步時延降低兩數量級將消除關鍵採用障礙

AI算力中期

Anthropic 已在 Trainium 上量產推論與強化學習，但研究訓練要求算力架構具備極高通用性以支援頻繁架構消融實驗。從 XLA 轉向原生 PyTorch 與開源社群生態深度整合，已成為非 $NVDA 晶片爭取研究端訓練工作負載的必經之路

Trainium3 算力基準與 CI 品質工程：MatMul 能效比肩 $NVDA GB300 與 8 萬核精度驗證

—在單一邏輯核心的矩陣乘法測試中，Trainium3 在 1 GFLOP 到 100 GFLOP 區間的 MFU 超越 $NVDA GB300，並在超過 1 TFLOP 後再度勝出；FlexAttention 基準測試亦取得 93% 通過率且失敗皆因編譯超時而非數值錯誤。
—面對訓練負載繁雜算子的數值穩定性挑戰，AWS 動用高達 80,000 個物理核心對 Hugging Face 逾 10 萬個模型進行 CI 測試，並導入 agent swarms 加速修復精度與收斂落差。

$AMZN 中期

Trainium3 在矩陣乘法中階運算與 FlexAttention 展現極具競爭力的 MFU 與數值精度，並配置多達 8 萬核心的自動化 CI 車隊確保模型無損遷移。大規模自動化測試與 agent swarms 快速修正算子落差，展現出亞馬遜縮小與 $NVDA 生態差距的強大工程決心

半導體中期

訓練硬體成功關鍵在於算子全域覆蓋與數值穩定性，任何反向傳播或高精度運算的精度漂移都將導致訓練崩潰。AI 專用晶片從推論走向訓練的核心門檻在於繁雜算子的數值對齊與泛用相容性，單純追求峰值算力已不足以建立競爭力

Neuron Explorer 效能分析工具：硬體協同設計與細粒度時序依賴超越 $NVDA Nsight

—Neuron Explorer 採用軟硬體協同架構，以橫向分行呈現不同硬體單元執行時序，並透過四種顏色視覺化流向、順序與輸出等資料依賴關係，解決傳統 GPU 無法觀察 intra-SM 細粒度管線氣泡的痛點。
—分析器具備程式碼編輯器映射與微秒級記憶體頻寬觀測能力，工程團隊甚至利用每核心 16 組 DMA 引擎的微秒控制繪製出像素畫，獲得 Anthropic 頂尖效能工程團隊極高評價。

$AMZN 中期

Neuron Explorer 提供細粒度硬體單元時序追蹤與色彩依賴標註，在效能可視化與除錯體驗上顯著超越 $NVDA 與 $AMD 的官方工具。硬體協同打造的細粒度分析工具大幅降低算子優化門檻，成為頂尖實驗室深挖硬體效能極限的關鍵利器

$NVDA 中期

相較於 Neuron Explorer 提供硬體單元週期級時間軸與依賴視覺化，$NVDA Nsight Compute 仍偏向聚合指標而缺乏事件時間軸視圖。儘管社群透過 QuACK 等工具自行拼湊 intra-kernel 時序，原生且高整合度的深度分析工具仍是吸引前沿開發者的重要優勢

AI算力中期

晶片效能榨取已從單純架構算力轉向軟硬體協同分析，分析工具必須能精確映射硬體單元管線氣泡與資料搬運瓶頸。軟體分析工具的細粒度觀測能力正成為高階晶片軟硬體協同開發不可或缺的護城河，加速研發迭代效率

每天早上,收件匣見

54 位中英文財經 KOL 的觀點,每天自動整理成一份日報。免費,隨時可退訂。

免費訂閱