Semianalysis · 2026.06.16 週二 · Substack

RL Systems Mind the Gap: Matching Trainer and Generator Throughput

看原始內容 4 個主題 · 4 個標的/題材

RL 訓練系統的效率框架與吞吐量匹配

—RL 訓練系統可視為生產者-消費者模型，Generator 生產 rollout 進入隊列，Trainer 從中消費。
—系統效率指標包含 Training step time、FLOP/s per GPU 及 MFU，受限於推理吞吐量與沙盒延遲。
—理想系統應使 Trainer 消費率大致等於有效 Generator 生產率，以最小化閒置時間與策略陳舊度

AI算力長期

RL 訓練需求呈現 log-linear 擴展特性，對算力效率的要求極高。系統效率決定了模型能力的上限，透過吞吐量匹配框架可優化昂貴的 H200/GB300 資源利用率

異步 RL、Partial Rollout 與策略陳舊度權衡

—PipelineRL 引入異步機制提升吞吐量，但權重在 rollout 進行中更新會導致 Policy Staleness。
—Slime 框架的 Partial Rollout 可緩解長尾延遲，但環境狀態的陳舊度（State Gap）可能損害訓練信號。
—異步優化需在提升吞吐量與維持訓練穩定性之間設定 Staleness Budget，以平衡效率與收斂質量

AI基建中期

RL 框架如 Prime RL 與 slime 正快速優化異步調度機制。軟體層面的 Prefill/Decode 分離與異步權重推送，已成為決定 AI 模型訓練效率的核心基建競爭力

案例分析：Qwen3 與 GLM-5 的 RL 訓練動態

—Qwen3 實驗顯示長思考鏈會使系統進入 Generation-bound 狀態，迫使系統必須透過 oversampling 應對。
—GLM-5 案例反映課程難度過低會導致優勢信號消失，模型能力提升引發的行為偏移會顯著改變沙盒負載。
—模型能力與行為是動態變量，訓練系統必須具備適應推理長度增加與工具調用頻率變化的彈性

半導體中期

大型 MoE 模型（如 Qwen3 235B）的 RL 訓練對 GPU 顯存與 KV Cache 壓力極大。MoE 架構與推理分離技術的結合，是目前大規模 agentic RL 訓練的硬體基準配置

沙盒基礎設施的擴展挑戰

—擴展併發 rollout 數量（如 960 個）會直接挑戰沙盒基礎設施的可靠性與冷啟動延遲。
—Modal 在高併發下曾出現初始化錯誤，反映出帳號資源配額與 API 觀測工具的重要性。
—沙盒服務的資源隔離與故障恢復能力，已成為決定 agentic 任務 RL 訓練整體吞吐量的關鍵因素

AI基建長期

Agentic RL 需要高度穩定且可快速擴展的容器化環境。沙盒設施的冷啟動優化與內容尋址快取，是目前算力以外最重要的 Agent 訓練基礎設施瓶頸

每天早上,收件匣見

53 位中英文財經 KOL 的觀點,每天自動整理成一份日報。免費,隨時可退訂。