訓練減速不代表需求熄火，推理端受Agent多工調用、推理思考拉長與單價下降帶動總量激增三大引擎推動。供給重心正從超大訓練集群移轉至推理集群，晶片端涵蓋 $NVDA 、 $AMD 及客製化ASIC晶片廠商 $AVGO 與 $MRVL 。減速不是需求消失而是從訓練轉移至推理，算力在未來幾年依然供不應求
推理運作需將訓練好的模型常駐記憶體反覆讀取，模型參數量越大、思考時間越長，讀取頻率越密集。推理時代對高頻寬記憶體與儲存容量的需求強度比訓練只高不低，使長約與供應短缺格局更為穩固。高頻讀取模型的運作機制，使記憶體頻寬與儲存需求在推理時代比訓練只增不減
推理集群同樣需將成千上萬張運算卡互連，且為降低延遲必須離終端用戶更近，造成機房佈局更分散、節點間互連大幅增加。光通訊的成長邏輯未變，需求從少數超大規模訓練中心擴散到遍佈各地的中型推理集群。分散式推理機房使節點互連數量激增，光通訊需求將從超大集群擴散至更多中型集群
推理是全天候24小時不間斷運行的持續負載，不同於訓練的階段性脈衝用電，對電力的消耗更具剛性。能源電網建設週期遠長於算力建置，持續性的推理用電將使電力供應與算力擴張的時間錯配更為嚴峻。推理全天候運轉的剛性用電特性，將使電力基建與算力擴張的時間錯配進一步加劇
53 位中英文財經 KOL 的觀點,每天自動整理成一份日報。免費,隨時可退訂。