Deep|LLM: Computer Use - White-Collar Work’s "Spinning Jenny" Moment; How Many Jobs Will AI Replace?

Astra 電腦操作能力突破與「觀察-行動-驗證」架構：GUI 動態反饋構成蒸餾壁壘

—Astra 在 Agents' Last Exam 與 OSWorld 2.0 展現跨桌面應用與長序列執行力，標誌電腦操作跨過日常實用門檻
—執行機制仰賴「觀察-行動-驗證」閉環；Harness 層整合 MCP 連接代碼與 API，可將數據整理與繪圖並行化以減少冗餘點擊
—介面狀態隨每步操作動態變化，學生模型早期偏差會使示範軌跡失效，使得電腦操作具備極高的互動訓練與蒸餾壁壘

AI應用 ↑看多長期

Astra 在跨多款桌面軟體與長流程任務表現亮眼，象徵電腦操作迎來實用落地的轉折點。其能力來自視覺介面理解、業務語意與序列規劃組成的「觀察-行動-驗證」閉環，並透過沙盒強化學習累積糾錯韌性。由於介面動態狀態會放大單步微小誤差，使電腦操作比純文本模型更難以被蒸餾複製。跨軟體操作能力的突破讓 AI 得以切入企業既存的工作環境，為長流程代理人落地奠定關鍵基礎

落地瓶頸與成本重構：專有工作流局限、雙層模型架構（Jev）與收費模式轉型

—專有業務規則與客製介面使端到端成功率下滑，需如自駕車般透過真實環境失敗案例持續回饋訓練
—Windows 當前無法背景執行，需佔用實體滑鼠鍵盤，增加虛擬機部署成本並壓抑近期採用速度
—深度推理下每小時 API 費用達 30 至 60 美元，成本優勢受限；雙層架構與按成果收費模式將是規模化關鍵

AI應用 ↑看多中期

目前電腦操作在深度推理下每小時 API 成本達 30 至 60 美元，相較人類分析師成本優勢有限，且專有業務規則與 Windows 無法背景執行仍具阻力。產業正探索如 Jev 等雙層架構，由超快專用小模型處理高頻介面點擊與滾動，僅高階決策調用大模型以大幅壓降 Token 消耗與延遲。雙層架構與按任務成果計費的模式轉型，將是打破推論成本瓶頸並實現規模化商業採用的關鍵

市場規模與經濟衝擊：切入白領勞動力預算帶來的 1 兆美元 TAM 與任務重分配

—電腦操作使 AI 角色從步驟輔助進化為端到端執行工作，AI 廠商競逐市場從企業軟體預算躍升至白領薪資預算
—缺乏良好 API 的長尾軟體與標準化行政流程最受惠於 GUI 操作，軟體開發則可直接透過代碼與 API 整合
—相當於 1.8 億個全職工作可被自動化，初期將體現為任務重組（人負責審核與例外處理）而非立即的大幅裁員

AI應用 ↑看多長期

電腦操作推動 AI 從傳統軟體股的輔助工具，跨越至端到端執行崗位職責，使 AI 廠商能直接競爭全球白領薪資預算。長期估計將為 AI 供應商帶來約 1 兆美元額外年營收，對應自動化相當於全球約 18% 或 1.8 億個白領全職崗位。類比珍妮紡紗機的歷史，任務重組與流程再造將先於整體人力裁減。從工具輔助切換至勞動力替代開啟了兆美元級市場，行政與長尾無 API 系統將率先迎來實質自動化

每天早上,收件匣見

54 位中英文財經 KOL 的觀點,每天自動整理成一份日報。免費,隨時可退訂。

免費訂閱