Agentic AI Summit 2026：基礎設施、RSI 與軟體工程
最近我更常在自己架的網站 Roger’s Letter發文，如果想即時追蹤我的文章，歡迎移駕過去訂閱，這裡應該會越來越少發文。
畢竟現在是大AI時代，自己打造網站更客製化，也更符合我自己的需求。
Roger’s Takeaway
Berkeley Agentic AI Summit非常的精彩，他們邀請了從OpenAI, Google, Amazon,微軟裡面做AI的高手一起來討論AI目前的挑戰，資本支出的合理性，以及許多技術概念上的看法。
這裡面讓我最喜歡的是Jasjeet Sekhon的部分，他現在是Google DeepMind的Chief Strategy Officer，它之前是橋水基金的首席科學家與Head of AI。
從他的角度看，他認為AI這次的資本支出浪潮是文明史上最大的科學押注，遠超登月計劃與互聯網，以及製造核武的曼哈頓計劃。唯一超越這波支出浪潮的是鐵路建設，但鐵路建設不是科學押注。
為什麼說是科學押注，是因為目前的營收還不足以支撐資本支出，我們押注是因為我們找到一種方法，把『能源』變成『智慧』，只要這台機器有效，人類就會繼續投入，全球的金融系統也正在重新排列資源，以支持此次史上對大的資本支出。
反觀，鐵路建設事實上是一個商業問題，而非科學問題。
他認為AI的風險是：支出先發生，營收卻沒有跟上，市場終究可能反應。但其中也有地緣政治的原因，我們正處於中美競賽之中，因此全球在AI投入上就更激進一點。
其他內容我就不贅述，蠻多好料的，大家有興趣可以去觀看完整Youtube內容。
摘要
Agentic AI 正把 AI 從一次性的問答介面，推向能長時間執行、呼叫大量工具、建立子 Agent 並影響真實系統的自治工作負載。這使問題不再只屬於模型，而是橫跨晶片、記憶體、網路、儲存、身份、權限、沙箱、可觀測性與治理的完整系統工程。
基礎設施方面，單一通用晶片不會包辦未來所有工作負載。訓練、prefill、逐 token 解碼、長上下文與科學模擬具有不同計算輪廓，硬體、模型與系統必須共同設計。企業導入則應先從 context engineering 開始，再視需要採用 LoRA 或完整微調；真正可持續的價值來自能交付成果的整合體驗，以及累積實驗、記憶與決策軌跡的 system of record。
RSI 對談將遞迴式自我改進拆成可觀察、可限制的工程迴路：AI 產生研究想法、執行實驗、讀取回饋，再改善自身能力。機會極大，但自主性、欺騙、評測外溢、監督能力與改善速度不對稱等風險，也要求更強的可解釋性、沙箱、監控與治理。
軟體工程場次的共同結論是，未來人類更像設定目標、約束與驗收標準的人，Agent 則負責實作、測試與迭代。競爭優勢不只在模型，而在 harness、環境、規格、回饋迴路、持續學習與可管理的上下文。團隊若只是把 AI 灑進舊流程，收益會受舊流程限制；更有效的方法是從 AI-native 的角度重設整套工作方式。
Bio
Jennifer Chayes 是 UC Berkeley College of Computing, Data Science, and Society 院長，並任教於 EECS、Statistics、Mathematics 與 Information。
Rich Lyons 是 UC Berkeley 校長，曾任 Haas School of Business 院長與校方創新創業主管。
Dawn Song 是 UC Berkeley 教授、Berkeley RDI 共同主任，並任 Meta Superintelligence Labs AI Research 副總裁，研究橫跨 AI、安全與去中心化系統。
Peter DeSantis 是 Amazon 負責 foundational AI models、custom silicon 與 quantum computing 的資深副總裁，曾參與創建 Amazon EC2，並領導 Graviton、Trainium 等運算平台。
Saurabh Tiwary 是 Google DeepMind 副總裁，曾領導 Google Cloud 的 Vertex AI 與企業 AI 平台，也曾在 Microsoft 創辦 Project Turing。
Jonathan Cohen 是 NVIDIA Applied Research 副總裁，領導包含 Nemotron 開放推理模型在內的研究，並曾獲 Academy Scientific and Technical Award。
Chuan Li 是 Lambda Chief Scientific Officer，從公司早期即參與 AI cloud 的硬體與軟體建設。
Todd Graham 是 M12 Managing Partner，本場擔任主持人。
Jasjeet Sekhon 是 Google DeepMind Chief Strategy Officer，研究與實務經歷涵蓋統計、因果推論、AI 策略與組織治理。
Peter Steinberger 是 OpenClaw 創作者，現於 OpenAI，長期投入開發工具與 Agent-native 軟體環境。
Ryan Lopopolo 是 Agentic Google Cloud Platform Principal Engineer，先前在 OpenAI 領導 Dark Factory。
Michele Catasta 是 Replit President，專注於 AI coding agents、持續學習與軟體開發平台。
Alex Graveley 是 FlyingObject.ai 共同創辦人，也是 GitHub Copilot 與 Perplexity Computer 的共同創作者。
Anjney Midha 是 AMP PBC 創辦人，本場擔任 Future of Software Engineering Panel 主持人。
Highlight
Peter DeSantis
（Amazon 負責 foundational AI models、custom silicon 與 quantum computing 的資深副總裁，曾參與創建 Amazon EC2）
我在 Amazon 工作 28 年，「Day One」對我有特殊意義。我加入時，我們只是所有人都坐得進一間會議室的小型零售新創。公司成為大型零售商後，天天說 Day One 一度顯得有些荒謬，但它一直有實質意義。
二十年前創辦 AWS 時，又真的像 Day One，因為公司內所有人都在嘲笑 Amazon 裡這個 AWS cloud 點子，但我們深信不疑，結果也相當不錯。Day One 是你相信、並以意志創造出來的文化、行為與態度。它提醒你，無論已有多少創新與成功，前方仍有更多成功。Peter DeSantis
今天我從自己最有熱情的 infrastructure 開始。若要實現共同願景，基礎設施必須獲得根本而非漸進式的效率提升；Amazon 正在每一層進行深度投資。
第一個觀察是：未來十年的 AI 工作負載，不會由單一晶片或單一 server type 驅動。十年前幾乎所有工作都跑在 CPU 上，差別只是快慢或核心數。Moore’s Law 持續改善 general-purpose processors，一套 toolchain 也帶來很大槓桿。支援許多不同伺服器和硬體太複雜，對專注本業的公司並不合理。
cloud 改變了這件事。約十二年前，AWS 已開始提供更客製化的硬體解決方案。AI 出現後，我們所稱的 AI 其實包含一整個工作負載生態，而 Agentic AI 又進一步加速分化。工作負載的規模與多樣性，會把創新一路推到最底層。
大家今天能聚在這裡，GPU 功不可沒。它擅長 AI 模型底層的浮點與矩陣運算，是 AI 發展史的關鍵部分；但 GPU 原本為 graphics 設計，是相當 general-purpose 的架構，未必是今日許多模型的最適硬體。
第二個觀察是：模型與晶片必須共同設計。打造一個 model architecture 是多年、數億美元的投資，不久後甚至可能達數十億美元。新晶片從設計到在 data center 規模部署，也容易需要兩到三年。兩條長週期投資彼此依賴，若模型團隊不了解一年後的硬體，或硬體團隊不了解兩年後模型的需求，都會犯錯。模型、其周邊系統與硬體晶片的共同設計至關重要。
第三個觀察是：AI infrastructure 不是模型問題，也不是晶片問題，而是 systems problem。它如此有趣，是因為所有系統高度互連。無論把 performance 定義為更高 accuracy、更低 latency、更佳 throughput 或成本，都需要理解 stack 的每一層，也幾乎會用上 computer science 與 engineering 的所有領域。Saurabh Tiwary
（Google DeepMind 副總裁，曾領導 Google Cloud 的 Vertex AI 與企業 AI 平台，也曾在 Microsoft 創辦 Project Turing。）
Google 每月處理 3.2 quadrillion tokens。可以把一 quadrillion 想成地球上每個人各有一本小說；換言之，Google 一個月產生的 token，相當於為全世界每個人各寫三本小說。
要承接這個機會，stack 需要不同元件。底層是包含 CPU、GPU 與 TPU 的 AI Hypercomputer；其上是世界級研究與 frontier models；接著需要資料，讓 models 或 agents 做有意義的事。Agent 開始執行真實任務後，security 與 defense 同時成為巨大機會與風險，因此需要 agentic security 和 defense。再上面要有平台，讓大家便宜、有效率地重用能力；最上層則是能真正完成工作的 end-to-end agentic taskforces。整個 stack 必須共同最佳化，才能取得最大價值。
Google 對 TPU 投資超過十年，包括 liquid cooling 與 shared memory 等創新。最新 TPU V8 首次把主線拆成訓練用 8T 與推論用 8I。與一年前發布、目前仍是主力的 Ironwood 相比，新一代進展巨大。訓練 pod 提供 121 FP4 exaflops，約為上一代三倍；memory bandwidth 也有兩倍到四倍提升。推論 pod 提供 11.6 exaflops，是上一代十倍，memory 同樣顯著增加。
這些 TPU 用來訓練 Gemini Pro、Flash、Flash-Lite，影像與影片生成模型 Imagen、Veo，world model Genie，以及 AlphaFold、AlphaGo、AlphaChip。AlphaChip 還用來設計下一代 TPU，某種意義上是 TPU 為 TPU 做設計。這些系統在訓練與推論都大量依賴 TPU infrastructure。
有了硬體和模型後，還需要讓人容易建立 Agent 的平台。寫 Agent 不只是寫 prompt，而要解決四個核心問題：build、scale、govern、optimize。Jonathan Cohen
（NVIDIA Applied Research 副總裁，領導包含 Nemotron 開放推理模型在內的研究，並曾獲 Academy Scientific and Technical Award。）
LLM 極其強大，能解開許多數十年來未解的問題；但它同時是 probabilistic、non-deterministic，幾乎與傳統 software 相反。軟體通常是 deterministic，我們能理解、檢視狀態並提出 assertion。Agent 就是兩者結合：取用 machine-learned LLM 的機率式智慧，再用資料結構、演算法，以及數十年軟體可靠性經驗提供確定性與力量。
典型 Agent 需要管理送進 LLM 的 prompts，也要讓模型存取工具、檢查權限。底層硬體愈來愈複雜：有些軟體跑在 GPU 等 accelerated computing，有些跑在 CPU；還有複雜 storage hierarchy。Agent 和 sub-agent 之間要傳遞具 scope 的資料，communication patterns 愈來愈複雜，還有 sandboxes、secure enclaves 等機制。平台在硬體與軟體層都非常 heterogeneous。
模型本身也很多元：large models、small models、針對特定領域 fine-tuned models，以及透過外部 API 提供的 general-purpose proprietary models。所有元件一起解決複雜的 autonomous task。
NVIDIA 把自己的版本稱為 NVIDIA Agent Toolkit。部署可從 Kubernetes 到 hosted infrastructure 與 computer-use agents；也包含 CUDA-X accelerated tools，例如 computational fluid dynamics、解 differential equations，以及 DNA sequencing 的 secondary analysis。這些過去較像 computer science 的任務，現在都透過 API 與工具變得 agentic。Jasjeet Sekhon
（他是 Google DeepMind Chief Strategy Officer；此前擔任 Bridgewater Associates Chief Scientist 與 Head of AI，並共同創辦 AIA Labs。）
這是我們文明史上最大的 scientific bet，遠超登月的 Apollo mission、Internet 建設支出，以及製造核武的 Manhattan Project。唯一更大的 capital expenditure 是鐵路，但鐵路不是 scientific bet；我們早知道如何造鐵路，問題只是 business case：需要多少、哪些地方該連起來。
我們有非常好的理由下這個賭注，因為似乎找到把 energy 轉成 compute、再把 compute 轉成 intelligence 的方法。只要這台機器有效、scaling curves 持續，我們就會繼續投入，而我也希望如此。全球 financial system 正重新排列以支撐這些 capital expenditures。Google、Meta 等公司把 balance sheet 上的數千億美元投入其中，中東與其他資金池也重新配置來支援它。
談過風險，也必須談正面價值：有疾病等待治癒、宇宙等待探索，我們希望它被建成。只要能力回報持續，投資就可持續。但在目前週期，營收還不足以支撐 capital expenditure；這正是 scientific bet 的定義。如果 revenue 已能支撐，它就只是 commercial reality，而我們還沒到那裡。
風險是出現 AI air pocket：支出先發生，營收卻沒有跟上，市場終究可能反應。這也有 geopolitical 層面，因為我們正在競賽。美國目前比近似競爭者 China 花得更多，有更多 compute 與 capital；China 則有更多 energy，雖然美國也正快速增加能源供應。
目前整個世界正以前所未見的方式為此重組。這是 capitalism 的奇蹟之一：整個地球能轉向新目標，而且已經發生。Jasjeet Sekhon
AI 社群一件有趣的事，是我們常遵循 science-fiction timelines，而且有充分理由：不相信就造不出來，因為建造非常困難。RSI 現在還不存在，但它是我們想打造的目標，也是 von Neumann 與統計學家、cryptography 專家 I. J. Good 等人插下的旗幟。他們預測，當機器能製造下一代智慧機器，就會出現 intelligence explosion。
目前觀察到的還不是 von Neumann 正式定義的 recursive self-improvement，而是早期 precursor。AI systems 顯然已讓我們更快、更好地建立下一代 AI，這不意外。steam engine 出現後，人們用它製造下一代 steam engine；現有 compiler 也用來打造下一代 compiler。現在這個過程已發生，而且正在加速。
價值數兆美元的問題是：能否到達真正的 recursive self-improvement？我們還沒有。von Neumann 的著名論文指出，需要一台較簡單的 machine 製造更複雜的 machine，這很不尋常。系統必須跨過某個 self-coherence complexity threshold，否則 machine 會失去主線，需要人類介入。
雖然尚未達標，我認為未來幾年很可能出現，押注它不會發生似乎不明智。三年前，AI 的數學還不如我讀 middle school 的女兒；如今已勝過我。除非現場有 Fields Medal winner，否則可能也勝過你。三年內的變化非常快。因此，RSI 在未來兩、三年出現的機率高於不出現。這些 systems 並非依照嚴格 engineering principles 設計，我們無法確定，但必須做準備。
這也連到 capex。整個產業的 frontier 會快速 commodity 化，究竟是 6、12 或 18 個月可以辯論，但終究會發生。然而能力沿 exponential curve 成長，所以仍可資助下一輪模型開發。若達到 RSI，曲線會變成 hyper-exponential。這是投資與科學 thesis 的關鍵，也是社會目前大量投入的原因。Ryan Lopopolo
（兩週前加入 Google，曾是 OpenAI founding engineer，曾在 Seattle office 參與創建團隊，並領導多項重要 ChatGPT workplace products，包括 Code Interpreter、Record 與 Connectors。他也撰寫 OpenAI 對 harness engineering 的核心思考：人類以 goals、constraints 和 feedback 掌舵，Agent 執行工作。他後來在 OpenAI 領導 Dark Factory。）
Harness engineering 是一種 mindset：即使模型和包住它的 harness 都保持不變，今天仍存在 capability overhang。models 遠比它們目前能在世界中實際產生 side effects 的程度更聰明、更有能力。它們不知道 operator 認定的 local good 與 global good 是什麼，也沒有足夠 context 在部署組織裡完全自治。
身為引導 Agent 進入現實世界的人，我們的角色是提供 tools、context、guardrails、coaching 與必要的 trust，讓它完成我們期待的完整工作。
當一群人以這種方式共同協作於一個 Agent，會把每個人的長處都整合進去。這就是我所說「建立 software 的方式已經改變」。
無論 Agent 當下能力如何，都能靠寫 code 解決執行方式的問題；而現在 code 幾乎是免費生產，模型在產碼能力上非常突出。
然而 implementation 變得充裕後，仍有一些稀缺領域需要投資，才能讓 Agent 在 long timeline 保持 coherence。即使 models 已很先進，你仍不能只說「幫我做一家十億美元公司」，就期待另一端得到一致的成果；它們現在甚至還難以營運 vending machine。
這正是 human-agent system 中人類專業的用途：限制 machine 可進入的 latent space 與 physical space，確保長期持續朝正確方向前進。無論 artifact 是 codebase、Word document，或像 Confluence 那麼大的 organization knowledge wiki，都要思考如何持續演化。Ryan Lopopolo
人與 Agent 協作時，短期有三種稀缺資源。第一，human time 永遠稀缺，也是過去組織設計的基礎。platform teams 或 central dashboards，本質上是集中稀缺人力，產生高槓桿成果，賦能整個 organization；相同限制也適用 Agent。
第二，model context window 是模型的根本限制。window 可能變大，auto-compaction 可能進步，但單一 trajectory 在 long-horizon work 中維持 coherence，仍必須持續注意。
第三，人類與模型的 attention 都受限。task 與 work 的結構必須讓人和模型專注，避免注意力散落在眾多互相競爭的 concerns。Anjney Midha
（他共同創造 GitHub Copilot，是最早把 AI coding 帶入 production 的 Agents 之一，也曾參與 Perplexity Computer。最近他創辦 FlyingObject.ai，研究 omniscient agents 這個新類別。）
我們正從「看得見 code」走向「看得見整間 business」。Agent 因而能理解 actual business objectives，判斷為實現目標應存在什麼 products 或 features。今天仍由人類猜測，我們希望 AI 也能做到。
product-development cycle 還包含 experiments、deploy changes、monitor live systems，以及必要時 scale systems。insight 和 control 合在一起，成為 Agent 擴展 scope 的兩條軸。
這裡有許多 open problems。要處理大量資料，理想上 ingest 並 index business 內發生的一切，再把 knowledge 壓縮成 Agent 可用的形式，也要設置 triggers。若同時執行許多 experiments、甚至沒有 human in the loop，Agents 必須彼此感知並有效協調。最難的是，有時連要最佳化的 objective function 都還不知道。這些是 self-directed agents 未來必須解決的問題。