Jeff Dean：AI 創業的 1% 法則
最近我更常在自己架的網站 Roger’s Letter發文，如果想即時追蹤我的文章，歡迎移駕過去訂閱，這裡應該會越來越少發文。
畢竟現在是大AI時代，自己打造網站更客製化，也更符合我自己的需求。
Roger’s Takeaway
Jeff Dean的訪談蠻精彩的。
去年，他預言今年的AI將具備初級工程師的能力，顯然在Coding領域已經具備了。他認為2027年，將有機會看到ML系統的自動化，他藉由自身實驗來提升能力，把問題拆解為子問題，再將答案組合起來，自動化的優化系統。在明年，只要有可度量的目標，就能自動推進。
他也談到TPU的本質，就是通用線性代數。因為線性代數是現代機器學習演算法的核心，因此使用TPU這類專用晶片，對於機器學習推論非常有用。現在他認為最有趣的議題是Inference，這方面的硬體有很大的特話空間。
在使用AI上，他的建議和Anthropic的Boris Cherny一樣，透過模型、harness 與工具去解問題，然後觀察模型在哪裡失敗。接下來是透過寫skill，給出更好的指引，持續做下去，就能不斷地自我改進，也更能理解模型需要什麼額外資訊才會更強。
對於模型長時間運作，他提到如今的模型互動十次左右就會停下來，這是因為模型對於與工具互動的經驗不多，它被訓練在一套事情上，只要脫離這一套事情，表現就會掉。因此，用戶可以做幾件事，第一是給skill，把它留在他會做的，較明確的事情上。另一個解法是使用多個agent嘗試不同解法，留下最有希望的，把沒用的丟掉。藉此提高可靠度。
他也建議創辦人，在挑選事業時，這件事是不是你超級興奮，想創要，且對世界有用的事情，這是第一準則，第二是目前的通用模型在該領域能做什麼？更多的資料或模型規模更大之後，是不是很可能變好，要找模型成功機率是1%的題目，而不是20%的題目。
對於人類來說，指揮多個Agent的關鍵是『能夠清楚地叫Agent做什麼』的極好品味，這也是研究問題的核心。
研究者可以有所有工具和技巧，但真正成敗的關鍵是，你要把時間花在哪個問提上？選得好，而且解題成功，遠比完美執行一個相當無聊問題的研究好。
『做什麼』是一個高層次的智慧，模型不一定會擅長。
Jeff Dean也提到一個我很喜歡的邏輯，要每隔一陣子，重新檢視，質疑假設，做一個思想實驗，這些思想實驗往往不會成功，但重新檢驗假設是好的。
最後，Jeff Dean在回答怎麼找到聰明人，與聰明人共識時。
他說道：『你總想找在團隊需要的某領域真的很強的人——無論公司內或創公司。但也要找你喜歡待在一起的人，因為你們會花很多時間一起啃難題。你要低自我、是團隊玩家、也許技能與你互補。
我總覺得：小團隊裡別人懂我不懂的、我也有別人沒那麼多的技能，一起建或做誰都可能單獨做不了的事，超好玩；過程中你也長出很多新知識與技能，他們也是。』
如果把研究職涯看成工具腰帶，永遠要加入新工具，因為你不知道有沒有可能遇到需要四種專用工具，而非三種工具的問題，工具愈多，未來碰到的問題越有可能解得了。
摘要
YC Startup School 2026，Diana Hu 訪談 Google 首席科學家 Jeff Dean。他回顧 2025 年 AI Ascent「AI 已達 junior engineer 水準」的預測，認為大致成真，且複雜任務與非 coding 領域的 agent 進步比預期更快；2027 年他押注 ML／科學／工程的自動實驗迴圈。歷史上「索引塞進 RAM」讓 Google 搜尋變快、2013 napkin math 催生 TPU；2026 對應時刻是高效低耗能的推論專用硬體，以及把延遲再拉低 50 倍後能開啟的產品想像。
核心技術觀：運算約 1 picojoule，從 HBM 搬資料卻貴約 1,000 倍——這塑造了 batching、低延遲與硬體設計；許多被當成「模型問題」的其實是能源／資料 IO 問題。產品層則強調 context engineering（工具、檢索、skills、多 agent 編排），以及 startup 的 1% 法則：挑通用模型幾乎做不到（0–1%）而非已會 20% 的題目；個人資料與 AlphaFold 式利基模型仍是兩三人團隊能贏的空間。最後談到品味、質疑假設（不可靠電晶體思想實驗）、MapReduce／蒸餾被拒稿、以及資料效率與 continual learning 等他希望有人去做的題目。
Bio
Jeff Dean 是 Google／Google DeepMind 首席科學家。早期參與 MapReduce、Bigtable 等基礎設施，後主導 TensorFlow、TPU 與大規模機器學習；本場以系統與硬體第一性原理觀點談推論、能源與 agent。
Diana Hu 為 Y Combinator／YC Root Access 本場主持人，引導討論從預測與硬體，一路談到 startup 選題、AI-native founder 與品味。
Highlight
去年 2025 年 5 月在 AI Ascent——你說 AI 已達 junior engineer 水準。大約一年了，離那預測有多近？
Jeff Dean
我覺得模型在以 agent 為基礎、較長時間的 coding 任務上進步很多，現在顯然已經相當能幹。取決於你對 junior engineer 的定義，我會說相當準。2027 年版會是什麼？
Jeff Dean
我認為你會看到更多對 ML 系統本身的自動化——基本上讓 ML 系統藉由跑大量實驗來提升能力：把問題拆成子問題，在緊密的自動實驗迴圈裡跑這些子問題，再把結果組合起來，從那種完全自動化的問題分解與自動實驗中得到更好的系統。我覺得那會非常令人興奮。這不只適用於 ML，也適用於其他科學與工程領域。基本上，只要有可度量的目標，現在就能推進很多。TPU 的起源故事。
Jeff Dean
對。我們開始看到以深度學習為基礎的語音系統品質很好，但相對舊系統計算很貴——不過錯誤率腰斬了。那等於語音辨識二十年的進步，壓縮在幾個月調模型、稍微放大、弄更好資料裡。我們開始擔心：語音若好很多，人就會用更多。那張信封背面的計算就是在講這個——如果大家開始用語音辨識口述郵件或對手機說話怎麼辦？結果我們意識到，當時需要比跑在 CPU 上更好的解法。
於是我們提出 TPU：本質上特化於低精度稠密線性代數——幾乎所有現代機器學習演算法的核心。若你做一顆只做低精度稠密線性代數、別的都不會的專用晶片，對機器學習推論會非常有用，即使它跑不了 Chrome 或 Word。
那套系統幾年後做出的晶片，比當時的 CPU／GPU 省電約 30 到 80 倍，延遲也低很多，大概 20 到 30 倍。
Diana Hu
了不起，TPU 如今成為的基礎。你當時不可能預料到 Transformer 架構——遠在 TPU 之後才發明——會讓 TPU 如此根本。
Jeff Dean
對，所以我們做的是通用線性代數系統，TPU 本質上就是那樣。
我們知道 ML 演算法還在演進，不想過度特化，但要特化到能拿到巨大效能：很大的乘法單元、高速記憶體、以及後來 TPU 把很多顆晶片高效扛同一問題的高速互連。我們已持續多代放大並改進效能。Inference 很有意思，因為你要非常低的延遲；訓練不一定需要極低延遲。我認為相對今天，還有很大空間把硬體更特化給推論。
就是盡量減少資料搬移；想極度低精度運算；也許不要支援一大堆不同精度。若你覺得自己對需要哪種精度已有好答案，也許就把它建進硬體，別的不多做。有什麼建議讓大家變強、甚至出色？
Jeff Dean
很好的方式是用這些模型、harness 與工具去解問題，然後有時你會看到模型在哪裡失敗。
往往你可以讓模型在那類問題上變好、成功——不是從外面調參數（那很難），而是給更好的指引：寫 skills，讓模型知道怎麼用對這類問題極有用的不同工具。這樣做下去，你會得到一套持續改進、自我改進的設置。那是理解「模型還需要什麼額外資訊才會更強」的好方法。
幾週前 Sanjay 和我常在做很低層函式庫的效能改進。我們在 Google 寫了一套 microbenchmark 函式庫，可以測不同操作多久、填某個資料結構多久等。有時那些結構會被 Google 上百萬個行程式用到，所以高效能很重要。
沒有 agent 時，你通常量目前基準、改一點希望變快、再跑基準看哪裡改善；也許再跑更廣的基準、量 cache footprint。我們寫了一個 skill，基本上教模型依各種序列做這些事，讓它能自我改進：量測、改碼、量改善、再迭代。對某些問題似乎不錯。本質上只是把我們當人會用的方法，用模型能用的形式交給它。我確定大家都看過 agent 大概在第 30、40 步脫軌——大概到第 10 步還行，到第 50 步就晃。今天的約束是什麼？是 context、評估器，還是因為本質上是開迴路、錯誤會累積？
Jeff Dean
我們當然希望 agent 能跑很長時間，因為那樣才能解愈來愈複雜的問題。但如你觀察，今天有時跟工具互動十次左右就停了。有時是因為模型在做它經驗不多的事：它被訓在一整套事情上，一旦稍微離開它會做的分布，就像多數機器學習模型，表現會突然開始掉；離舒適區愈遠，愈可能不好用。
你可以做幾件事。一是給 skills 與提示，傾向把它留在它會做的、較明亮的路徑上。
我認為多 agent——多個 agent 試不同做法，也許另一個模型或 agent 評估哪些看起來有希望——是在某種意義上搜索可能解的空間，留下最有希望的、丟掉沒用或脫軌的。這是很有用的一般技巧：用推論期算力對合理解法做搜索，可以在長時 agent 流程裡換到高很多的表現或可靠度。我們有 harnesses，還有一整套 skills，特別是在 Google 內部開發環境。有 skills 讓 agent 知道怎麼用大量內部工具：寫碼、code review、量效能、抓 log。那些只是加進去就能讓基礎模型更強的 skills——即使它沒被訓過 Google 工程師從專有系統抓 log 的確切方式，有對的 skill 定義就能讓它運作。那提升了 agent 的有用性。
顯然 Google、我們的 Gemini 模型與硬體基礎設施，是在建幾乎什麼都能做的非常通用模型。但很多情況下，這意味著我們對特定領域沒那麼多注意力——也許一個設計得很好的介面，加上模型與一組 skills，或一個不在我們通用模型擅長混搭裡的專用模型，可以有顯著優勢：因為你可以為自己真正有熱情的領域，做出令人愉悅、非常高準確、非常高品質的東西。我覺得那是兩三人在房間裡做他們真正興奮之事時能有的優勢。但也要提醒：通用模型確實在愈來愈廣的範圍變強。
所以你得想清楚：你做的事會耐久嗎？還是前沿模型六個月、十二個月內就會變好？還是它們一兩年、三年都做不到？選題時要秤這個。最重要的是挑你超級興奮、想建、且認為對世界有用的事。若你這樣做，你已經遠領先那些醒來覺得「我其實不想做這個」、或建出來其實對世界或對很多人沒那麼有用的人。那是我選下一個問題的第一準則。
第二，看目前較通用的模型在那個問題域能做什麼。測它們：能不能把這件事做得很好？若完全失敗，多半是好兆頭。若有一點能做但不好，也許不是好兆頭——因為能力可能已開始出現在那些模型裡，更多訓練資料或更大規模之後很可能變好。所以找模型成功機率是 0% 或 1%、而不是 20% 的事。你以前說過，管理五十或一百個 agent 的艦隊，全關乎寫真正清楚、乾脆的設計文件或規格。人怎麼變強？那些長什麼樣？
Jeff Dean
與虛擬 agent 共事時，若你能清楚指定要什麼，會成功得多。你愈清楚，agent 就愈有指引與規則——它要完成什麼的大綱。若你指定得很少，agent 得推論你的意思，很多時候會推成跟你想像不同的東西。
我們一開始就告訴電腦科學家：寫軟體前先指定它要完成什麼很重要。現在有 agent 能寫了，但指定你要什麼的重要性其實上升了——以前你交給很聰明、也許有 context、會追問的人；agent 有時也能，但我認為清楚規格是很好的主意。舉個今天 coding agent 極有效的例子：請模型把軟體從一種語言翻成另一種。那時候你有極詳細的規格——整套軟體就說明系統該做什麼。若有 Python 實作、想要 Go，模型現在似乎極能幹：拿 Python 測試確保 Go 版通過、把測試翻成 Go、比對行為差異直到沒有差異。因為規格太清楚了。假設每個創辦人都擅長同時跑幾百個 agent、程式都由 agent 寫。什麼變成稀缺技能？
Jeff Dean
我認為是對「叫 agent 做什麼」有極好的品味。從我的背景看，那是研究問題的核心。研究者可以有所有工具與技巧，但多數戰役是：你要把時間花在哪個問題上？選得好且解成功，遠好過完美執行一個相當無聊問題的研究。
「做什麼」這種高層智慧極重要。我不認為模型一定會擅長。所以會有人在導航大量 AI 輔助計算，以更快完成了不起的事。但「你要模型做什麼」的本質，才是你該聚焦的關鍵。有趣的思想實驗是：若你試著用不太可靠——也許每天 20 次錯誤，而不是一百萬年一次——的電晶體建系統，會怎樣？那會是非常不同的設計點，也許在製造端開啟真正有意思的事。設計方法也會很不同：若要把訊號從這送到那、電晶體又超不可靠，你可能用很不同的訊號方式——也許沿多條冗餘路徑送，確保至少一條到。
我不是說我們該去做，但你偶爾就是要質疑假設。這些思想實驗常常不成，因為過去五十年這樣做、不那樣做，往往有很好的理由。但每隔一陣子重新檢視是好的。
Diana Hu
太狂了。開始很像神經形態運算或人腦、自然怎麼運作。
Jeff Dean
對，正是。大腦裡訊號從一處到另一處並不特別可靠；重要的東西需要從一處到另一處時，往往有多條路徑。科學方法的基礎是：提議實驗、實作跑實驗需要的東西、評估實驗、得到結果。我認為愈來愈多問題現在可以做成：不只跑幾個實驗，而是因為你能自動化迴圈、把迴圈延遲壓到極低，而跑非常非常多實驗——這會非常重要。它讓我們能碰科學、工程、機器學習模型設計本身，以及像設計晶片這類工程任務。若能自動化，並有編排框架把很高層目標拆成子問題，每個子問題是一個探索最佳解法的自動迴圈，再把子問題解組合成高層整體解——那會非常有影響力。我認為它會加速機器學習、科學與工程。那會很驚人。
今天大研究團隊改進模型通常是：人想主意、跑一堆小規模實驗、看好的再放大評估，再整合進新 recipe。我認為沒有真正障礙去把它變得自動化得多：模型自己決定探索，或在最高層被人推一把——「何不試試納入這個的新架構主意？」——然後跑大量實驗、看哪些有用、以快得多的速度納入。實質上你要優化的是：單位算力輸入產出的發現數。
你該追求的是對世界有正面影響、跟喜歡的人共事、努力做到最好。就你給的權衡——加入前沿實驗室 vs 跟一兩個親近朋友創公司——那是不同經驗。大組織有結構、很多知道你不懂之事的了不起同事、很多有意思問題，工作已有影響很多人的平台。很小的 startup 你必須對某事有熱情，也有很多風險：你要成功、要把那件事長成一場事業。但我想那也可以極有回報。
真的看個人品味。但至少無論哪條路，問自己：若我做這個問題、最好結果發生，世界會不會明顯變好？還是世界會說「嗯，挺酷，隨便」？後者不是你該花時間的事。怎麼跟聰明人共事、找到聰明人？
Jeff Dean
你總想找在團隊需要的某領域真的很強的人——無論公司內或創公司。但也要找你喜歡待在一起的人，因為你們會花很多時間一起啃難題。你要低自我、是團隊玩家、也許技能與你互補。
我總覺得：小團隊裡別人懂我不懂的、我也有別人沒那麼多的技能，一起建或做誰都可能單獨做不了的事，超好玩；過程中你也長出很多新知識與技能，他們也是。
把工程或研究職涯看成一條驚人的工具腰帶：永遠要加新工具，因為你不知道何時會碰到需要這四種專用工具、而不是那三種的問題。工具愈多，未來碰到的問題愈可能你解得了。