“AI主流發展路線已經遇到瓶頸”(美中報道）
11月26日，Safe Superintelligence（SSI）CEO伊利亞·蘇茨克維（Ilya Sutskever）三萬字訪談在AI圈刷屏了。蘇茨克維在AI領域稱得上信仰一樣的人物，他的另一層身份是前OpenAI聯合創始人和首席科學家、GPT系列的關鍵締造者，被認為是AI先驅。
在離開OpenAI創業後，蘇茨克維一直鮮有發聲，他此次採訪備受關注。在播客中蘇茨克維談到了對當前AI路徑的判斷、預訓練範式有什麼問題、AI為什麼會在泛化上輸給人類等等。
這次訪談最為關注的論點是，蘇茨克維認為，目前主流的路線已經明顯遇到瓶頸，AI的擴展（Scaling）時代已經終結。儘管他去年就曾預言“預訓練的終結”，但這一次他更加明確：我們來到了研究的時代，從規模化擴展回到了研究範式本身。
蘇茨克維提出，2012年到2020年，是研究的時代。而2020年到2025年，是規模化時代，但現在算力規模已經很大了，卻不能持續帶來更好的“擴展”，擴展與浪費算力之間的界線變得模糊。於是我們又回到了研究時代，“只是有了更大的電腦”。
在繼續通向AGI的路途中，需要解決的根本問題是，大模型的泛化能力為什麼會比人類差很多。
蘇茨克維表示，當前模型令人困惑的地方在於，他們在各種評測上表現得很出色，而這些題目實際上也挺難，但另一方面它們也在某些情況下重複犯錯，比如用AI去編程時，AI能解決複雜的問題，卻也會有簡單的Bug，在明知道Bug的存在時卻不斷引入新的Bug。他提出了兩種可能的解釋。
“比較異想天開的解釋是，也許強化學習(RL)訓練讓模型變得有點過於一根筋和視野狹窄，過於缺乏意識，儘管這同時也讓它們在其他方面更有意識。正因為如此，它們無法完成一些基本的事情。”
但另一個解釋是，或許現在AI訓練選擇的數據太狹窄，相比做預訓練(pre-training)時用上所有的數據，現在做強化學習訓練時，會針對評測集去選擇對應的數據。這有可能解釋評測性能與實際現實世界性能之間的脫節。
蘇茨克維舉例表示，就像有學生要成為最好的競賽程式員，所以他在該領域練習了1萬小時，解決了所有問題，背誦了所有證明技巧，成為頂尖選手之一，但他也不一定會在職業生涯中做得很好。
現在的模型就像這樣的學生，“我們會說，模型應該擅長編程競賽，讓我們把有史以來所有的編程競賽題都拿來。然後再做一些數據增強，現在你有了一個很好的競賽程式員。”僅此而已。
此外，蘇茨克維一直在按照人類的大腦來思考AI的進化方向，他認為，當下的AI或許缺少了人類的情緒，這可能是某種價值函數，能讓AI更有方向感。
蘇茨克維用了現實中腦損傷的案例來闡述他的觀點：一個人因某種腦損傷喪失了情緒處理能力，不覺得悲傷和興奮。他仍然善於表達，可以解決小謎題，但他在做任何決定時都變得極度糟糕，決定穿哪雙襪子都要花好幾個小時，會做出非常糟糕的財務決策。
蘇茨克維的猜測是，人類的價值函數在某種重要的方面受到情緒的調節，這種調節是由進化硬編碼的。也許這對於人類在這個世界上有效行動很重要，“簡單的東西在非常廣泛的情況下非常有用”。
我們能從預訓練中得到這種屬於人類的“價值函數”嗎？蘇茨克維目前也並不確定，“也許如果你足夠擅長從預訓練中挖掘一切，也能得到那個東西。”
值得一提的是，不只是蘇茨克維，AI行業不少先驅也對當前的AI路線提出冷靜的觀點。
圖靈獎得主、Meta AI首席科學家楊立昆（Yann LeCun）在多個場合發表過對LLM技術路線的質疑。他認為，絕大多數同行致力於的大語言模型是死胡同，LLM由於其電腦制的限制，無法進行複雜的推理和規劃，它們只是為了迎合訓練數據的統計規律，根本無法讓電腦真正超越人類智能。
相反，楊立昆認為，世界模型將成為人工智慧架構的主流模型。世界模型通過攝取視覺資訊來瞭解周圍世界，學習方式類似動物幼崽或人類幼兒，而大語言模型則是基於海量文本資料庫的預測模型。
楊立昆將於年底離開工作了12年的Meta，並創建專注於世界模型的初創公司。他認為，如果未來五到十年裏把“世界模型”的相關難題解決了，就有望構建真正智能的、能夠規劃和推理的AI系統。
和楊立昆一樣，“AI教母”、斯坦福大學教授李飛飛也強調建立“世界模型”和空間智能的重要性。11月10日，她發表長文提到，當前以大型語言模型為代表的AI雖然擅長處理抽象知識，卻如同在“黑暗中行走”，缺乏對物理世界的真實理解。
李飛飛解釋道，人類對世界的理解是整體性的，不僅關乎我們“看見了什麼”，還包括事物在空間上的關係、它們的意義以及彼此的關聯，而非僅僅依賴語言描述。為了賦予機器這種能力，我們需要構建一種全新的“世界模型”，一類能構建環境內部表徵的AI系統，在她看來，這種模型要具備生成性、多模態性和交互性三種核心能力。
顯然，對於AI的未來行業尚未達成共識。但可以肯定的是：單純依靠堆算力、擴規模的階段已經結束。行業必須重新思考，到底哪個範式才能真正引領我們走向AGI？(作者| 第一財經 劉曉潔)
