多年來，研究人員一直在爭論神經網絡是否能實現類似人類的系統泛化，而現在，研究人員發現，神經網絡或許真的具有類似人類語言的泛化性能，AI的發展潛力再次被證明了。一起來看看本文的發現和分享。

35年來，認知科學、人工智能、語言學和哲學領域的研究人員一直在爭論神經網絡是否能實現類似人類的系統泛化。

具體來說，人們一直認為，AI無法像人類一樣具有「系統泛化（systematic generalization）」能力，不能對沒有經過訓練的知識做到「舉一反三」，幾十年來這一直被認為是AI的最大局限之一。

最近，NYU和西班牙龐培法布拉大學的研究者首次證明——它可以！

他們在這個方向取得了里程碑式的突破，論文已經刊發在了Nature上。

論文鏈接：https://www.nature.com/articles/s41586-023-06668-3#auth-Brenden_M_-Lake-Aff1

研究人員提出了一種新的神經網絡訓練方法——MLC（Meta-Learning for Compositionality），能夠大幅提高神經網絡「舉一反三」的能力，甚至能夠超越人類！

人類之所以能夠做到舉一反三，快速掌握復雜語言的含義或者某種技巧，是因為人類天生具有「系統泛化」的能力。

舉個例子，如果我們從未聽過「秦始皇戴小紅帽——贏到姥姥家了」這個短語，但知道「秦始皇叫嬴政」，知道「小紅帽」的故事，就能理解這個歇后語，還能把它用在正確的地方。

但就算是「先進如GPT-4」的AI模型卻還是無法理解這個歇后語，即使他知道「秦始皇叫嬴政」，以及「小紅帽」的故事。

研究人員通過一種新的神經網絡訓練方法——MLC在變化的任務環境中訓練模型，使模型逐步獲得組合詞匯含義的系統性推理能力。

結果表明，MLC模型不僅可以做出符合邏輯的響應,還能捕捉人類偏差性錯誤的規律,在人機對比中展現出驚人的人類化思維。

甚至，通過MLC訓練出來的模型，系統泛化能力已經碾壓了GPT-4。

論文作者同時還強調，如果孩子們在自然成長的體驗中也有類似MLC這樣的組合和激勵機制，就可以解釋人類的系統性泛化能力的來源。

這項研究可能會對人工智能和認知科學都產生深遠影響。

它表明合適的方法可以讓標準神經網絡獲得人類語言思維的核心特征——系統性復合推理能力。

盡管當今最強大的AI模型（例如 ChatGPT）可以在許多對話場景中發揮作用，但在對未訓練過的知識的理解能力上，仍然存在不足。

某種程度上導致了模型「幻覺」問題一直無法有效解決。

針對LLM的局限，作者強調，「研究通過MCL來解鎖了系統性泛化（SG）的更加強大的能力之后，也可能幫助大語言模型來克服自身固有的缺陷?！?/p>

一、理解系統性泛化（Understanding Systematic Generalization）

這一突破性的研究在于系統性概括的概念。當我們人類在不同的環境時，擁有毫不費力地適應和使用新學單詞的能力。
例如，「Photobomb」是一個英語俚語，指的是在拍照時突然出現在照片中，通常是有意而為之，以吸引注意力或制造幽默效果。

一旦我們理解了「Photobomb」這個詞，我們就會本能地知道如何在各種情況下使用它，無論是「兩次Photobomb」還是「在使用Zoom期間進行Photobomb」。

同樣地，當人類理解「狗追貓」這樣的句式結構之后，可以輕松掌握「貓追狗」的含義。

然而，人類固有的舉一反三的理解和泛化能力，對于人工智能來說一直是具有挑戰性的前沿領域。

傳統的神經網絡是AI研究的支柱，但是它不具備理解和泛化能力，神經網絡只會努力合并一個新單詞，否則需要靠大量的樣本進行廣泛的訓練。

幾十年來，這種受限的泛化性一直是AI研究人員爭論的話題，關于神經網絡作為人類認知過程的真實反應是否可行，引發了大量的討論。

在本文中，研究人員提供了證據，證明神經網絡可以通過研究人員提出的MLC（Meta-Learning for Compositionality）系統實現類似人類的系統泛化。

MLC 是研究人員提出的一種優化程序，旨在通過一系列少樣本合成任務來激勵系統性（如下圖1）。

研究人員展示了MLC如何通過實踐來提高神經網絡的組合技能（Compositional Skills）。

MLC獲得一個新詞（或規則系統）并嘗試系統地使用它。在不斷地修正和更新「理解」之后，可以對下一個新詞重復該過程。

研究人員構建的MLC只使用了常見的神經網絡，沒有添加符號機制，也沒有手工設計的內部表示或歸納偏差。

相反，MLC提供了一種通過高級指導和/或直接人類示例來指定所需行為的方法；然后要求神經網絡通過元學習（Meta Learning）來培養正確的學習技能。

為了證明MLC的能力，研究人員在相同的系統泛化測試中并排對比評估了人類和機器的能力。

具體來說，研究人員，在偽語言(pseudolanguage)指令學習任務中使用代數或數學概念，以測試人類和機器學習系統對這些概念的理解和應用能力。

還研究了人們對高度模糊語言的探測反應。這些語言探測的設計目的是了解人類在面對模糊信息時的傾向或偏差。

即人類如何進行歸納推理，以及這些傾向或偏差是如何可能促進或者阻礙系統性泛化。

在對結果進行了評估之后，研究人員發現，MLC實現（甚至超過）人類水平的系統泛化！

當人類行為偏離純粹代數推理時，MLC 還會產生類似人類的錯誤模式。

這表明神經網絡是一種卓越的建模工具，可用于細致入微的人類組合行為。

在最后一組模擬中，研究人員展示了 MLC 如何提高流行基準的準確性，以實現少樣本系統泛化。

二、研究細節（The Study in Detail）

為了更深入地研究神經網絡的功能及其語言泛化的潛力，作者進行了全面系統的實驗，其不僅研究了機器，25名人類也交叉地參與其中，以此作為AI的表現基準。

在實驗中使用了一種偽語言，即參與者不熟悉的單詞，這樣能夠確保參與者真正第一次學習這些術語，從而為測試泛化性能提供一個可信的baseline。

如上圖（左側），原始類別包括「dax、wif、lug」等單詞，它們象征著類似于「jump、skip」跳過與跳躍的基本動作（下圖左側）。

另一方面，使用更抽象的功能詞，比如「blicket、kiki、feg」，為之前的原始詞術語的應用和組合制定了規則，從而推斷出「skip twice、walk backwards」等序列。

在培訓參與者的過程中還引入了視覺元素，每一個原始單詞都與特定顏色的圓圈相關聯。

例如，如下圖，紅色圓圈代表「dax」，而藍色圓圈代表「lux」。

制定好顏色單詞映射規則后，接下來，向參與者展示原始語和功能詞的組合，并附帶彩色的圓圈圖案。

例如，一個短語「fep」與三個紅色圓圈配對，說明「fep」可能代表一個動作的三次重復。

此外，為了衡量參與者的理解能力和系統性的概括能力，還向它們展示了原始詞和功能詞的負責組合。參與者的任務是準確地推斷出圓圈的顏色和數量，并進一步給出正確的排列順序。

三、影響力和專家意見（Implications and Expert Opinions）

這項研究不僅僅是人工智能研究史冊上的又一個增量，還代表了范式的轉變。

神經網絡的性能密切反映了類人系統的泛化能力，這引起了廣泛學者和行業專家的關注。

著名約翰霍普金斯大學語言專業認知科學家Dr. Paul Smolensky表示：

「在訓練過程中能讓網絡擁有系統化能力的重大突破?！?/p>

如果可以訓練網絡進行系統泛化，那么這些模型就可能徹底改變聊天機器人、虛擬助手等諸多應用程序。

然而，這種發展不僅僅是技術的進步，它還觸及了AI界長期存在的爭論：

「神經網絡是否真的可以視作準確模擬人類認知的工具？」

在過去的近四十年里，這個問題一直是AI研究者們爭論不休的焦點。盡管有些人相信神經網絡有潛力模擬類似人類思維過程，但另一些人依然對它們的天生局限表示懷疑，特別是在語言泛化領域。

這項研究的結果帶來了新的希望，使人們變得更加樂觀。

正如紐約大學認知計算科學家、該研究的共同作者Brenden Lake所指出的，神經網絡過去可能一直在取得艱難的進展，但通過正確的方法，它們確實可以被調整和訓練，以更好地反映人類認知的各個方面。

四、邁向人機無縫協同的未來

AI從起初的萌芽階段到如今強大，經歷了不斷地演化和突破。最近在訓練神經網絡系統的概括語言方面取得的成就再次證明AI的無限潛力。

當我們處于這個關頭時，有必要認識到這些進步的廣泛應用。

我們正一步步接近未來：機器不僅能理解人類的的語言，還能掌握細微的差別和語義，從而促進更加無縫和直觀的人機交互未來。

參考資料：

https://www.nature.com/articles/s41586-023-06668-3