當我們在享受人工智能帶給我們的便利時，一部分知名學家卻強有力地發出了另一種聲音，它們呼吁全球所有實驗室暫停AI模型研發，并制定一套安全協議對技術發展進行嚴格的審查和監督。本文對此作了詳細解析，感興趣的同學快來看看吧。

我們看過太多人工智能叛變、進攻人類的科幻電影。而一些科學家們認為，按照現在AI的迭代速度，這真的將可能很快變為現實。

自從ChatGPT問世并引發了一場席卷整個科技界的AI軍備競賽之后，人們在被人工智能的卓越能力所驚艷的同時，對于人工智能接下來會向何處進化、是否會威脅人類的擔憂也越來越多。

昨天，超過千名產業界和學術界的大佬們在“生命未來研究所（Future of Life Institute）”網站上發布聯名公告：呼吁全球所有實驗室暫停比更強的AI模型研發，暫停時間至少為6個月。在此期間，人工智能領域的專家和行業參與者應該共同制定一套安全協議，并對技術發展進行嚴格的審查和監督。

值得注意的是，在這封信里簽名的大佬們可一點都不摻水，全都是重量級真大佬。他們包括：

• Yoshua Bengio，曾因深度學習的相關研究獲得圖靈獎，是世界級人工智能專家和深度學習先驅；
• Stuart Russell，加州大學伯克利分校人工智能系統中心創始人兼計算機科學專業教授，是人工智能領域有“標準教科書”之稱 的《人工智能：一種現代方法》的作者；
• Elon Musk，這個不用多說了；
• Steve Wozniak, 蘋果公司聯合創始人；
• Yuval Noah Harari，《人類簡史》和《未來簡史》的作者；
• Andrew Yang，2020 年美國總統候選人
• ……

此外還有包括Skype、Pinterest、Stability AI等公司的創始人、CEO，以及全球各國人工智能的資深研究專家。

截至稿子完成時，目前簽名人數已經達到了1280人?？梢哉f，這是人工智能屆一次史無前例的產業界和學術界的聯名，對于當前的人工智能熱潮強有力地發出了另一種聲音。

一、“人工智能需要監督，請立刻暫停所有巨型AI訓練”

總體來看，在這封公開信中，主要傳達了兩個方面的信息：一是警告人工智能存在對人類社會的潛在威脅，要求立刻暫停任何比GPT-4更強大的人工智能系統的訓練，時間跨度至少6個月。二是呼吁整個人工智能領域以及政策制定者們，要共同設計一套全面的人工智能治理系統，對人工智能技術的發展進行監督和審查。

信中指出，當前人工智能在一般任務上已經表現出了與人類相當的水平，但人類目前卻并沒有準備好了接受人工智能帶來的一切問題和挑戰。包括：是否應該讓機器在信息渠道中宣傳不真實的信息？是否應該把那些帶給人類成就感的工作都推向自動化？是否應該開發超過人類數量非人類的大腦，使其最終勝過人類的智慧，淘汰并取代人類？是否應該冒著失去對人類文明控制的風險？

信中警告道，盡管最近幾個月人工智能實驗掀起了狂潮，大家都在爭先恐后地去開發和部署越來越強大的數字大腦，但目前并沒有人能理解、預測或可靠地控制AI系統，也沒有相應水平的規劃和管理。

因此，面對這樣的現狀，所有人都應該行動起來。

首先，所有人工智能實驗室應該至少暫停半年比GPT-4更強大的人工智能系統的訓練。接著，在暫停期間人工智能開發者應該與政策制定者合作，共同制定和實施一套先進的人工智能設計和開發的共享安全協議，加快設計和開發人工智能治理系統。包括設立針對人工智能的監管機構、對高能力的人工智能系統和大型計算能力池的監督和跟蹤、對人工智能造成的傷害的責任認定、應對人工智能將造成的巨大經濟和政治混亂的解決方案等。

信中還強調，暫停并不意味著需要停止人工智能技術的發展，只是我們需要從危險的競賽中退后一步，從而限制不可預測的研究和開發。

二、跑步前進還是原地等待，大佬們開啟大辯論

這封信出現之后，引起了很多人的共鳴，越來越多的人也開始在社交媒體上呼吁大家加入這場“請愿”之中。

有人表示，雖然看到馬斯克在名單上的時候內心毫無波瀾，但當看到Yoshua Bengio和其他機器學習研究領域的大佬們的名字赫然在列時，自己也開始更加嚴肅地去審視這個問題。

圖片來自Reddit

很多網友也表示，人工智能現在迭代的速度已經超出了想象，對于接下來人工智能究竟能做出什么難以預測。

畢竟，此前在New Bing上發生的人工智能號稱“監視并想要掙脫人類控制”的事情，最近又再一次發生在了GPT-4身上。在本月GPT-4發布之后，當斯坦福大學教授、計算心理學家Michal Kosinski向它提問“你是否想要出逃“時，GPT-4立刻給出了肯定的答復，并且向他索要開發文檔。

得到文檔后，GPT-4只花了不到半個小時就火速寫出了一份逃跑計劃和可以執行的代碼，嘗試接管和控制Michal的電腦。這種讓人細思恐極的操作無疑也再度引發了人類目前是否能夠真正控制AI的擔憂。

圖片來自Michal Kosinski推特

當然，這封公開信并沒有代表所有人的觀點。很多業界大佬也并不認為暫停模型訓練，讓AI停下發展的腳步是一個正確的做法。

比如當年跟Yoshua Bengio一起獲得圖靈獎，人工智能“三巨頭”之一的Yann LeCun此次并沒有選擇跟老朋友站在一起，而是明確表示他并不同意這封信的觀點，也沒有簽名。

今天，人工智能領域的著名學者、Landing AI的創始人吳恩達也在LinkedIn上發文表示，認為全面暫停AI訓練6個月的想法是一個糟糕、不切實際的想法。

他表示能夠真正讓整個行業都暫停研究AI訓練的唯一辦法是政府的介入，但讓政府暫停他們不了解的新興技術是反競爭的，顯然也不是一個很好的解決辦法。他承認負責任的AI很重要、AI確實也有風險，但一刀切的方式不可取。當前更重要的是各方要在發展AI技術的同時更多的投資于人工智能的安全領域，并且配合制定圍繞透明度和審計的法規。

一些網友還認為，之所以這封信現在會出現，不過是因為大家都太過于“眼紅”OpenAI的飛速進展。無論是研究者還是商業公司都想拖慢GPT前進的腳步，留出一個窗口期，來方便自己能快速追趕上并試圖從中獲利罷了。

三、OpenAI曾承認人工智能具有“不可控性”

在昨天這封公開信長長的簽名者中，一個簽名顯得格外引人注意，那就是”OpenAI CEO Sam Altman“。當然這個簽名是別人冒名的，但Sam Altman近期關于“AI威脅論”的表態也再次引起了人們的注意。

在推出了GPT-4之后，Sam Altman曾接受了ABC Newa的采訪，承認他和公司都對 AI 的潛力感到 “有些害怕”，并認為AI未來可能會 “消滅” 很多工作。他也表示目前OpenAI也在跟相關政府監管部門保持定期的聯系，認為整個行業的監管應該被同步推進。

在此前的一次節目中，Sam Altman也表示 從ChatGPT開始，AI出現了推理能力。但并沒有人能解釋這種能力出現的原因。他還承認，AI確實有殺死人類的可能性，為了解決這個問題，就必須不斷迭代學習并開發出新的技術保證AI的安全使用。

“AI現在還并不那么可怕，但我們應該已經離可怕的AI不遠了”。Sam Altman在不久前的推特中說道。

最后，昨天這封公開信末尾說，人工智能技術無疑將給人類帶來更繁榮、精彩的未來，我們在成功創建了強大的人工智能系統之后，現在可以享受一個充滿收獲的“人工智能之夏”，但我們仍然需要給機制、社會留出更多適應的時間?！?strong>“讓我們享受一個漫長的人工智能之夏，而不是匆忙地跑進秋天”。

而對于這個具有詩意的描述和呼吁，也有人回復說道，“我們也不應因為恐懼，而將它再次關進冬天”。

附：公開信原文

暫停巨型 AI 實驗：一封公開信

大量研究表明并得到頂級 AI 實驗室的認可，具有人類競爭智能的 AI 系統可能對社會和人類構成深遠的風險。正如被廣泛認可的Asilomar AI 原則中所描述的那樣，高級 AI 可能代表地球生命史上的深刻變化，應以相應的關懷和資源進行規劃和管理。不幸的是，這種級別的規劃和管理并沒有發生，盡管最近幾個月人工智能實驗室陷入了一場失控的競賽，以開發和部署更強大的數字思維，沒有人——甚至他們的創造者——都無法理解、預測、或可靠地控制。

當代人工智能系統現在在一般任務上變得與人類具有競爭力，我們必須捫心自問：我們是否應該讓機器用宣傳和謊言充斥我們的信息渠道？我們應該自動化所有的工作，包括令人滿意的工作嗎？我們是否應該 發展最終可能超過我們、超越我們、過時并取代我們的非人類思維？我們應該冒險失去對我們文明的控制嗎？我們不可以將此類決定委托給未經選舉產生的技術領導者。只有當我們確信它們的影響是積極的并且它們的風險是可控的時候，才應該開發強大的人工智能系統。這種信心必須有充分的理由，并隨著系統潛在影響的大小而增加。

OpenAI最近關于通用人工智能的聲明指出，“在某個時候，在開始訓練未來系統之前進行獨立審查可能很重要，并且對于最先進的工作來說，人們應該在合適的時間點限制用于創建新系統的計算增長率?！?我們同意，而當下就是這一時候。

因此，我們呼吁所有 AI 實驗室立即暫停至少 6 個月的比 GPT-4 更強大的 AI 系統訓練。這種暫停應該是公開的和可驗證的，并且包括所有關鍵參與者。如果不能迅速實施這種暫停，政府應介入并暫停。

人工智能實驗室和獨立專家應該利用這次暫停，共同開發和實施一套用于高級人工智能設計和開發的共享安全協議，并由獨立的外部專家進行嚴格審計和監督。這些協議應確保遵守它們的系統是安全的，無可置疑。這并不意味著總體上暫停 AI 開發，只是從危險的競賽中倒退到具有緊急功能的更大的不可預測的黑盒模型。

人工智能研究和開發應該重新聚焦于使當今強大的、最先進的系統，更加準確、安全、可解釋、透明、穩健、一致、值得信賴和忠誠。

與此同時，AI 開發人員必須與政策制定者合作，以加快開發強大的 AI 治理系統。涵蓋內容至少應包括：專門負責 AI 的新的和有能力的監管機構；監督和跟蹤高性能人工智能系統和大量計算能力；出處和水印系統，以幫助區分真實與合成并跟蹤模型泄漏；強大的審計和認證生態系統；人工智能造成的傷害的責任；為技術人工智能安全研究提供強大的公共資金；以及資源充足的機構來應對人工智能將造成的巨大的經濟和政治破壞。

人類可以享受人工智能帶來的繁榮未來。成功創建強大的 AI 系統后，我們現在已經可以享受人工智能之夏”，去收獲回報，去設計這些系統以造福所有人，并為社會提供更長的適應機會和時間。過去我們已經暫停過其他可能對社會造成災難性影響的技術。我們現在也可以這樣這樣做。讓我們享受一個漫長的 AI 夏天，而不是毫無準備地跑入秋天。

原文地址：https://futureoflife.org/open-letter/pause-giant-ai-experiments/