9月14日，《經濟學人》對Inflection 創始人 Mustafa Suleyman 以及《人類簡史》作者 Yuval Noah Harari 進行了一次專訪，主編Zanny Minton-Beddoes圍繞 AI 與Mustafa以及 Yuval討論了未來的社會與經濟格局、監管、風險以及技術的不確定性：?

• 未來5年的模型大小，會是GPT-4的1000倍；
• 人類歷史是智慧的產物，AI涌現出來的機會；
• AI 帶來的三層潛在風險：就業、財富以及政治；
• AI 的奧本海默時刻？對技術的監管與防范；
• 面對新的技術和創新人類會后悔么？

以下為完整內容，enjoy ??

一、未來5年的模型大小會是GPT-4的1000倍

Zanny Minton-Beddoes

Mustafa ，先從你開始，你正在構建這個未來，給我們描繪一下未來會是什么樣子，我會給你一個具體的時間框架，在你的書中提到，認為在 3～5 年內 AI 可能會在各種領域具有人類水平的能力是可行的，那么讓我們以 5 年時間，2028 年為例，世界會是什么樣子？我將如何與 AI 互動？我們都會在做什么，不會做什么？

Mustafa Suleyman

讓我們回顧一下過去的 10 年，以了解我們所處的軌跡以及我認為現在每個人都能看到的生成 AI 革命的令人難以置信的動力。在過去的 10 年里，我們在分類信息方面做得非常出色。我們可以理解信息，分類它，標記它，組織它，這種分類對于啟用下一波非常關鍵，因為現在我們可以閱讀圖像的內容，我們可以很好地理解文本。我們可以對音頻進行分類并將其轉錄成文本。機器現在可以對這些思想的概念表示有一個相當好的了解。

接下來的階段就是我們現在所看到的生成 AI 革命?，F在我們可以生成新的圖像、新的視頻、新的音頻，當然還有新的語言。

在過去 1 年左右，隨著 ChatGPT 和其他 AI 模型的崛起，看到這些新語言模型的合理性、準確性以及非常精致的表現實在令人難以置信。在接下來的 5 年里，前沿模型公司，那些在訓練最大的 AI 模型方面處于前沿的公司，將會訓練比今天在 GPT-4 中看到的模型大 1000 倍的模型。每增加一個數量級的計算（即使用 10 倍的計算量），我們都會看到全新的能力涌現。

我們預測，新的能力將在未來 5 年內涌現，即能夠跨越多個時間范圍進行計劃。模型不僅能夠一次性生成新的文本，還能夠在一段時間內生成一系列行動。我認為這將是未來 5 年內我們將看到的 AI 的特點。具有人工能力的 AI 不僅可以說話，還可以做事情。

Zanny Minton-Beddoes

在實踐中，這到底意味著什么呢？用你的想象力告訴我，在2028 年，我的生活會是什么樣子？我將如何與它們互動？我將做什么？有什么不同？所以我實際上。

Mustafa Suleyman

我提出了一個現代圖靈測試，試圖評估正是為了這一點，對吧？上一個圖靈測試只是評估機器能說什么，假設它所說的代表了它的智能。

現在我們正在接近這一時刻，這些 AI 模型已經相當不錯，可以說它們已經通過了圖靈測試，或者也許它們將在未來幾年內通過。真正的問題是，我們如何衡量它們能做什么？所以我提出了一個測試，它涉及到它們接受10萬美元的投資，并在三個月的時間內嘗試創建一個新產品，研究市場，看看消費者可能喜歡什么，生成一些新的圖像，制定如何制造該產品的藍圖，聯系制造商，談判價格，發貨，最后收取收入。

我認為在 5 年的時間內，很可能會有一種具有人工能力的智能，能夠自主完成其中的大部分任務。它不能完成整個過程。沿途有許多棘手的步驟，但它將能夠打電話給其他人類進行談判。它將能夠呼叫其他 AI 以建立正確的供應鏈順序，例如，調用。當然，它將學會使用API，即應用程序編程接口，用于其他網站、其他知識庫或其他信息存儲。所以世界是你的橡殼，你可以想象將其應用到我們經濟的許多不同領域。

Zanny Minton-Beddoes

不怎么使用智能手機的 Yuval ，聽到這個，你感到恐慌嗎？你同意這個觀點嗎？你認為在未來 5 年內會發生這種事情嗎？

Yuval Noah Harari

我會非常認真地對待這個。我不知道，我不是來自利益相關方行業，所以我不能評論這是否可能發生。但當我作為一位歷史學家聽到這個時，對我來說，我們剛剛聽到的，這是人類歷史的終結，不是歷史的終結，是人類主導的歷史的終結，將繼續由其他人控制。因為我們剛剛聽到的基本上是 Mustafa 告訴我們， 5 年內將會有一種技術可以獨立做決策，可以獨立創造新的想法。

這是歷史上第一次我們面對這樣的事情。歷史上的每一項技術，從石頭刀到核彈，它都不能做出決策。比如，投下廣島的原子彈的決策不是由原子彈做出的，而是由杜魯門總統做出的。同樣，歷史上的每一項技術，它只能復制我們的想法。比如收音機或印刷機，它可以復制并傳播一些人類寫的音樂、詩歌或小說?，F在我們有了一種技術，它可以創造全新的想法，并且它可以做到遠遠超出人類能力的規模。

二、人類歷史是智慧的產物，AI涌現出來的機會

Zanny Minton-Beddoes

AI可以創造新的想法，并且在重要領域內，在 5 年內我們將能夠付諸實踐。這是一個深刻的轉變。在我們討論這可能是人類歷史的終結的各種方式之前，讓我們首先短暫地談一下可能的積極方面。因為有很多，而且它們非常重要。我認為你提到了，這項技術有潛力幫助我們解決非常困難的問題，并創造出巨大的積極成果。那么，在我們深入討論潛在的風險和不利因素之前，我們能不能先從那方面開始？機會究竟是什么？

Yuval Noah Harari

我并不是說人類毀滅或者什么的。有很多積極的可能性。只是控制權正在從人類轉移到一種外來的智能，一種非人類智能。

Zanny Minton-Beddoes

我也會談到這個，因為有一個問題，權力有多大，但讓我們先從潛在的積極方面開始，機會是什么？

Mustafa Suleyman

我們在人類歷史上創造的一切都是我們智慧的產物。我們的能力在某種抽象的層面上是做出預測，然后干預這些預測以改變世界的走向，這是我們產生公司、產品和改變我們這個世紀的所有價值的方式。我是說，如果你想一想，僅僅一個世紀前，一公斤谷物的生產勞動力要比今天多 50 倍。這種效率，這是農業領域你所看到的軌跡，很可能是智能領域也會出現的軌跡。

我們周圍的一切都是智慧的產物。而我們用這些新工具接觸到的一切很可能會產生比以往任何時候都更多的價值。我認為重要的是說，這些不是默認情況下就是自主工具。這些能力不會自然地從我們試圖工程化的模型中涌現出來。

我們面臨的挑戰是對我們想要從模型中涌現的那些能力，對我們想要構建到模型中的那些能力以及我們設置的約束要非常明確和精確。非常重要的是不要將我們自己的約束投射到這些模型中，不要投射可能的意圖、可能的代理性或可能的自主性。在接下來的幾十年中，對我們來說治理挑戰非常重要，以確保我們始終能夠對這一發展軌跡的發展施加我們的約束。

Zanny Minton-Beddoes

將出現的能力將意味著，例如，人類健康有可能發生根本性的改善，加速創新過程，科學發現的方式發生戲劇性變化，無論是氣候變化還是我們面臨的許多重大挑戰，都可以更容易地解決。

Mustafa Suleyman

每個人都會在口袋里擁有一個個人智能，一個智能而有能力的助手，一個不斷為你優先處理信息的研究助手，為你提供你需要在任何給定時刻采取行動的正確綜合知識精華。毫無疑問，這將使我們所有人都更聰明、更有能力。

Zanny Minton-Beddoes

這部分聽起來對你來說吸引人嗎， Yuval ？

Yuval Noah Harari

當然。我是說，如果沒有積極的潛力，我們就不會坐在這里。沒有人會開發它。沒有人會投資它。它太有吸引力了。積極的潛力在一切方面都是如此巨大，從更好的醫療保健，更高的生活水平，解決氣候變化等等。

這就是為什么它如此誘人。這就是為什么我們愿意承擔巨大的風險。我只是擔心，最后交易可能不值得。我特別要評論的是，再次，我認為智能的概念被高估了。它同時也是地球上最具破壞性的實體，在某些方面也是地球上最愚蠢的實體，唯一一個將生態系統的生存置于危險中的實體。

Zanny Minton-Beddoes

你認為我們正在用更多的破壞性風險來交換更多的智能嗎？

Yuval Noah Harari

我們仍然有機會。還有幾年。我不知道有多少，5年、 10 年、 30 年。我們仍然有機會。我們仍然是塑造這個方向的駕駛座上的人。沒有技術是決定性的。這是我們從歷史中再次學到的教訓。你可以用同樣的技術以不同的方式，你可以決定如何發展它，所以我們仍然有機會，這就是為什么我們必須非常仔細地考慮我們正在發展什么。

三、AI 帶來的三層潛在風險：就業、財富以及政治

Zanny Minton-Beddoes

這個問題是 Mustafa 在這本書中一直在做的事情。我現在想討論一下最常討論的風險。我正在努力想出我應該按糟糕程度的順序來進行，所以我從相對于人類滅絕來說可能不那么糟糕的問題開始，這個問題是關于工作的， AI 是否會摧毀一切工作，因為 AI 在一切方面都比人類更出色。

我從歷史的角度看，我覺得這以前從來沒有發生過，分工論的謬誤確實是一個謬論。但是告訴我你對此的看法。你認為有工作的風險嗎？

Mustafa Suleyman

這取決于時間框架。在 10～20 年的時間內。我直覺上認為，你說得對，迄今為止的證據并不支持這一點，工作不會真正受到重大威脅。有足夠的需求。將會有大量的工作。

在 30～50 年的時間范圍內，很難推測。我是說，至少可以說，兩年前，我們認為這些模型永遠不能表現出同情心，我們說我們人類總是會保留善良、理解和彼此關心作為一種特殊的技能。四年前，我們說， AI 永遠不會有創造力?，F在人類將永遠是創造性的，發明新事物，做出新的思想之間的驚人飛躍是不言而喻的。

現在這兩種能力，這些模型都做得非常出色，所以我認為在一段時間內， AI 會增強我們的能力。他們讓我們更快、更高效、更準確、更有創造力、更有同情心，等等。

在很多年的時間里，很難說有哪些技能是人類物種永久的保留，考慮到這些模型顯然非常有能力。這就是遏制挑戰的真正問題所在。我們必須做出決策。我們必須作為一個物種決定在 30 年的時間內什么是可接受的，什么是不可接受的。這意味著政治和治理。

Yuval Noah Harari

就工作而言，我同意，像沒有工作的情景，這是不太可能的情景，至少在未來幾十年內是這樣。但我們必須更仔細地看待時間和空間。從時間上看，過渡期是危險的。我的意思是，一些工作會消失，一些工作會出現。人們必須進行過渡。只要記住，希特勒之所以在德國掌權，是因為三年內失業率達到了25%。

由于 AI 對工作市場造成的動蕩，一些工作會消失，一些新工作會產生。這可能會引發巨大的社會和政治動蕩。然后更大的問題是空間問題，工作的消失和新工作將在世界的不同地方創建。

因此，我們可能會看到這樣的情況，即在加利福尼亞州、德克薩斯州或中國，需要更多的計算機工程師和瑜伽教練等等工作，而整個國家失去了經濟基礎。所以，不僅僅是地球上工作的總數，還有在不同國家之間的分配。

Mustafa Suleyman

讓我們也盡量記住，工作不是目標，工作不是我們期望的最終狀態。我們創造文明不是為了實現充分就業。我們創造文明是為了減少每個人的苦難。追求豐富是一個真實存在的問題。我們必須用更少的資源生產更多的產品。沒有辦法擺脫這樣的事實，即在未來一個世紀，人口增長注定會激增，關于我們所處的人口統計、地理和氣候軌跡，有許多實際的現實會推動我們需要生產正是這些工具的這些方面的實際情況。

我認為這應該是一個愿景。許多人做的工作都是令人疲倦和累人的，他們找不到工作中的樂趣，找不到自己的身份，這太可怕了。所以我認為我們必須關注這個獎勵，即這些模型將產生的價值，然后考慮再分配。最后，過渡才是問題所在。我們必須通過征稅來管理這個過渡，但只是。

Yuval Noah Harari

在重新分配方面，我認為困難的地方在于，我認為這些技術將創造巨大的新財富。我不太確定政府是否能夠以公平的方式在全球范圍內重新分配這些財富。我只是認為美國政府不會增加加利福尼亞或得克薩斯州公司的稅收，然后將這些錢用來幫助巴基斯坦或危地馬拉的失業紡織工人重新培訓，以適應新的就業市場。

Zanny Minton-Beddoes

那實際上把我們帶到了第二個潛在風險，即 AI 對整個政治體系的風險。Yuval 在你的一篇文章中，你提醒我們，自由民主實際上是工業革命的產物，今天的政治體系實際上是經濟體系的產物。因此，我認為有一個非常好的問題，如果經濟體系被從根本上改變，那么我們所知道的自由民主是否會幸存下來？

Yuval Noah Harari

此外，這不僅僅是工業革命，還有19世紀和20世紀的新信息技術。在19世紀之前，我不知道有沒有任何一個例子，可以證明在歷史上曾經有一個大規模的民主。我的意思是，你可以找到一些小規模的例子，比如狩獵采集部落或古代雅典這樣的城邦國家，但我不知道有沒有一個我知道的例子，可以證明成百萬人分布在一個大領土上，一個整個國家，能夠建立和維持一個民主制度。為什么？因為民主是一種對話。

在過去，沒有信息技術和通信技術能夠在整個國家范圍內進行數百萬人之間的對話。只有當報紙首次出現，然后是電報、無線電和電視等新信息技術時，這才成為可能。因此，現代自由民主正是建立在特定的信息技術之上的。一旦信息技術發生變化，自由民主是否能夠幸存下來，這是一個懸而未決的問題?，F在最大的危險是與我們所面臨的相反情況相反。在中世紀，數百萬人之間的對話是不可能的，因為他們根本無法交流。

但在21世紀，另一些東西可能會使對話變得不可能。如果人與人之間的信任再次瓦解，如果 AI ，如果你上網，這現在是我們在國家層面上進行對話的主要方式，而在線空間被非人類實體淹沒，它們可能偽裝成人類。你和某人交談，你不知道這是否甚至是人類。你看到了一些東西，你看到了一個視頻，你聽到了一個音頻，你不知道這是真的，這是假的嗎？這是人嗎？這不是人嗎？我的意思是，在這種情況下，除非我們有一些防護措施，否則對話將會崩潰。

Zanny Minton-Beddoes

當你說 AI 風險會入侵操作系統時，你是指這個嗎？

Yuval Noah Harari

這是其中一種情況，如果機器人可以冒充人類，基本上就像金融系統中發生的情況一樣。人們發明了貨幣，可以偽造貨幣，制造假幣。拯救金融系統免于崩潰的唯一方法是對偽造貨幣實施非常嚴格的監管。因為制造假幣的技術一直存在，但大家都知道，如果允許偽造貨幣傳播，貨幣的信任就會崩潰?，F在我們在政治對話中也面臨類似的情況，現在可以創建虛假的人物。如果我們不禁止這種行為，那么信任就會崩潰。

Zanny Minton-Beddoes

我們將會討論是否繼續禁止。

Mustafa Suleyman

使人們能夠自由傳播的權利已經成為過去 30 年的故事。數億人現在可以創建播客和博客，他們可以自由在 Twitter 和互聯網上傳播他們的思想?？傮w而言，我認為這是一種非常積極的發展。你不再必須獲得頂級報紙的權限或獲得成為那種機構的必要技能。當時許多人擔心這將摧毀我們對大型新聞媒體和機構的信譽和信任。

我認為我們已經非常成功地適應了這一變化。是的，會有很多動蕩和不穩定。但是在每一波新的浪潮中，我們都在提高識別真相、摒棄胡言亂語的能力。接下來的浪潮中將出現技術和治理機制，我們可以討論一下，以解決諸如機器人模仿之類的問題。

我是完全贊同的，我認為我們應該禁止數字人物的冒充，且不應該讓其在 Twitter 上發布各種胡言亂語，他對現實世界非常熟悉，所以我認為有技術機制可以防止這類問題發生。這就是為什么我們正在討論它們。

Yuval Noah Harari

有機制，我們只需要運用它們。我想說兩件事。首先，給更多的人發聲是一件非常好的事情，但是機器人沒有言論自由。因此，禁止機器人，或者說它們不應該享有言論自由。

這非常重要。過去 30 年有一些很棒的發展，但是我非常擔心，當你看看像美國、英國、某種程度上像以色列這樣的國家時，你會被事實打動，我們擁有有史以來最先進的信息技術，但我們再也無法互相交流，我的印象，也許你對美國政治或其他民主國家的政治印象不同。

我的印象是信任正在崩潰，對話正在崩潰，人們無法再就誰贏得了上次選舉達成一致意見。在民主制度中，最基本的事實，即上次誰贏得了選舉？我們以前有很大分歧，但我覺得現在不同了，對話真的正在崩潰。我不確定為什么，但真的很令人不安，與此同時，我們擁有有史以來最強大的信息技術，人們不能再互相交流。

Zanny Minton-Beddoes

實際上，我們進行了一項研究，你可能已經看過了，我們進行了一項關于 AI 可能對選舉和政治體系短期影響的大型封面專題報道。我們的結論實際上是，在短期內， AI 可能影響相對有限，因為已經存在的信任程度已經很低。

所以這是一個雙刃劍的答案，因為情況已經相當糟糕。但是你們都說在我們詳細討論之前，需要進行監管。執行監管的機構是國家和國家政府。然而， Mustafa ，在你的書中，你擔心國家的權力潛在地受到侵蝕。你能詳細解釋一下這一點嗎，作為我逐漸上升的風險的第三部分？

Mustafa Suleyman

挑戰在于，恰在我們需要國家來對我們負責的時刻，國家正在承受信任不足、巨大分化以及政治進程崩潰的壓力。再加上，最新的模型是由私營公司和開源社區開發的。重要的是要認識到不僅僅是最大的 AI 開發者。這些技術在開源代碼中廣泛可用，人們可以免費從互聯網上下載。

它們可能落后于最先進的大模型約 1 年或 1 年半的時間。因此，我們面臨著雙重挑戰，即在現有機制有點有問題的情況下，如何使中央權力負責，并如何解決互聯網上的大規模傳播問題？這是一個非常大的挑戰。我們開始看到公司自發組織的倡議，他們同意積極簽署自我監督的協議，包括審計和不會探索的功能等等。

現在，我認為這只能部分安撫人們，或者甚至可能一點也不安撫人們。但事實是，我認為這是正確的第一步，因為我們還沒有展示出 AI 可能會帶來大規模危害。我認為這是通用技術浪潮中的一個首次機會，我們開始采取謹慎原則。我強烈主張這一點。

我認為我們應該采用“不造成傷害”的原則。這可能意味著我們必須放棄一些好處，一些成果可能暫時無法實現，我們可能會失去一些幾年內可能獲得的收益，回顧歷史后，我們可能會認為，哦，我們本可以更快一些。我認為這是正確的權衡。這是一個謹慎的時刻。事情發展得非?？?，直到我們看到這一浪潮如何展開一段時間后，我們才能完美地平衡風險和收益。因此，我喜歡我們公司 Inflection AI 和其他大型開發者正試圖采取更謹慎的方法。

四、AI 的奧本海默時刻？對技術的監管與防范

Zanny Minton-Beddoes

你們兩位都廣泛討論了這項技術帶來的挑戰?，F在，在這個領域的從業者中，有一種關于滅絕級別風險的游戲，人們正在大談特談。實際上，我不知道，事實上我應該問你們，在你們現在的工作中，百分之多少的時間專注于風險，因為你們正在推廣你們的書。但是，現在人們對此非常關注，這是很好的事情。

我們早早地開始思考這個問題。我認為這使我們進入了我們對話中最重要的部分，那就是我們要做什么？Mustafa ，你列出了一個10點計劃，這是一種行動，不僅僅是像你和我一樣進行評論的人會做的事情。所以告訴我們，作為人類、政府和社會，我們需要采取哪些措施，以確保我們實現這項技術的好處，但將風險降至最低？

Mustafa Suleyman

有一些非常實際的事情。例如，對這些模型進行紅隊測試，即對它們進行對抗性測試，試圖讓它們承受盡可能多的壓力，以迫使它們生成有關如何生成生物或化學武器、如何制造炸彈等方面的建議。這已經相當重要。

我們可以看到它們的弱點。過去 1 年發布這些模型的一部分，使每個人都有機會看到它們不僅僅是多么強大，還有它們的弱點。這是令人安心的。我們需要在公開場合進行這些測試。這就是為什么我非常喜歡目前的開源社區，因為真正的開發者可以使用這些模型并看到產生有時我們擔心它們會非常具有操縱性和說服力的能力實際上有多么困難。所以第一件事就是公開測試。第二件事是，我們必須共享最佳實踐。

因此，存在一種競爭張力，因為安全性將成為一項資產。如果我擁有更安全的模型，我將向我的消費者提供更好的產品。但當然，如果我發現模型中的漏洞或弱點，那么我應該分享，就像我們在技術的許多領域，不僅僅是軟件安全領域，而是在飛行航空領域，黑匣子記錄儀，例如，如果發生重大事故，不僅記錄了飛機上的所有遙測數據，還記錄了機組人員在駕駛艙內的一切對話。

如果發生重大安全事故，那么這些信息將與世界各地的競爭對手共享，這是偉大的。盡管從表面上看，飛機是一種非常奇怪的交通工具，如果向外星人描述在40000英尺的天空中飛行，這是一種非常奇怪的事情。所以我認為我們可以借鑒這個先例。

我還同意，現在可能是時候明確聲明我們不應允許這些工具用于競選。我是說，我們還不能信任它們。我們還不能信任它們穩定可靠。我們不能允許人們使用它們來偽造數字人物。顯然，我們已經談論過這個問題。因此，有一些能力我們可以開始從談判桌上拿掉。另一個是自主性?，F在，我認為自主性是一組非常危險的方法。它令人興奮，它代表了一種可能性，可能會非常不可思議，但我們還沒有掌握風險和局限性。

同樣地，訓練 AI 來更新和改進自己的代碼。這種遞歸自我改進的概念，即關閉循環，使 AI 負責定義自己的目標，獲取更多資源，并根據某個目標更新自己的代碼，這些都是相當危險的能力。

就像我們有KYC（了解你的客戶），或者像我們許可核技術的開發商以及涉及供應鏈的所有組件一樣。如果一些大型技術提供商希望嘗試這些能力，那么他們應該期望進行徹底的審計，應該期望他們獲得許可，并且應該有獨立的監督。

Zanny Minton-Beddoes

那么，如何完成這個任務呢？在我看來，有幾個挑戰。首先是相對較少的領先模型與眾多開源模型之間的差異，你們有一個領先模型，然后有更多人可以訪問的開源模型。我感覺后者的能力略遜于前者，但它們一直在不斷增長。如果真的有相當大規模的開源能力，那么有什么阻止憤怒的十幾歲的小鎮居民開發可能會關閉當地醫院的能力呢？在你的監管框架中，如何防范這種情況？

Mustafa Suleyman

挑戰的一部分是這些模型變得越來越小、越來越高效。我們從技術發展的歷史上知道，對我們有用和有價值的任何東西都會變得更便宜、更容易使用，然后廣泛傳播。因此，在20、30、40年的時間里，這項技術的命運必然是傳播。我們必須面對這個現實。這并不矛盾，是因為傳播似乎是不可避免的，但遏制中央權力是一個同等的挑戰。

因此，對此沒有簡單的答案。我是說，除了監視互聯網，很明顯，在 30 年后，就像你說的，車庫里的業余愛好者將能夠進行實驗。如果看一下合成生物學的發展軌跡，我們現在擁有臺式合成器。這是一種能夠合成新的合成化合物的能力。它的成本約為20000美元，它基本上使你能夠創造比我們在對付新冠病毒時更易傳播或更致命的分子。

你基本上可以進行實驗。挑戰在于沒有監督。你可以從貨架上買到它，你不需要太多的培訓，可能今天的生物學本科生就足以進行實驗?，F在，當然，它們會變得更小、更容易使用，并廣泛傳播。因此，我在我的書中真的試圖弘揚這樣一個觀點，即這是未來幾十年的最重要的遏制挑戰。

Zanny Minton-Beddoes

你使用了遏制這個詞，這很有趣，因為我相信對你來說，遏制這個詞立刻會讓人聯想到喬治·肯南和戰后冷戰時期的動態。而現在我們處于一個地緣政治世界，無論你是否稱之為新冷戰，都是美國和中國之間緊張的世界。在這種大國之間的緊張關系下，是否可以做到這種遏制，正是像你提到的冷戰時期的軍備控制條約的思維范式？我們如何在國際層面做到這一點？

Yuval Noah Harari

我認為這是最大的問題，如果問題是人類與地球上這些新的智能外星代理之間的共同威脅，那么是的，我認為我們可以遏制它們的方式。但如果人類在內部分裂，處于軍備競賽中，那么遏制這種外星智能幾乎是不可能的。有一點，我更傾向于將其視為外星入侵，就像有人來告訴我們，有一支來自外星的飛船隊，來自什么星球，攜帶著超級智能生物。

他們將在 5 年內抵達并接管地球。也許他們會友好。也許他們會解決癌癥和氣候變化問題。但我們不確定。這就是我們面臨的情況，除了外星人不是來自外星球的飛船。他們來自實驗室。

Mustafa Suleyman

對技術的性質進行完全的描述。外星人默認具有代理能力。這將是我們可以應用的工具，有狹義設置。

Yuval Noah Harari

是的，但假設它們有，它們可能具有代理能力。我們可以試圖阻止它們具有代理能力，但我們知道它們將非常聰明，至少有可能具有代理能力。這是一種非常令人恐懼的組合，我們以前從未遇到過的東西。再次強調，原子彈沒有代理能力的潛力，印刷機也沒有代理能力的潛力。這種東西，除非我們遏制它，遏制的問題非常困難，因為潛在地它們可能會比我們更聰明。

如何防止比你更聰明的東西發展出它具有的代理能力？我不是說這是不可能的。我只是說這非常困難。我認為我們最好的方法不是考慮某種剛性的監管，你應該做這個，不應該做那個，而是開發新的機構，活的機構，能夠理解非?？焖俚陌l展并即時做出反應。目前的問題是，唯一真正了解正在發生的事情的機構是開發技術的機構，政府，大多數政府似乎對正在發生的事情毫無頭緒。

還有大學。我的意思是，私營部門的人才數量和經濟資源遠遠高于大學。所以，我明白私營部門有像 Mustafa 這樣的參與者，他們非常認真地考慮監管和遏制。

但我們必須有一個外部實體參與其中。為此，我們需要開發新的機構，這些機構將擁有人力資源、經濟和技術資源，還將擁有公眾的信任，因為沒有公眾的信任，這將不會起作用。我們能夠創建這樣的新機構嗎？我不知道。

Zanny Minton-Beddoes

我認為 Yuval 提出了一個重要的觀點，正如我們開始這次對話時，你正在描述未來 5 年的情況，你說 AI 將無處不在，我們都將擁有自己的 AI ，但它們將具有行動的能力，不僅僅是處理信息，它們現在擁有的創造力和行動能力。

但已經從這些生成式 AI 模型中看到了去年、前年、前年和前年的能力，它們已經能夠以你和其他技術專家沒有預料到的速度發展，你沒有預料到它們會在圍棋上獲勝等等，令人震驚的是它們已經以不可預測的速度發展。

因此，如果將這一點與能力增加相結合，那么我認為 Yuval 提出的關切是合理的，即它們的創造者無法完全預測它們將擁有什么能力。它們可能不是完全自主的，但它們將在某些方面向自主發展，那么如何防止這種情況，或者如何防止，你知道，紅隊測試，這是你的短語，它意味著你不斷檢查發生了什么，當你看到發生了什么時，你進行微調。

Mustafa Suleyman

在預先壓力測試并不是所有事情都可以做的情況下，確實存在一個非?，F實的問題。所以 Yuval 所提出的問題是非常合理的，這也是我長期以來一直呼吁采用預防原則的原因。我們應該從桌上拿走一些能力，將其分類為高風險。

坦白地說，歐盟 AI 法案，它已經草案已經有三年半了，作為一個基于風險的框架，非常明智，適用于每個應用領域，無論是醫療保健、自動駕駛還是面部識別。如果超過了某個閾值，它基本上將某些能力從桌上拿下來。我之前列舉了一些，例如自主性顯然是一個潛在的高風險能力。

遞歸自我改進也是同樣的故事。所以現在是采取預防原則的時刻，不是因為恐懼蒙蔽了眼睛，而只是因為這是一種合乎邏輯和明智的方法。我認為另一個非常合理的模型是采用類似于IPCC的方法，達成國際共識，建立一個調查權力，以確定我們在能力方面的現實基礎。這一過程已經非常有價值。不要理睬談判和政策制定，只是證據觀察，我們到底在哪里？你不需要相信我。

你不需要相信我，你應該相信獨立的專家小組，如果他們是一個值得信任、真正公正的參與者，我個人會授權他們訪問我公司的一切。毫無疑問，我們將授權完全的訪問。我知道許多其他公司也會這樣做。

Yuval Noah Harari

再次強調，人們傾向于將 AI 創造出致命病毒的情景，埃博拉加上 Covid ，殺死所有人。讓我們走更經濟學的方向，像你提出的， AI 創造金錢，賺錢有什么問題？這是一件美好的事情。所以假設你有一個 AI ，它比大多數人類、大多數政治家，也許是大多數銀行家都更了解金融體系。

讓我們回想一下 2007 年、2008 年的金融危機。它始于什么？關于他們稱之為 CDO、CDS。這正是一些天才數學家發明的東西。除了少數在華爾街的天才數學家，沒有人理解它們。這就是為什么沒有人對它們進行監管的原因。幾乎沒有人看到金融危機正在發生。發生了什么？這種種的啟示來自于這個不會出現在好萊塢科幻電影中的世界末日情景。

AI 發明了一種沒有人能夠理解的新的金融工具。它超出了人類理解的能力。它的數學如此復雜，數據如此豐富，沒有人能夠理解。它賺了數十億美元，數百億美元，然后它毀掉了世界經濟，沒有人明白到底發生了什么。像總理、總統、財政部長這些人都不明白發生了什么。再次強調，這并不是不可思議的。我指的是我們在2007年8年看到了與人類數學家相同的情況。

Zanny Minton-Beddoes

我認為這個問題，你可以輕易地描述出讓人想跳下附近懸崖的情景。但實際上，我對 Mustafa 首先提出的觀點的另一個回應是，回到地緣政治。如果另一方不會放棄某些能力，那么一個國家放棄某些能力是否明智？這將引發一種政治經濟問題，沿著這條路你會發現？

Mustafa Suleyman

這是我們在西方集體建立我們的價值觀并支持它們的時刻。我們不能因為他們在這么做，所以我們應該冒相同的風險，從而導致一個競相降低標準的局面。如果我們采取這種方法，到處都會走捷徑，最終我們會為此付出代價。這不是對“他們會去做”的回應。

我們確實在致命自主武器領域看到了這一點。聯合國已經就監管致命自主武器進行了20多年的談判，他們幾乎沒有就致命自主武器的定義達成一致，更不用說達成共識了。所以這并不太好。但我們必須接受這是不可避免的軌跡。從我們自己的角度來看，我們必須決定在社會上對于自由行動的 AI 、面部監視、面部識別以及一般的自主系統，我們愿意容忍什么。

迄今為止，我們采取了相當謹慎的態度，我們不會到處飛無人機。技術上完全可以自主飛無人機繞過倫敦。我們沒有實施這個計劃，對吧？即使自主駕駛汽車在某種程度上有害，但它們實際上運行得相當不錯。所以監管過程也是文化過程，是我們在任何給定時刻認為在社會和政治上是可以接受的水平。我認為適當程度的謹慎是我們所看到的。

Yuval Noah Harari

在很多領域，我們需要一個愿意合作的聯盟。如果世界上的一些行動者不愿加入，那么在我們的利益中，仍然有這樣的法規是個好主意。所以，這就像禁止模仿人的機器人。所以有些國家可能不同意，但那無關緊要。為了保護我們的社會，仍然有這樣的法規是一個非常好的主意。

五、面對新的技術和創新：人類會后悔么？

Zanny Minton-Beddoes

你們兩位都在引發警鐘，但你們都積極參與創建這個未來，你為什么要繼續下去？

Mustafa Suleyman

我個人相信，在我們所創造的 AI 中，可以實現好處最大化，同時將風險最小化。我們的部分I，即個人智能，是當今世界上最安全的部分之一，它不會像兩年前那樣產生種族主義、有毒的偏見屏幕，它不會受到任何越獄、提示黑客、對抗性紅隊的影響，這些都不起作用。

我們已經把安全作為我們產品設計的絕對首要任務，所以我的目標一直是盡我所能以最好的方式展示前進的道路，這是在多年來不可避免的過程中不斷發展。

這真的正在發生。新的浪潮即將到來。我認為我的貢獻是盡我所能地展示出一個真正遵循我們可能想到的最佳安全約束的個人智能的表現。

Zanny Minton-Beddoes

現在，當你回顧人類歷史，同時展望未來，這是一種技術和創新速度，人類會后悔的嗎？還是應該繼續下去？

Yuval Noah Harari

也許會。我不能預測未來。我想說的是，我們在發展 AI 方面投入了如此多的資源，而我們還沒有見證任何事情，就像在有機生命的演化中，這就像 AI 的阿米巴，而不是需要數百萬年才能發展成暴龍，也許需要 20 年才能發展成TRX。

但要記住的一件事是，我們自己的思想也有巨大的發展空間，與人類一樣，我們還沒有看到人類的全部潛力。如果我們在 AI 方面投資了每一美元和每一分鐘，我們再投資一美元和一分鐘來發展我們自己的意識、我們自己的思想，我認為我們會沒事的，但我沒有看到這種情況發生。