Cohere 創始人兼 CEO Aidan Gomez 近期分享了他對于人工智能發展的深度思考。他認為，盡管 AI 技術在提高生產力和推動經濟增長方面具有巨大潛力，但目前 AI 模型的進展正變得越來越困難，而且成本日益增加。

近日，Cohere 創始人&CEO Aidan Gomez?對談 20VC 主理人 Harry Stebbings，分享了他對 AI 發展的最新思考。Aidan 表示，AI 的未來發展潛力遠未被完全挖掘，尤其是在推理能力、規劃能力和長期任務執行等方面，這些能力的開發將帶來質的飛躍。

在談及AI模型的構建時，他承認自己曾低估了數據質量的重要性。數據的質量對 AI 模型的影響極為敏感，甚至一個錯誤的數據點都可能對模型產生顯著影響。

他指出，提高生產力是 AI 技術的核心價值所在，AI 有望緩解社會經濟停滯，推動經濟增長。

在談到企業采用 AI 技術時，他指出，信任是當前的主要障礙，尤其是在數據安全和隱私方面。Cohere 通過私有部署和數據本地處理的方式，努力消除企業的這些顧慮……

以下為這場對話的全部內容，enjoy～

Harry Stebbings:

Aidan 提到你是在安大略省的鄉村長大的，住在你祖父親手建造的房子里。這是一個好的起點嗎？你能跟我說說這段經歷嗎？

Aidan Gomez:

是的，我是在安大略省的一個偏遠地區長大的。那是一塊百英畝的大片土地，全是森林，是一片楓樹林。在這樣一個極具加拿大特色的環境中長大真的很酷，但這確實讓我遠離了科技。

Harry Stebbings:

但你喜歡游戲，對吧？

Aidan Gomez:

是的，我確實喜歡游戲，我從小就喜歡科技。只是很難接觸到它，比如我們當時無法上網，能用的也只是撥號上網。

在別人都已經用上高速互聯網的時候，我還在用撥號上網。我所有的朋友都在玩在線游戲，而我只能羨慕，或者說感到遺憾，錯過了互聯網興起并變得流行的那一波潮流。

所以這讓我對科技非常著迷。我會坐在家里的電腦前，使用糟糕的撥號互聯網，盡力讓它變得更快。

我會盡量利用現有的資源。這最終促使我想要學習編程，了解網絡是如何運作的。我能讓這些東西更快嗎？能讓互聯網加載更快嗎？因為我當時看著屏幕上的像素一行一行地加載。

這真的推動了我進入計算機科學領域。我不得不去學習這些技術的運作原理，以便能更好地利用它們。

Harry Stebbings:

這讓我想起我從許多了不起的創始人那里了解到的一件事，那就是在早年玩過游戲的人和后來成功的創始人之間有著極高的相關性。你認為游戲為什么會成為成功創始人的奇怪因素？

Aidan Gomez:

電子游戲教會了你一些東西。你會更愿意為了一些更大的目標去做重復、困難且痛苦的事情。這種韌性非常重要。

另外，你在游戲中總能重來。你可以再試一次。這個樂觀的心態或者說這種框架在很多文化中都非常重要。在很多文化中，你只有一次機會，如果你搞砸了，那就完了。

但也許游戲能給人們一種感覺，就是你可以搞砸了再試一次，你可以變得更好。第二次搞砸的次數比第一次少，第三次搞砸的次數比第二次少。這種通過失敗取得進步的理念，對我們來說非常重要。

Harry Stebbings:

我也一直相信游戲設計的力量，它的漸進性或者說游戲設計的方式讓我們感覺良好，增強了自信。你絕不會在一款游戲中從一個非常困難的第一關開始，讓人覺得“不可能完成，我不想玩了”。

Aidan Gomez:

是的，是的，這在機器學習中被稱為“課程學習”（curriculum learning）。你要先教模型做一些非常簡單的事情，然后逐步增加復雜性，基于已有的知識構建。

有趣的是，課程學習在機器學習中實際上是失敗的。我們并沒有真正進行課程學習，而是把最難和最簡單的材料同時拋給模型，讓它自己去弄明白。

但對人類來說，這種方式非常有效，是我們學習的重要組成部分?？吹剿跈C器學習中沒有取得成功，真的很有趣。

Harry Stebbings:

你剛才說到直接把所有東西拋給模型，我想直接深入探討這個問題，因為這是大家都在問的一個問題：很多人都說只要增加計算能力就是我們最大的限制因素。

我們只需要更多的計算能力，性能就會提升。你認為這是正確的嗎？我們是否還有其他因素在限制性能的提升？

Aidan Gomez:

確實，如果你給模型增加更多的計算能力，或者讓模型更大，它確實會變得更好。這是提高模型性能最可靠的方式，但也是最笨的。如果一切都失敗了，只需讓模型更大。

對于那些資金充足的人來說，這是一個非常有吸引力的策略，風險極低。你知道它會變得更好，只需擴展模型，花更多錢，購買更多的計算能力。我相信這一點，只是覺得這樣做極其低效。

有更好的方法。如果你看看過去一年半的時間，比如從 ChatGPT 發布到現在 GPT-4 發布的時間段。如果 GPT-4 確實像他們所說的那樣有 1.7 萬億參數，它是一個巨大的 MOE。

我們現在有比這個模型更好的模型，它們只有 130 億參數。所以這種變化的速度，或者說成本迅速下降的程度，簡直是不可思議的，甚至有些超現實。

所以是的，你可以通過擴展規模來達到模型的質量，但可能不應該這么做。

Harry Stebbings:

這樣的進步會繼續保持嗎？我的意思是，我們會繼續看到這種規模上的進步嗎？還是它會在某個時候達到瓶頸？

正如你所說，我們總是聽到更多的存儲，但在某個時候，它只是變成了一個更好的計算器。

Aidan Gomez:

是的，這確實需要指數級的投入。你需要不斷地加倍計算能力才能維持智力上的線性增長。但這種增長可能會持續非常、非常、非常長的時間。

它會變得越來越聰明。但是你會遇到經濟上的限制，對吧？并不是很多人購買了最初的 GPT-4，特別是很多企業因為它非常龐大，非常昂貴，運行效率低下，成本高昂，而它的智能不足以證明這種成本的合理性。

所以，市場上有很大的壓力，要讓模型變得更小、更高效，通過數據和算法、方法來讓模型更聰明，而不僅僅是依賴規模的擴大。

Harry Stebbings:

價格壓力。在我們生活的這個世界里，有更小、更高效的垂直化模型，這些模型設計用于特定的用例，是否會出現幾個大型的、統治一切的模型？還是會兩者兼有？

Aidan Gomez:

我們在過去幾年中看到的一種趨勢是，人們喜歡用一個通用的、智能的模型進行原型設計。他們不想用一個特定的模型進行原型設計，不想花時間微調模型來使其在他們關心的事情上特別出色。

他們想要的是抓住一個昂貴的大模型，用它來做原型設計，證明它可以完成任務，然后將其提煉成一個在特定領域表現出色的高效模型。所以這種模式真的出現了。

因此，我們將繼續生活在一個多模型共存的世界中，一些模型是垂直化和專注的，另一些則是完全橫向的。

Harry Stebbings:

你提到了成本以及需要加倍計算能力來保持相同的智力水平。成本非常高昂。也許我在這里錯了，我年紀太小，不記得過去的技術進步，但幾乎感覺像是一場持續的競爭。

比如說，現在 OpenAI  花費了 30 億美元。你怎么能在這場競賽中保持自己的位置，除非你是微軟、 Amazon 、 Google 、Facebook 這樣的公司？

Aidan Gomez:

如果你只是做規?；捻椖?，你確實需要成為這些公司中的一個，或者成為這些公司旗下的一個子公司。但是，還有很多其他事情可以做。

如果你不完全依賴規?；鳛槲ㄒ坏那斑M路徑，如果你相信數據創新或模型和方法創新，還有很多可以探索的方向。

Harry Stebbings:

我們可以深入探討一下什么是數據創新和模型及方法的創新嗎？

Aidan Gomez:

幾乎我們在開源領域看到的所有重大進展都來自數據的改進。通過從互聯網上獲取更高質量的數據、改進網頁抓取算法、解析網頁、提取出重要部分、提升互聯網上特定部分的權重，因為互聯網上有很多重復和垃圾內容。

通過提取最有價值的、知識豐富的部分，并強調給模型，以及生成合成數據的能力，這些都讓我們能夠獲取大量的文本或網頁內容，而無需人類參與，這些數據是由模型自動生成的。

這些創新，特別是提高數據質量的能力，推動了我們目前看到的大部分進展。

Harry Stebbings:

好的，這是數據創新，那模型創新呢？

Aidan Gomez:

這涉及到像新的強化學習算法。你知道，有很多關于 Q-Star 的傳聞，以及它可能帶來的變化。圍繞搜索的想法，比如如何搜索解決方案。

當前模型的狀態是我問你一個問題，你的模型需要立即給出正確答案。這對模型來說是一個極其苛刻的要求，對吧？

你不能對人類這樣做，你不能問一個人一個難題，然后期望他們立即吐出答案。他們需要時間去思考和處理。

Harry Stebbings:

他們有時還需要一點頭腦風暴時間。

Aidan Gomez:

對，有時確實需要。所以，模型的一個非常明顯的下一個發展步驟就是，你需要讓它們思考和解決問題。你需要讓它們犯錯，嘗試一些東西，失敗了，理解為什么失敗，然后回溯再試一次。

目前，模型中并沒有解決問題的概念。

Harry Stebbings:

你提到的解決問題，這是否與推理是同一個概念？

Aidan Gomez:

是的。

Harry Stebbings:

為什么推理這么難？為什么我們現在還沒有推理的概念？

Aidan Gomez:

推理并不難，難的是我們在互聯網上沒有太多展示推理過程的訓練數據。互聯網上大多是推理過程的輸出結果。

當你在網上寫東西時，你不會展示你的思考過程，而是直接展示你的結論，展示你的想法，而這些都是經過大量思考、經驗和討論后的結果。

所以我們缺乏這樣的訓練數據，它不是免費提供的，你必須自己構建。因此，像 Cohere、 OpenAI  和 Anthropic 這樣的公司正在做的就是收集展示人類推理過程的數據。

Harry Stebbings:

你如何看待與 OpenAI  這樣的大型玩家競爭？

Aidan Gomez:

是的，這確實非常困難，特別是在企業領域，他們絕不會讓你用他們的數據進行訓練。所以我們無法用任何客戶的數據進行訓練，數據非常私密。

他們的觀點是，他們的數據就是他們的知識產權，其中包含太多的商業機密，因此他們不愿意分享。我非常理解他們的立場。

所以對于我們來說，我們的重點是合成數據，我們在這方面投入了很多，同時我們還有一個人類標注團隊，并與 Scale  AI 合作。

我們有自己的內部團隊，但這是我們的責任，因為我們不是一家面向消費者的公司，所以我們必須自己生成這些數據。

好處是我們更加專注，因此需要覆蓋的范圍較小。這意味著我們不需要應對來自全世界的各種需求，而是專注于企業，他們有非常明確的需求，比如他們想要自動化某些財務功能或人力資源功能。

所以范圍大大縮小，這讓我們能夠真正專注于這些領域。

Harry Stebbings:

那么合成數據市場會是什么樣子？它會被兩到三家供應商主導嗎？

Aidan Gomez:

我聽說當前的大模型 API 市場主要由合成數據主導。大多數人都是使用這些大型昂貴的模型生成數據，然后用這些數據來微調更小、更高效的模型。

所以他們基本上是在提煉更大的模型。我不知道這種模式作為市場是否可持續。但我確實認為，總會有新的任務、新的問題或新的數據需求，無論這些數據來自模型還是人類，我們都必須滿足這些需求。

Harry Stebbings:

有一件事讓我感到擔憂，或者說讓我感到猶豫。你看到 OpenAI  在進行價格競爭，你看到像 Meta 這樣的公司免費發布模型，同時也沒有對開源和開放生態系統的價值進行明確說明。

我們是否正在看到這些模型價值的真正下降？這是不是一場競相降低價格、甚至是競相歸零的競爭？

Aidan Gomez:

，如果你只是賣模型，那么在接下來的一段時間里，這將是一場非常艱難的游戲。這不會是一個小市場。

Harry Stebbings:

會有很多人只是賣模型，還有一些人會賣模型以及其他東西。

Aidan Gomez:

我不想點名，但可以說，比如 Cohere，現在只賣模型。我們有一個 API ，你可以通過這個 API 訪問我們的模型。

這種情況很快就會改變。產品格局將會發生變化，我們會在現有產品基礎上增加新的東西。如果你只賣模型，情況會很困難，因為這將變成一個零利潤的業務，價格競爭太激烈了。很多人免費提供模型。

盡管如此，它仍然會是一項大業務，市場需求增長非常迅速。但至少在現階段，利潤會非常微薄。

這就是為什么在應用層面有很多興奮點。市場上的討論是正確的，指出價值正在芯片層以下發生，因為一開始每個人都在芯片上投入大量資金來構建這些模型，然后在應用層面上看到價值的體現，比如 ChatGPT ，它按用戶收費，每月 20 美元。

這似乎是目前價值發生的地方。模型層在長期來看是一個有吸引力的業務，但在短期內，按照現狀，它是一個利潤非常低、商品化的業務。

Harry Stebbings:

如果我們進一步分解一下，你提到了芯片層。你如何看待你們目前在芯片上的支出，以及隨著時間的推移，這一支出占總支出的比例變化？

Aidan Gomez:

是的，這部分支出增長了很多?，F在它占我們支出的大頭，實在是太多了。

Harry Stebbings:

你們與英偉達有直接的合作關系。

Aidan Gomez:

是的，還有許多芯片制造商。我們與英偉達、 AMD 都很接近，并且與許多正在開發新型芯片的初創公司有對話。我們還使用 Google 的 TPU 。

Harry Stebbings:

這是因為你們不希望有單一的失敗點嗎？

Aidan Gomez:

是的，主要是市場需求。我們的客戶希望能夠在不同的平臺上運行，他們希望有選擇的自由，不想被鎖定在一個平臺上。

因此，我們需要提供一個非常多樣化的平臺空間來運行。就像我們非常避免被鎖定在一個云服務商上，我們希望能夠在每個云上都可用。

這是因為市場的需求，客戶希望有選擇權，不想被垂直化鎖定在一個供應商上。

Harry Stebbings:

你認為每個人都會垂直化自己的堆棧，建立自己的芯片能力嗎？你看到了蘋果最近在垂直化方面的努力，他們希望擁有自己的芯片供應鏈。你認為這種趨勢會繼續嗎？

Aidan Gomez:

目前，芯片的利潤非常高，市場上的選擇非常少。但這種情況會比人們預想的更快地改變。我對此非常有信心。

Harry Stebbings:

我坐在供應鏈團隊里，注意到你提到的“變化”。你知道，以前我們面臨著供應鏈短缺的情況。

Aidan Gomez:

是的，現在這種情況不再那么嚴重了。短缺正在減少，很快就會有更多的選擇可用，不僅僅是在推理端。推理已經相當多樣化了，你在推理端有很多選擇，而不是在模型訓練方面。

在訓練方面，情況一直是：只有一家公司制造你可以用來訓練大模型的芯片。到今天為止，這仍然是真的。但實際上，現在有兩家公司。

你完全可以用 TPU 來訓練大模型。它們現在已經是一個可用的平臺，適用于超大規模的模型訓練。

Google 已經相當有說服力地證明了這一點。然后還有英偉達。但很快， AMD 的訓練平臺也會真正準備好進入市場。

Harry Stebbings:

我有個問題，當你看到模型和計算能力上的支出時，模型的進展遠遠快于數據中心的建設和計算能力的進展。那么，隨著時間的推移，我們是否會在H100或其他18個月前的計算機上運行新一代的模型？是否存在模型進步與計算能力進展之間的不協調？

Aidan Gomez:

供應鏈問題確實非常有趣。你是否需要建立自己的數據中心？不，我們會與其他人合作。這種情況是否會改變？你知道嗎？我們是經濟理性的行為者。

如果建立自己的數據中心更便宜，我們會這么做。我們做過計算，我們相信我們從供應商那里得到的價格讓這個路徑不太吸引人。

但如果出現了一個非常有吸引力的芯片，但沒有供應商會為我們采購它，那我們可能會考慮自建。

Harry Stebbings:

你在早期是否遇到過獲取大量計算芯片的挑戰？今天這種情況發生了變化嗎？

Aidan Gomez:

我們已經存在了大約五年了，所以在這個領域開始大熱之前我們就已經存在了。我們很幸運。你是否預料到了這種爆發？

我不會在當初創辦公司如果我不預料到，但爆發的方式確實有些意外。它發生得更晚且更突然。

Harry Stebbings:

是的，我理解。你們在 2017 年合作發起的公司？沒有，還是 Transformer 的研究。是的，是的。所以你們當時預計它會很快流行起來？

Aidan Gomez:

不，在那一刻沒有。在 2017 年，我只是這個 Transformer 論文的實習生，這只是研究工作。我們只是創造新的架構，提高翻譯分數3個百分點，僅此而已。

我沒想到這個架構，即 Transformer ，以及社區對它的喜愛和基于它的整個平臺的實際整合。我沒想到。

至于語言建模和整個規?；椖浚乙詾槭澜鐣斓仃P注到這一塊。這開始變得非常明顯，但花了兩三年的時間，大家才意識到它的潛力，并在全球范圍內開始應用。

Harry Stebbings:

那段時間怎么樣？很有挑戰性嗎？

Aidan Gomez:

確實很有挑戰性。將技術直接呈現在用戶面前，這樣你就不必向你的父母解釋了。你可以坐下來，與模型對話，體驗與這些模型對話的感覺。

Harry Stebbings:

你認為聊天是最好的用戶界面嗎？

Aidan Gomez:

對于某些東西來說是的，對于其他東西來說，傳統的圖形用戶界面還是非常不錯的。這取決于情況，聊天作為一種界面并不適用于一切。

我不想為了完成任務而必須詳細地輸入我的指令。有時候我只想點擊幾個按鈕，通過圖形界面完成任務。我不認為圖形界面已經過時了，也不應該用文本框取代一切。

但我確實認為它提供了一個非常有吸引力的界面，語音也是如此。語音是神奇的。我第一次看到模型像人類一樣有說服力地回復文本時，那是一種神奇的體驗，那發生在 2017 年，我們提交論文后不久。

我們開始用維基百科來訓練語言模型，并從這些模型中采樣，它們能夠像人類一樣撰寫維基百科頁面。那是一個非常神奇的時刻，計算機仿佛醒了過來，開始與我們對話。

接下來的神奇時刻是對話作為一種界面。不是我提交一個指令，模型返回一個響應，而是通過聊天與模型進行對話。

Harry Stebbings:

我對語音投資了一些。你認為對語音作為下一代用戶界面的信心是正確且合理的嗎？

Aidan Gomez:

絕對是的。任何與這些模型進行過語音對話的人都會感到震驚。當你聽到模型表現出情感和語調時，當你聽到它在說話前吸氣時，當你聽到它嘴巴的聲音時，那種體驗是如此引人入勝。

這種體驗很難用語言描述，直到你第一次嘗試時才會明白。這是一個如此吸引人的界面，非常吸引人。

Harry Stebbings:

我一直堅信我們往往會高估短期內的變化，而低估長期的變化。你認為這是這種情況嗎？還是說語音即將來臨，并且來得很快？GPT-5 即將來臨，可能是在三到六個月內。我們是否低估了短期內的變化？

Aidan Gomez:

情況是這樣的。有兩件事情正在發生。第一，模型進展變得越來越難了。它變得更加困難、費力和昂貴，因為曾經有段時間，模型還不夠智能。

我可以隨便找一個人來說，讓他們與模型對話，發現錯誤，他們會的，并改進它。最終，模型變得如此聰明，以至于讓普通人很難找到知識

Harry Stebbings:

什么時候這就不再值得了呢？如果你想想語言學習，比如你可以在六個月內學會95%的語言，但要達到 98% 的熟練度卻需要五年。

我把這個過程簡化到這樣的程度：為了那額外的 0.5% 的提升，你可能需要再投入 10 億美元。那么這就不再有效率了。

Aidan Gomez:

幸運的是，所有東西的成本都在迅速下降。計算成本，每次浮點運算的成本，模型的規模。每次浮點運算的成本是多少？浮點運算（flop）是計算中的一個單位。

Harry Stebbings:

對我來說，浮點運算好像是個新概念。

Aidan Gomez:

它其實是個非常古老的概念。它是指浮點操作，一個時鐘周期內的運算。如果你有 100 億個參數，這基本上等于一些數量的浮點運算。

如果你有 1000 億個參數，那就相當于 10 倍的浮點運算次數。浮點運算的價格隨著時間的推移迅速下降。這正是使得更大模型得以解鎖的原因。今天與 2017 年相比，甚至與兩年前相比，情況已經大不相同。

Harry Stebbings:

鑒于這一點，你不認為對于新創公司進入模型領域來說為時已晚嗎？大家都在說，現在進入模型領域為時已晚，但考慮到成本障礙的降低，這是否意味著現在對創業公司來說比以往更容易進入這個領域？

Aidan Gomez:

是的。構建去年的模型變得更便宜，每年成本降低 10 倍或 100 倍。我們獲得了更好的數據和更便宜的計算能力。

所以，是的，這確實降低了上一代模型的進入門檻。但現實情況是，沒有人關心上一代的模型，沒有人想要它們。市場上對去年的模型沒有需求。

它們與今年的模型相比顯得毫無用處。任何技術進步都會讓上一代產品迅速變得過時。

Harry Stebbings:

不同之處在于，構建第一個版本可能花費 1000 萬美元，這在軟件產品中是很常見的，而將其提升到第二版本只需額外的 100～200 萬美元。

但是在這里，構建一個模型可能需要 30 億美元，而將其提升到下一版本可能需要 50 億美元。這種增量并不是線性的，而是數量級的。

Aidan Gomez:

我不確定是否總是下一代的構建成本更便宜。在芯片等非常復雜的技術領域，每一代的成本可能確實會更高，但我們仍然會去做，因為這是值得的。

Harry Stebbings:

好的，回到你之前的觀點，對上一代的模型沒有人關心。

Aidan Gomez:

你剛才在問這些改進是否會持續，我在說改進這些模型變得越來越難，摩擦越來越大。另一個奇怪的現象是，由于這些模型變得越來越聰明，人們，或者說每個人的能力，使得他們很難區分不同的模型代際。

你無法分辨它們之間的區別，因為你沒有足夠的醫學、數學、物理等方面的專業知識，無法真正感受到變化。模型已經在基礎知識上達到了盡可能的好水平，這就是你我所擁有的知識水平。

所以當我們與模型互動時，我們在不同代際之間的體驗是相同的。但實際上，這些代際在更具體的能力或原始智力上發生了巨大的變化。

你在問，這樣持續花費大量資金推進是否值得？絕對值得。即使對于你我這樣的消費者來說，當我們使用這些技術時，我們可能不在乎它是否懂得 C-Star 代數和量子物理，但這對量子物理研究者非常有用。通過提供這些工具，我們將在這些領域取得更大的進展。

這就像一般的技術問題一樣：我們已經有了充足的食物，超級便宜的汽車，每個人口袋里都有手機，我們似乎已經足夠好了。

所以，是否還應該投資于下一代技術，比如開發一種新的航天材料，使得航天器能更高效地進入軌道？

也許這對你來說無關緊要，但對某些人來說，這非常重要，他們愿意為此付出代價，并且存在市場需求。

Harry Stebbings:

這就是進步得以持續的方式。進步顯然需要繼續投入大量資金。你之前提到過一個很有趣的詞：“有效的子公司”。我們看到很多公司被收購或整合進了大公司。

現在每個人都意識到，云服務是一個持續帶來收益的“現金?！保憧吹降?Azure 和 AWS 的增長率和盈利能力就是例子。

實際上，我們可能會看到那些較小的模型提供公司大多數都被這些大型云服務提供商收購。你認為在未來三到五年，這種情況是否很有可能發生？三年內？

Aidan Gomez:

是的，這個領域會經歷一次清理，它已經在發生了。很多模型構建者都在尋求與大公司合作。

Harry Stebbings:

他們在 Amazon ，甚至于微軟都有合作。

Aidan Gomez:

是的，這種整合將會越來越多。這種空間的整合是肯定的，但當你讓自己成為云服務提供商的子公司時，這是非常危險的。

Harry Stebbings:

為什么？

Aidan Gomez:

因為這對商業來說并不是好事。作為一家公司，你需要去說服投資者，他們只關心資本的回報率，他們給你資金，你用這些資金創造價值。但當你從云服務提供商那里融資時，數學就完全不同了。

Harry Stebbings:

你認為風投投資者會從我們過去幾年看到的模型投資中賺錢嗎？像 Cohere 的投資者呢？他們會賺很多錢嗎？他們相信你，并投入了大量資金，你會覺得“那筆資金真便宜，我不應該給那么多股份?！?/p>

增強勞動力，你需要有一個開發這些助理的統一平臺，這個平臺對特定工具集沒有偏好，并且根據實際使用情況合理地優先選擇工具集。

Harry Stebbings:

所以你認為這不會由 Copilot 來完成。你提到的 Agents 是風險投資界最熱門的話題之一。你認為代理的炒作是合理的嗎？

Aidan Gomez:

炒作是完全合理的。這是 AI 的承諾。這些模型的承諾是它們能夠自己完成工作，這將徹底改變生產力。一旦你有一個模型可以獨立工作很長一段時間，這就完全改變了一個組織的能力。

因此，炒作是合理的。我的質疑是，誰最適合構建這些產品？是在模型構建者內部，還是在外部？為什么在模型構建者內部構建這些產品更好？這完全取決于模型的質量。模型是代理背后的原因。

因此，你必須能夠在這個層面上進行干預。如果你不能實際改進模型，讓它在你關心的事情上表現得更好，那么你作為模型的消費者在構建這些產品時處于結構性的不利地位。

Harry Stebbings:

你認為今天誰處于不利地位？大家都在談論 Salesforce ，但我不敢輕視 Benioff。

Aidan Gomez:

他確實非常出色，他非常清楚面臨的威脅，我不認為他會讓 Salesforce 處于不利地位。它不會有太大問題。

另一個問題是，大家容易忘記企業軟件的粘性有多強。企業軟件很難被替代，它們往往會存在幾十年。有機會打造真正變革性的消費者體驗，而消費者對單一提供商的忠誠度要低得多。

他們會選擇朋友所在的平臺，或者選擇服務和產品最好的地方。因此，如果有人能夠提供比現有產品更好的 AI 驅動的服務，消費者會轉移過去。

你認為誰擁有最好的研究資源？當然是 Cohere。除此之外，現在的研究資源非常分散。過去它們非常集中，像 Google Brain。

Harry Stebbings:

為什么他們落后了？

Aidan Gomez:

他們并沒有真正落后。兩周后我們發布了 Transformer 論文，并開始訓練語言模型。所以從技術上和研究上，Google Br AI n 肯定沒有落后。

我不想評論 Google ，但我可以說，真正重要的是產品愿景和想象力，以及你能夠想象出利用技術做什么。這不僅僅是技術開發本身的問題，而是你對技術的愿景。

即使你公司內部有人看到了這個愿景，你是否有能力讓他們執行這個愿景？還是他們需要去別的地方執行？這些是你必須要問的問題。

最后，關于規模化假設，這種認為模型會隨著我們投入更多資源而不斷改進的想法，這是一種非常冒險、不確定甚至瘋狂的賭注。我并不認為 Google 做出的決定是錯誤的。OpenAI  做了非常好的賭注。

Harry Stebbings:

你認為 OpenAI  做出的最佳賭注是什么？

Aidan Gomez:

毫無疑問是規?；僭O。就是認為規?；瘯掷m下去，我們應該繼續10 倍10 倍地增加投入。很多人不相信這一點，很多人對此持反對意見。他們認為這是一個愚蠢而多余的追求。但他們有信念堅持下來了。

Harry Stebbings:

你認為在 AI 社區里，大家現在沒有談到的最大問題是什么？在接下來的12到24個月里，我們應該怎么看待這個問題？

Aidan Gomez:

現在有一種說法在傳播，說 AI 的發展已經到了平臺期，沒有什么新的東西要來了，速度在放緩。

我真的認為這是錯誤的。不僅僅是從需要 10 倍計算能力的角度來看，而是從方法論的角度來看。

所以當我談到推理者、規劃者以及能夠嘗試、失敗并從失敗中恢復的模型，以及能夠執行需要很長時間才能完成的任務的模型時，這些都是今天技術中還不存在的明顯能力。

我們還沒有來得及集中精力去實現這些能力，但在過去的一年多時間里，大家一直在關注這些問題，這些能力很快就會準備好投產。所以我們會看到這些能力的出現，這將是一個能力上的重大變化。

Harry Stebbings:

那么對于我來說，作為 20VC 的投資者，現在的機會在哪里？

Aidan Gomez:

產品領域、應用領域仍然非常有吸引力。這些技術將會帶來新的產品，它們將改變社交媒體。人們喜歡與這些模型交流，使用時間非常驚人。

Harry Stebbings:

你覺得這是件好事嗎， Aidan？你在一個非常健康自然的環境中長大，你提到你的家庭，我相信你現在在英國見到他們的次數更多了。我不希望我的孩子生活在一個他們與生成式系統交流、模仿人類的世界中。我不希望他們從與一個模型的對話中獲得滿足感。

Aidan Gomez:

你可能錯了。你可能希望你的孩子能夠與一個極其富有同情心、非常聰明、知識淵博、安全的智能體交流，它可以教給他們東西，和他們一起玩，它不會對他們發脾氣，不會對他們發火，不會欺負他們，不會讓他們產生不安全感。

當然，沒有任何東西能取代人類。沒有什么可以取代人類的世界，我們不會突然間全都開始與 ChatBot 約會，導致人類出生率下降。

我不認為會發生這種情況，對吧？我想要一個孩子，我不能和一個 ChatBot 一起生孩子。

人類伴侶對我來說比任何 ChatBot 都要寶貴得多。就像在職場中，我不認為我們能夠完全取代人類。AI 會增強人類的能力，使人類變得更加高效，但這并不意味著工作崗位會減少。

你無法取代人類。想想銷售吧，如果我是由一個機器人推銷的，我是不會買的。就是這么簡單，我不想和機器對話。

當然，某些簡單的購買可能可以由機器人處理，但對于那些對我和我的公司來說非常重要的購買，我希望另一方是一個可以負責的真人。

如果出現問題，我需要一個有權力進行干預的人。所以我真的認為，無論是在消費端，我們是否會沉迷于與 ChatBot 對話，還是在工作端，工作將會消失，導致大規模失業，我都看不到這些情況發生。

Harry Stebbings:

總是有一種認識，即新技術的采用總會帶來一些輕微的替代，這是正常的，但確實會看到某種形式的替代，但不會是全盤替代。

80%的人，像你看到的祖父母，他們現在看到計算機和電子郵件時可能會想，“我們整天都在做什么？這真是太瘋狂了?！彼晕彝耆?，但我確實擔心在較低層次的工作中，會有大量的客戶服務團隊被取代。

Aidan Gomez:

肯定會有局部的替代發生。但總體上，這將是增長，而不是替代。某些角色確實容易受到技術的影響，客戶支持就是其中之一。

但最終，仍然需要有人來做這些工作，只是數量可能會比今天少。但客戶支持是一個艱難的角色，這是一個心理上非常消耗人的工作。如果你曾經聽過那些電話錄音，你就會知道這是一份情感上非常消耗的工作。

Harry Stebbings:

是的，這有點像社交媒體平臺上的內容審核，那在很多方面也是一種心理創傷。

Aidan Gomez:

每天你醒來，去工作，整天被人罵，還得道歉。所以，也許我們應該讓模型處理這些對話，而讓人類來處理那些真正需要人類幫助的客戶支持問題，比如說，解決某個問題，沒有情緒化的抱怨，而是有機會讓這個人的生活變得更好。

Harry Stebbings:

你認為 AI 今天還不能做什么，但在三年內將會成為現實并帶來巨大變革？

Aidan Gomez:

AI 的下一個大突破將出現在機器人領域。成本需要降低，但成本已經在下降。然后我們需要更強大的模型。

Harry Stebbings:

為什么你認為機器人領域將會有大的突破？

Aidan Gomez:

因為很多障礙已經消失了。之前機器人的推理者和規劃者（背后的軟件）非常脆弱，你必須為每個任務編程，它們被硬編碼到特定的環境中。

所以你必須有一個布局完全一致的廚房，尺寸相同，沒有任何不同的地方，這非常脆弱。但在研究方面，通過使用基礎模型、語言模型，人們實際上開發出了更好的規劃者，它們能夠更自然地推理世界。

所以已經有很多公司在研究這方面，可能很快就會有人破解通用人形機器人的難題，使其價格便宜且更加穩定。

這將會是一個巨大的轉變。我不知道這是在未來五年內發生，還是十年內發生，但它肯定會在這個時間范圍內出現。

Harry Stebbings:

今天和你聊天真的很有意思。我想進行一個快問快答，我給出一個陳述，你立刻給出你的想法，這樣可以嗎？

Aidan Gomez:

好啊，讓我們開始吧。

Harry Stebbings:

在過去的 12 個月里，你對什么改變了最大的看法？

Aidan Gomez:

數據的重要性。我嚴重低估了它。我曾經認為一切都在于規?；?Cohere 內部發生的許多事情徹底改變了我對構建這項技術的重要性因素的理解。

數據質量至關重要。質量，比如在數十億個數據點中，一個錯誤的例子就能對模型產生顯著影響。這有點不真實，模型對數據的敏感性是如此之高，每個人都低估了這一點。

Harry Stebbings:

你們現在籌集了多少錢？

Aidan Gomez:

總共大約 10 億美元。

Harry Stebbings:

籌集資金最容易的一輪是哪一輪？

Aidan Gomez:

是的，那有點像是一場對話，然后他們說，“這是幾百萬美元，去試試看吧。”所以那一輪可能是最容易的。當你試圖籌集 5 億美元時，情況就復雜得多了。

Harry Stebbings:

當你看到賬戶里有 5 億美元到賬時，你會不會覺得有點不真實？因為我管理基金的時候，我們會收到資本調用的通知，所以這不是一次性得到 5 億美元，而是分幾年逐步到賬。

Aidan Gomez:

是的，你會覺得有點不真實，而且利息非?？捎^。但的確，我有時會感到驚訝。我不是那種還在為 2500 萬美元而煩惱的人。我不清楚確切的數字，但這是一個很大的數目。

確實，Cohere 讓我在經濟和金錢方面的思維方式有些扭曲了。相比我的競爭對手，這似乎不算多，對吧？

Harry Stebbings:

這會讓你擔心嗎？

Aidan Gomez:

不會，我的意思是，這是我們戰略的一部分。如果我們想要拿下某個交易，我們可以去拿，但我們的戰略是追求獨立性，自己來做這件事。

Harry Stebbings:

如果你能選擇世界上任何一個董事會成員，你會選擇誰，為什么選擇他們？

Aidan Gomez:

我會選擇 Mike Volpi 和 Jordan Jacobs，他們是我現在的董事會成員。

Harry Stebbings:

為什么 Mike 是如此出色的董事會成員？很多人都這么說。

Aidan Gomez:

是的，Mike 確實非常出色。他給人的感覺是，他之前已經見過所有問題。我可以帶著任何問題去找他，而他通常已經遇到過三次類似的情況。

第一次是這樣的，第二次是那樣的，第三次又是那樣的。他總是有非常豐富的經驗和建議。

Harry Stebbings:

Jeff Hinton 和 Yann LeCun 更偏向哪一個？

Aidan Gomez:

我和 Jeff 個人關系更緊密，當然更傾向于他。Yann的觀點太樂觀了。不，我在許多關于 AI 的看法上和 Yann 更為一致。

所以 Jeff 是那種非常末日預言者類型的，認為這項技術會毀滅世界，而 Yann 則更樂觀一些，而我在這一點上與他更一致。不幸的是，Yann最近有點像是 Elon Musk 的“回復哥”。

我覺得 Jeff 就像我的聯合創始人 Nick，他和 Jeff 關系非常緊密，他們每周一都會一起下棋。Jeff 非常聰明，極具智慧和深思熟慮，他是一個非常深刻的思想家。你們現在在倫敦有團隊，你也住在倫敦？

Harry Stebbings:

每個人都在談論歐洲的衰落。我和 Founders Fund 的 Daly 聊過，他說西歐可能很快就會成為第三世界國家的集合體，負面情緒很強烈。現在在倫敦和歐洲建立出色的工程研究團隊，你的感受如何？

Aidan Gomez:

英國在歐洲的表現很突出，這里有一種技術樂觀精神，人們愿意投資并做出必要的改變來支持生態系統的發展。

在歐洲大陸，我的媽媽是英國人，爸爸是西班牙人，我擁有雙重國籍，所以我對這里也很了解，夏天我會在這里度過，家人也在這里。

不幸的是，這里的文化對技術非常不友好，解決技術問題的辦法在歐洲人的觀念中就是監管。

不過，壓力正在促使變化發生，法國在歐洲舞臺上變得更加雄心勃勃，并在全球舞臺上發出更大的聲音，說我們需要更加進步。這可能需要十年時間。

Harry Stebbings:

在過去，沒有遠程辦公。

Aidan Gomez:

Cohere 是在疫情期間誕生的，所以我們完全是遠程辦公。我們遍布各地，雖然并不是完全遠程，我們在多倫多、倫敦、紐約和舊金山都有辦公室。

這些地方確實是公司的核心。人們每天都會到辦公室。面對面的工作效率提升是無法量化的。

Harry Stebbings:

你從來沒有被問過的問題是什么？你認為應該被問到的問題是什么？最后一個問題。

Aidan Gomez:

人們應該問“你希望事情發展到哪里？”我經常被問到“事情會發展到哪里？”也經常被問到關于技術的潛在風險。人們在談到 AI 時，腦海中充滿了恐懼，但對我們所擁有的機會討論卻很少。人們不太談論這個。

Harry Stebbings:

你希望它發展到哪里？

Aidan Gomez:

世界的資源供應非常有限。我們今天享有的幾乎所有奢侈品都來自于技術的進步，這些技術提高了生產力，增加了供應，使得事物更加豐富、更便宜。

所以我真正關心的是利用這項技術推動世界的生產力，提高人類的效率，能夠做更多的事情。我覺得生產力這個話題非常不性感，太被低估了。

Harry Stebbings:

確實如此，但如果你將 5% 的生產力提升應用到國家衛生服務體系，這對國家狀況、國家預算和醫療保健將會產生巨大影響，可能影響到數百萬人的生活。

Aidan Gomez:

是的。在加拿大，實際 GDP 并沒有真正增加。有人稱這是“失落的十年”，因為人們并沒有變得更富有，物品也沒有變得更豐富，你十年間無法負擔更多東西。

這種停滯會導致很多社會動蕩，當經濟增長停滯時，人們會為了爭奪有限的資源而爭斗。這種動態真的讓我很擔憂。我們作為社會的優先事項應該是提高生產力和促進增長。