深度|SIGGRAPH 2024 黃仁勛 & 扎克伯格最新對談:信息流與推薦系統值得用生成式 AI 重做一遍

0 評論 1225 瀏覽 2 收藏 44 分鐘

在SIGGRAPH 2024大會上,英偉達CEO黃仁勛與Meta創始人兼CEO扎克伯格的深入對談,為我們揭示了生成式AI在信息流和推薦系統中的應用前景。這場對話不僅涵蓋了AI技術的前沿發展,還深入探討了虛擬世界和機器人技術的創新突破。本文將帶你走進這場科技盛宴,一探究竟。

7 月 30 日早上 6 點,英偉達 CEO黃仁勛與 Meta 創始人&CEO 扎克伯格在 SIGGRAPH 2024 上展開了對談,共同探討了加速計算、生成式 AI 以及推動下一波創新、虛擬世界和機器人技術突破的研究。

黃仁勛強調了英偉達在計算機圖形學、圖像處理、AI 和機器人技術方面的領導地位,特別是在 AI 與模擬交叉領域的突破。

他提到,英偉達通過 AI 幫助模擬變得更大規模、更快,并利用模擬環境生成合成數據。這些技術的結合,正在推動 AI 與模擬技術的融合發展。

扎克伯格指出,未來的 AI 將不僅用于內容推薦系統,還將用于即時內容生成和從現有內容中整合新內容,這將徹底改變 Instagram 和 Facebook 等平臺的信息流和推薦系統。

扎克伯格還表示,智能眼鏡將成為下一代計算平臺的移動版,而混合現實頭戴設備則更像是工作站或游戲主機,Meta與 EssilorLuxottica 合作,推出了集成攝像頭、麥克風和 AI 對話功能的 Ray-Ban 智能眼鏡……

以下是這次對談快速整理的內容,enjoy~

Jensen Huang

你知道嗎?90% 的博士生。所以, SIGGRAPH 的真正偉大之處在于,這是計算機圖形學、圖像處理、 AI 和機器人技術相結合的展示。一些公司多年來在這里展示和揭示了驚人的東西,從迪士尼、皮克斯、Adobe、Epic Games,當然還有 Nvidia ,我們在這里做了很多工作。今年,我們在 AI 和模擬的交叉點上介紹了20篇論文。我們正在利用 AI 來幫助模擬變得更大規模、更快,例如可微分物理學。我們使用模擬來創建合成數據生成的模擬環境,用于 AI 。

所以這兩個領域真的在結合起來,我們為我們在這里所做的工作感到非常自豪。在 Meta ,你們做了很多了不起的 AI 工作。我覺得有趣的是,當媒體寫關于 Meta 在過去幾年跳入 AI 領域時,好像 FAIR( Meta 的 AI 研究實驗室)一直在工作,我們都在使用 Meta 的PyTorch,你們在計算機視覺、語言模型、實時翻譯方面的工作都是開創性的。我第一個問題是,你如何看待 Meta 今天在生成式 AI 方面的進展,以及你如何應用它來增強你的運營或引入你提供的新功能?

Mark Zuckerberg

這里有很多東西要解讀。首先,很高興來到這里。Meta 已經做了很多工作,并且在 SIGGRAPH 已經有八年了。所以,我的意思是,我們相比你們是新來的。但那是在 2018 年。

我們展示了我們 VR 和混合現實頭戴設備的一些早期手部追蹤工作。我想我們已經談了很多關于我們在 Codec Avat AR s 方面的進展,這些是我們希望能夠通過消費級頭戴設備來驅動的照片級逼真的化身,我們離這個目標越來越近了,所以對此非常興奮。還有我們在顯示系統方面所做的大量工作。

因此,我們展示了很多未來的原型和研究,以便使混合現實頭戴設備能夠非常薄,但具有相當先進的光學堆疊和顯示系統,集成系統。通常這些是我們第一次在這里展示。所以,來到這里很興奮。這里我不僅在談論元宇宙的東西,還有所有的 AI 部分,就像你說的,當我們開始 FAIR( AI 研究中心)時,那時候還是 Facebook ,現在是 Meta ,在我們開始現實實驗室之前,我們已經在這方面工作了一段時間。所有關于生成式 AI 的東西,這是一個有趣的革命。

它最終會使我們所有的不同產品以一種有趣的方式發生變化。所以,我可以列舉一下,我們已經擁有的主要產品線。像是 Instagram 和 Facebook 上的信息流和推薦系統,我們已經在這個旅程中,從只是關于與你的朋友聯系開始。排名總是很重要,因為即使你只是關注朋友,如果有人做了一些非常重要的事情,比如你表弟生了孩子,你希望它出現在頂部。如果我們把它埋在你的信息流中,你會很生氣。

所以排名很重要,但在過去幾年中,它變成了更多的是來自不同的公共內容。推薦系統非常重要,因為現在,不僅僅是幾百或幾千個來自朋友的潛在候選帖子,還有數百萬條內容。這變成了一個非常有趣的推薦問題。隨著生成式 AI 的發展,我們很快會進入一個區域,不僅是你今天在 Instagram 上看到的大部分內容是來自世界各地與你的興趣匹配的推薦內容,而不管你是否關注那些人。

未來很多東西都會使用這些工具來創建。有些是創作者使用工具來創建新內容,最終會是為你即時創建的內容,或者是從不同的現有內容中整合和合成的內容。所以,這只是一個例子,說明我們所做的核心部分將如何演變。而這已經在過去20年中不斷演變。

Jensen Huang

人們會意識到,世界上最大的計算系統之一是推薦系統。

Mark Zuckerberg

但這是一個完全不同的路徑。它不是那種人們談論的生成式 AI 的熱點,但就像所有的 Transformer 架構一樣,它是一個類似的事情,只是建立越來越多的通用模型,將非結構化數據嵌入特征中。

我的意思是,一個驅動質量改進的重要因素是,你過去有不同的模型來處理不同類型的內容。最近的一個例子是,我們有一個模型來排名和推薦reels,另一個模型來排名和推薦更長的格式的視頻。然后需要一些產品工作,使系統能夠顯示任何內容在一行中。但你創建越通用的推薦模型,它們就會越好。

所以,我的一部分夢想是,有一天,你幾乎可以想象所有的 Facebook 或 Instagram 都是一個單一的 AI 模型,它統一了所有這些不同類型的內容和系統,實際上有不同的目標在不同的時間范圍內。一部分是展示你今天想看的有趣內容,另一部分是幫助你長期建立你的網絡,比如你可能認識的人或你可能想關注的賬戶。

Jensen Huang

這些多模態模型在識別模式、弱信號等方面往往表現更好。所以有趣的是, AI 在你們公司如此深入,你們一直在構建 GPU 基礎設施運行這些大型推薦系統。

不過一旦你開始進入這個領域,你就會深入其中。你深入其中,并且非常投入。如今,當我使用 WhatsApp 時,我感覺自己在與 WhatsApp 合作。我喜歡想象,當我打字時,它會生成圖像。我回過頭來改變我的話語,它又會生成其他圖像。

Mark Zuckerberg

那是上周的事情。非常興奮?,F在想象一下我,花了很多時間和我的女兒們在一起,想象她們是美人魚,過去一周里一直很有趣。我的意思是,這就是另一半。許多生成式 AI 的東西,一方面,它將成為所有我們長期以來的工作流程和產品的重大升級。

但另一方面,這些完全新的東西現在可以被創造出來。所以, Meta AI 的想法是擁有一個 AI 助手,可以幫助你完成我們世界中的不同任務,并且非常具有創造性。像你所說的那樣。它們非常通用。所以你不需要僅限于此。它將能夠回答任何問題。

隨著時間的推移,當我們從 Llama3 模型進化到 Llama4 及其后續版本時,它會感覺不再像是一個聊天機器人,你給它一個提示,它就會回應,然后你再給它一個提示,它再回應。而是你給它一個意圖。它實際上可以在多個時間框架內工作。,它會預先承認你給了它一個意圖。我的意思是,有些事情,會啟動計算任務,這些任務可能需要幾周或幾個月才能完成。然后回來告訴你發生了什么事情,這將會非常強大。

Jensen Huang

今天的 AI ,正如你所知,是有些單調的。你說點什么,它就回你點什么。但顯然,當我們考慮一個任務或問題時,我們會思考多個選項,或者也許我們會提出一個決策樹,并沿著這個決策樹走,模擬在我們心中,每個決策可能產生的不同結果。所以,我們在做計劃。將來, AI 也會這么做。當你談到你的創造者 AI 愿景時,我感到非常興奮,這是一個非常棒的想法。告訴大家關于創造者 AI 和 AI Studio 的情況吧。

Mark Zuckerberg

其實,這正是我們所談論的,今天我們將其推出得更廣泛。我們的愿景是,我不認為只會有一個 AI 模型。這是行業中一些其他公司在做的事情,他們在構建一個中央 Agent 。我們會有一個可以使用的 Meta AI 助手,但我們的愿景是我們希望賦能所有使用我們產品的人,讓他們為自己創建 Agent 。

這就是平臺上許多的創造者或數以百萬計的小企業。我們最終希望能夠快速整合你們的所有內容,并快速創建一個商業 Agent ,可以與客戶互動,進行銷售和客戶支持。我們現在剛剛開始推出的是我們稱之為 AI Studio 的東西。它基本上是一套工具,最終將使每個創造者能夠建立一個自己的 AI 版本,作為他們社區可以互動的 Agent 或助手。

這里有一個基本問題,那就是時間不夠用。如果你是一個創造者,你想更多地與社區互動,但時間有限。同樣地,你的社區也希望與你互動,但時間有限。所以,下一步就是讓人們能夠創建這些人工制品。它是一個 Agent ,你將它訓練成代表你,以你希望的方式表現。這是一種非常創造性的工作,幾乎像是一件藝術品或內容,你在發布出去。

當然,很明顯它不是在與創造者本人互動,但這將是另一種有趣的方式,就像創造者在這些社交系統上發布內容一樣,能夠有 Agent 做同樣的事情。同樣地,將會有一種情況,人們基本上為各種不同的用途創建自己的 Agent 。有些是定制的實用程序,他們想要完成的任務,他們想要微調和訓練 Agent 。有些是娛樂,某些人創造的東西只是搞笑和不同方式的搞怪,或帶有一種有趣的態度,這些可能我們不會在 Meta AI 作為助手中構建進去,但人們對此非常感興趣,想要與之互動。

然后,一個有趣的用例是人們使用這些 Agent 進行支持。這讓我有點驚訝的是, Meta AI 的一個主要用例是人們基本上用它來模擬社交場景,不論是專業場景,例如“我想向經理詢問如何獲得晉升或加薪?”或者是和朋友的爭執,或者是和女朋友的困難情況,模擬這種對話,看看對話會如何進行,并獲得反饋。

很多人不想與同一種 Agent 互動,不論是 Meta AI 還是 ChatGPT 或其他人使用的東西。他們想要創建自己的東西。這就是 AI Studio 的大致方向。但這都是我們更大愿景的一部分,我們認為不應該只有一個大 AI 讓人們互動。我們認為如果有各種不同的東西,世界會更好、更有趣。

前 a16z 合伙人:ChatGPT 從科研到 1 億用戶可能是陷阱,硅谷的集體押注需要傳統市場邁過 PMF。

Jensen Huang

你可以變得非???。如果你是一位藝術家并且有自己的風格,你可以把你的風格、你所有的作品,微調一個模型。

Mark Zuckerberg

然后這就變成了一個可以進行提示的 AI 模型。

Jensen Huang

你可以讓我創作一些符合我藝術風格的東西。你甚至可以給我一幅畫作為靈感,我可以為你生成一些東西。你來找我的 AI 做這些。將來每個餐廳、每個網站可能都會有這些 AI 。

Mark Zuckerberg

我覺得將來每個企業都會像有電子郵件地址、網站和社交媒體賬號一樣,擁有一個 AI Agent 來與客戶互動。歷史上這些事情一直很難做到。如果你考慮任何公司,可能會有客戶支持部門,這和銷售部門是分開的,而作為 CEO 你不希望這種情況,因為這是不同的技能。

Jensen Huang

我是你的客戶支持,就為了工作。顯然我是。每次馬克需要什么東西,我不知道是聊天機器人還是藝術,但他只是我的聊天機器人。

Mark Zuckerberg

我想這就是,當你是 CEO 時,你必須做所有的事情。但當你在組織中構建抽象層時,很多時候這些組織是分開的,因為它們為了不同的目標而優化。理想的情況是它們是一個整體。作為客戶,你不在乎在買東西時和遇到問題時會走不同的路徑。你只希望有一個地方可以解答你的問題并與企業互動。這對創作者也適用。對消費者而言,這些與客戶的互動,

Jensen Huang

特別是投訴,會讓你的公司變得更好。完全同意。所有與 AI 的互動會捕捉到機構知識,這些都可以進入分析,進一步改進 AI ,如此循環往復。

Mark Zuckerberg

商業版本可能會更多整合,但我們還處于早期階段。通過 AI Studio ,人們可以創建他們的 UGC Agent 和不同的東西,并在這個飛輪上起步。我對此非常興奮。

Jensen Huang

所以我可以用 AI Studio 來微調我的圖像,我的圖像收藏嗎?

Mark Zuckerberg

我們會做到的。

Jensen Huang

那么我可以給它我寫的所有東西,用它作為我的 RAG 嗎?基本上是這樣。好的。然后每次我回到它那里,它會加載上次的記憶,我們可以繼續我們的對話,就像什么都沒發生一樣。

Mark Zuckerberg

就像任何產品一樣,隨著時間的推移會變得更好,訓練工具也會變得更好。不僅僅是你想說什么,通常創作者和企業也有他們想避開的主題。他們在這方面越來越擅長。理想情況是,不只是文字,你幾乎希望能夠進行視頻聊天,這與我們正在做的一些編解碼器頭像工作有交集。我們會實現這一點。這些東西離我們并不遠,飛輪轉得很快。這很令人興奮。有很多新東西要做。

即使基礎模型的進展現在停止了,我們有五年的產品創新期來弄清楚如何最有效地使用已有的東西。但實際上基礎模型和基礎研究的進展在加速。這是一個相當瘋狂的時代。

Jensen Huang

你的愿景是每個人都可以有一個 AI ,每個企業都可以有一個 AI 。在我們的公司,我希望每個工程師和每個軟件開發者都有一個 AI ,甚至多個 AI 。你對每個人和每個公司都能制作自己的 AI 的愿景讓我很喜歡,你開源了 Llama2.1,順便說一下,Llama2 是去年 AI 領域最大的事件。

Mark Zuckerberg

還有 H100,但這是雞和蛋的問題。

Jensen Huang

這是雞和蛋的問題。哪個先來?H100。Llama2 實際上不是 H100,而是 A100。所以,這是最大的事件,因為當它出來時,它激活了每個公司、每個企業和每個行業。

突然間,每個醫療保健公司都在構建 AI ,每個公司都在構建 AI ,每個大公司、小公司,初創公司都在構建 AI 。它使每個研究人員都能重新參與 AI ,因為他們有了一個起點。

現在 Llama3.1 出來了,興奮程度非常高。我們與合作伙伴一起部署 Llama3.1,將其帶到全球的企業。興奮程度超乎想象。它將啟用各種應用程序。

但告訴我你的開源哲學。它從哪里來的?你開源了 PyTorch?,F在這是進行 AI 的框架。你又開源了 Llama3.1 或 Llama,圍繞它構建了整個生態系統,但這一切是從哪里來的?

Mark Zuckerberg

這有很多歷史。我們做了很多開源工作。部分原因是坦率地說,我們在一些其他科技公司之后才開始構建分布式計算基礎設施和數據中心。因此,當我們構建這些東西時,它們不再是競爭優勢。我們想,既然如此,不如開源,這樣我們就能從生態系統中受益。因此我們有很多這樣的項目。

最大的項目可能是開放計算,我們公布了服務器設計、網絡設計,最終是數據中心設計。通過讓它成為行業標準,供應鏈也圍繞它組織起來,這樣可以為每個人節省成本。通過公開這些設計,我們基本上節省了數十億美元。

Jensen Huang

開放計算讓我們能夠設計 Nvidia HGX,使其在某個數據中心內突然變得可能。

Mark Zuckerberg

它在每個數據中心都能工作。在每個數據中心都能工作,太棒了。所以我們有一個很棒的體驗。然后我們也用了一些基礎設施工具,比如 React、PyTorch。我想說在 Llama 出現之前,我們已經對這種事情持積極態度。

對于 AI 模型來說,我有一些看法。首先,在過去20年里,構建東西非常有趣。最困難的事情之一是我們不得不通過競爭對手的移動平臺來發布我們的應用程序。一方面,移動平臺對行業來說是一個巨大的推動力。

另一方面,通過競爭對手的平臺發布產品是很有挑戰性的。我成長的時代,第一版 Facebook 是在網絡上的,那是開放的。然后隨著向移動端的轉變,好處是每個人現在都有口袋電腦。

不好的地方是,我們能做的事情變得更加受限了。當你看這些計算機代際變化時,有一種偏見,大家只看移動設備,認為這是封閉的生態系統,因為蘋果基本上贏得了市場并設定了標準。我知道技術上有更多的安卓手機,但蘋果基本上占據了整個市場,并且所有的利潤,安卓在開發方面基本上是跟隨蘋果的,蘋果顯然贏得了這一代。

即使你回顧上一代,蘋果做的是封閉的事情,但微軟相對來說是更開放的, Windows 運行在不同的 OEM 和硬件上,是一個更開放的生態系統, Windows 是領先的生態系統。在PC時代,開放的生態系統獲勝了。我希望在下一代計算中,開放的生態系統再次成為領先者。始終會有封閉和開放的兩個系統,兩者都有理由存在,各有優勢。我不是一個狂熱者,我們也做封閉源代碼的東西,但并不是所有發布的東西都是開放的。

但總的來說,對整個行業來說,如果軟件特別是開放的,那是有很大價值的。這真的塑造了我的哲學。對于 Llama AI 和我們在 AR 和 VR 中所做的工作,我們基本上在構建一個開放操作系統,就像 Android 或 Windows 一樣,基本上使我們能夠與許多不同的硬件公司合作,制造各種各樣的設備。

我們基本上只是希望將生態系統恢復到那個水平,我對下一代的開放系統將獲勝持樂觀態度。對我們來說,我只是想確保我們能夠構建我們將在其上構建社交體驗的基本技術,因為有太多事情我試圖構建,但被平臺提供商拒絕了,所以我對下一個世代的目標是從頭構建所有東西。

Jensen Huang

這是一個很棒的世界,人們致力于構建盡可能最好的 AI ,并將其作為服務提供給世界。但是,如果你想構建自己的 AI ,你仍然可以構建自己的 AI 。因此,使用 AI 的能力,有很多東西我不想自己制作這件夾克,我更喜歡有人為我制作這件夾克。

你明白我的意思嗎?所以皮革是開源的對我來說沒有什么意義。但擁有出色服務、令人難以置信的服務以及開放服務、開放可用性是很好的概念。

你們做的 3.1 真的很棒,有 4.5 B,有 70 B的 API,可以用于生成合成數據,使用較大的模型來教小模型。

盡管較大的模型更通用,但它不那么脆弱。你仍然可以構建適合任何操作領域或操作成本的小模型。因此,現在你們構建模型的方式是透明的,你們有世界級的安全團隊、世界級的倫理團隊,可以以所有人都知道的方式正確構建它,我真的很喜歡這一點。

Mark Zuckerberg

我之前岔開話題了,但我要補充一點。我們這樣做是因為我們希望這種東西存在,并且我們不希望被某個封閉的模型排除在外。但這不僅僅是一塊可以構建的軟件,你需要一個生態系統。

如果我們不開放源代碼,它幾乎不會運作得很好。我們這樣做不是因為我們是利他主義者,盡管這對生態系統有幫助,但我們這樣做是因為我們認為這會使我們構建的東西最好,因為有一個強大的生態系統。

Jensen Huang

看看有多少人為 PyTorch 生態系統做出了貢獻?數以百計的工程師。Nvidia 公司單獨就有幾百名工程師專注于讓 PyTorch 更好、更可擴展、更高效等等。

Mark Zuckerberg

而且當某些東西成為行業標準時,其他人會圍繞它做工作。所以所有的硅和系統最終會優化以很好地運行這東西,這將有利于所有人,但也會與我們構建的系統配合得很好。這只是如何變得非常有效的一個例子。所以,開源策略將是一個很好的商業策略。人們還沒有完全理解。

Jensen Huang

我認識到重要的事情,Llama 確實很重要。我們圍繞它構建了一個叫做 ?AI Factory、 ?AI Foundry 的概念,以便我們可以幫助每個人構建。很多人有構建 AI 的愿望,對他們來說擁有 AI 很重要,因為一旦他們將其納入他們的數據飛輪,他們公司的知識就會被編碼并嵌入到 AI 中。所以他們不能讓 AI 飛輪、數據飛輪、經驗飛輪在別處。開源讓他們能做到這一點。但他們不知道如何將整個事情變成 AI 。

所以我們創建了這個叫 ?AI Foundry 的東西,我們提供工具、提供專長、Llama 技術,我們有能力幫助他們將整個事情轉變成 AI 服務。當我們完成后,他們擁有它。輸出是我們稱之為 NIM 的東西,它神經微服務??梢韵螺d它,拿去運行在任何他們喜歡的地方,包括在本地。

我們有一整套合作伙伴生態系統,從可以運行 NIM OEM 到我們訓練并與之合作創建基于 Llama NIM 和流水線的 GSI。現在我們正在全球各地幫助企業這樣做。這真的很令人興奮,都是 Llama 開源引發的。

Mark Zuckerberg

特別是幫助人們從大模型中訓練出自己的模型,這將是一個非常有價值的新事物。正如我們在產品方面談到的,我不認為將會有一個主要的 AI Agent ,所有人都會與之對話。我也不認為將會有一個所有人都使用的模型。

Jensen Huang

我們有芯片設計 AI ,我們有軟件編碼 AI 。我們的軟件編碼 AI 理解USD,因為我們為 Omniverse 編寫USD。我們有軟件 AI 理解 Verilog,我們的Verilog。我們有軟件 AI 理解我們的 bug 數據庫,知道如何幫助我們分類 bug,并發送給合適的工程師。

每個 AI 都是基于 Llama 進行微調的。我們微調它們,為它們設置防護。如果我們有一個用于芯片設計的 AI ,我們不希望它回答政治和宗教問題。所以我們為它們設置防護。每家公司基本上會有適用于每個功能的 AI 。他們需要幫助才能做到這一點。

Mark Zuckerberg

未來的一個大問題是,人們在多大程度上會使用更大、更復雜的模型,而不是為他們的特定用途訓練自己的模型。至少將會有各種不同模型的廣泛普及。

Jensen Huang

我們使用最大的模型。原因是我們的工程師時間非常寶貴。我們現在正在優化 405B 模型的性能。405B 模型不適合任何 GPU ,無論多大。所以MV Link 性能非常重要。每一個 GPU 都通過這個非阻塞交換機連接。在 HGX 中,例如,有兩個這樣的交換機。我們使所有這些 GPU 能夠高效運行 405B 模型。我們這樣做是因為工程師時間對我們來說非常寶貴,我們希望使用盡可能好的模型。事實上,這種成本效益并不重要。所以我們只是想確保為他們提供最佳質量的結果。

Mark Zuckerberg

405B 的推理成本大約是 GPT-4o 模型的一半。所以我要補充這一點。這已經很不錯了。人們在設備上做一些事情或希望使用更小的模型時,他們會將其簡化。所以那是完全不同的一組服務。

Jensen Huang

AI 在運行。假設我們雇傭 AI 來設計芯片,每小時可能花費 10 美元。如果你不斷使用它,并且將它與許多工程師共享,那么每個工程師可能都有一個 AI 在他們旁邊。這并不昂貴。我們支付工程師很多錢。所以對我們來說,每小時幾美元就能增強某個非常有價值的人的能力。

如果你還沒有雇傭 AI ,馬上去做。這就是我們要說的。讓我們談談下一波浪潮。我非常喜歡你們所做的工作,計算機視覺。我們內部經常使用的一個模型是“分割一切”。我們現在在訓練 AI 模型理解視頻,以便我們能夠更好地建?,F實世界。

在我們的用例中,主要用于機器人技術和工業數字化,并將這些 AI 模型連接到 Omniverse ,以便更好地建模和表示物理世界。我有一些在這些 Omniverse 世界中運行得更好的機器人。你的Rayband Meta glass應用,將 AI 引入虛擬世界的愿景真的很有趣。告訴我們有關它的情況。

Mark Zuckerberg

好吧,我們其實正在這里展示該模型的下一版本 SIGRAF Segment Anything 2。它現在更快了。它在視頻中也能工作。因為它是開放的,很多更嚴肅的應用也能在各行各業中使用。科學家用這個研究珊瑚礁和自然棲息地的演變。但能夠在視頻中做到這一點,并且能夠零樣本并與之交互,告訴它你想跟蹤什么,是非常酷的研究。

Jensen Huang

例如,為什么我們使用它呢?例如,你有一個倉庫,里面有很多攝像頭,倉庫的 AI 監控所有事情,假設有一堆箱子倒了或有人把水灑在地上,或任何事故即將發生。AI 識別它,生成文本,發送給某人,并幫助解決問題。這是使用它的一種方式。與其錄制一切,如果發生事故,開始記錄每一納秒的視頻并回放那個時刻,它只記錄重要的部分,因為它知道在看什么。所以有一個視頻理解模型,一個視頻語言模型,對所有這些有趣的應用非常有用。現在你們還在研究什么?

Mark Zuckerberg

有所有的智能眼鏡。我們將下一個計算平臺分為混合現實頭戴設備和智能眼鏡。智能眼鏡更容易被人理解,因為幾乎每個人都在戴眼鏡,最終都會升級到智能眼鏡,而世界上有超過十億人戴眼鏡。所以這將是一個非常大的市場。VR MR頭戴設備,有些人覺得它適合游戲或其他用途,有些人還不感興趣。我的觀點是,兩者都會存在于世界上。智能眼鏡會成為下一代計算平臺的移動版,混合現實頭戴設備則更像是你的工作站或游戲主機,當你想進行更沉浸式的會話時,你會坐下來使用更多計算能力。眼鏡體積很小,有很多限制,就像你不能在手機上做同樣水平的計算。

Jensen Huang

它正好趕上了生成式 AI 的所有突破。

Mark Zuckerberg

對于智能眼鏡,我們從兩個不同的方向來解決問題。一方面,我們在構建理想的全息 AR 眼鏡的所需技術。我們正在進行所有定制的硅工作、定制的顯示堆棧工作,所有使其工作的技術。而且它是眼鏡,不是頭戴設備,不像 VR MR頭戴設備。它們看起來像眼鏡。但與現在你戴的眼鏡仍有很大差距。

Ray-Bans雖然很好,但還不能完全容納所有需要的技術以實現全息 AR 。我們正在接近,未來幾年會更接近。價格還會很高,但這將開始成為產品。另一個角度是從外觀好看的眼鏡開始。與世界上最好的眼鏡制造商合作,如 EssilorLuxottica,他們制造所有的大品牌,如 Ray-Ban、Oakley、Oliver Peoples 等,這基本上是EssilorLuxottica的天下。

所以我們與他們合作,Ray-Ban 眼鏡已進入第二代。目標是限制在一個看起來很好的眼鏡內,盡可能多地放入技術。理解我們不可能完全實現我們的理想。但它最終會是看起來很好的眼鏡?,F在它有攝像頭可以拍照和錄像,可以直播到 Instagram ,可以進行 WhatsApp 視頻通話,并向對方展示你所看到的。它有麥克風和揚聲器,開放式耳機,許多人覺得比耳塞更舒適。

可以聽音樂,像私人體驗??梢越与娫?。但傳感器包恰好可以與 AI 對話。這是一個意外。如果你五年前問我,我們會先得到全息 AR 還是 AI ,我會說是全息 AR 。因為顯示技術和虛擬現實和混合現實技術在不斷進步。

但 LLM 的突破改變了這一點。我們有了高質量的 AI ,并且以很快的速度變得更好,這比全息 AR 早。我們運氣好,因為我們在研發這些產品。最終會有一系列不同的眼鏡產品,不同價格和技術水平。我猜沒有顯示屏的 AI 眼鏡,大約 300 美元,會是一個很大的產品,成千上萬甚至數百萬人會擁有。所以你會有超級互動的 AI 與你對話。

Jensen Huang

你展示了視覺語言理解。你有實時翻譯。你可以用一種語言對我說話,我會用另一種語言聽到。

Mark Zuckerberg

顯示器顯然也會很棒,但這會給眼鏡增加一點重量,也會讓它們更貴。所以會有很多人想要那種全息顯示,但也會有很多人希望最終能有真的很薄的眼鏡。

Jensen Huang

在工業應用和一些工作應用中,我們需要那種全息顯示。

Mark Zuckerberg

在消費品中也是如此。

Jensen Huang

你這么認為嗎?

Mark Zuckerberg

我在疫情期間想了很多,當時大家都遠程辦公。這很好,很棒我們有這個,但未來,我們距離能夠進行虛擬會議的時代不遠了,就像我沒有真的在這里,而是我的全息影像。這種感覺就像我們在那里一樣,物理上在場。我們可以一起工作和合作。這對于 AI 來說尤其重要。

Jensen Huang

我可以接受一種不需要一直佩戴的設備。

Mark Zuckerberg

但我們會達到這個點。在眼鏡中,有薄框和厚框,有各種風格。所以我不認為我們離擁有全息眼鏡的形式還很遠。但在一副時尚的稍厚框的眼鏡中實現這個目標并不遙遠。

我試圖成為一種風格的領導者,以便在眼鏡上市之前能影響它。但我看到很多,現在還早。我覺得如果未來業務的一個重要部分是打造人們愿意佩戴的時尚眼鏡,那么我應該開始更多地關注這一點。

所以我們可能需要告別我每天穿同樣東西的版本。眼鏡也是一樣的。與手表或手機不同,人們真的不希望看起來都一樣。所以這會是一個開放生態系統,因為人們會對款式和風格有巨大的需求。不像每個人都想戴同一副眼鏡,那樣行不通。

Jensen Huang

你是對的,Mark,這真是不可思議的時代,整個計算堆棧正在被重新定義。我們如何看待軟件,從 軟件一代到軟件二代,現在我們基本上進入了軟件三代。從通用計算到生成性神經網絡處理的計算方式,能力和應用程序現在是過去難以想象的。

這項技術,無論是通用的還是 VI(視覺智能),我不記得有哪項技術以如此快的速度影響消費者、企業和科學領域。能夠跨越氣候技術、生物技術、物理科學等各個科學領域。生成式 AI ?正在每個我們遇到的領域中進行根本性轉變。此外,生成式 AI ?將對社會產生深遠影響,影響我們制造的產品。

有人問我,是否會有一個 Jensen AI ?這正是你所說的創意 AI ,我們可以自己構建 AI ,并加載我寫過的所有內容。然后用我回答問題的方式進行微調。希望隨著時間的推移,通過使用的積累,它會成為一個真正優秀的助手和伴侶。它不會帶有評判性,所以你可以隨時與之互動。這些真的是令人難以置信的事情。我們一直在寫很多東西。

想象一下,只需提供三四個主題,它就能以我的語氣寫作并作為起點。所以我們現在可以做的事情真的太多了。與你合作真的很棒。我知道建立一家公司并不容易,你從桌面到移動設備,再到 VR ,再到 AI 所有這些設備的轉變。視頻領域也多次發生轉變,我深知這有多難。我們多年來都遭受了很多挫折,但這正是成為先鋒和創新者所需要的。所以,看著你真的很棒。

Mark Zuckerberg

如果你繼續做之前做的事情,也不確定是否是轉型。但這很不錯。但這是一點增加。這一切還有更多的章節。而且我覺得,對于你們來說也是一樣的——看你們走過的這段旅程真是有趣。我們經歷了一個階段,每個人都覺得,所有事情都要轉向這些設備。這只是要變得超級便宜的計算能力。而你們只是繼續堅持下去。實際上,你們會需要這些能夠并行處理的大型系統。

Jensen Huang

我們走了另一條路,而不是制造越來越小的設備,我們做了一臺計算機。我們開始制造圖形芯片, GPU ?,F在,當你部署一個 GPU 時,你仍然稱它為 Hopper H100。所以你們知道,當 Mark 稱它為 H100 時,他的數據中心有 H100,你們即將達到 60 萬,我們是很好的客戶。

Mark Zuckerberg

有一天,你說,幾周后,我們在 SIGGRAPH 做這件事。我說,我那天沒有什么安排,聽起來很有趣。

Jensen Huang

完全正確。我那天下午沒事。你就出現了。事情就是如此不可思議,這些系統你們建造的,這些巨大的系統,難以協調,難以運行。你說你們比大多數人晚進入 GPU 領域。但你們操作的規模比幾乎任何人都大。這真是不可思議。祝賀你們所做的一切。

本文由人人都是產品經理作者【江天 Tim】,微信公眾號:【有新Newin】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。

題圖來自SIGGRAPH 2024大會現場截圖

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!