GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

0 評論 4029 瀏覽 1 收藏 13 分鐘

多模態大模型的戰場上,已有人聞到風聲。據外媒爆料,OpenAI的全新多模態模型Gobi似乎已在籌備中。谷歌和OpenAI的這場對決,似乎已是箭在弦上了。

隨著今年秋天的臨近,谷歌和OpenAI的多模態模型之戰,也進入到白熱化階段。

就在上周,谷歌已經對一些外部公司開放了多模態大模型Gemini的功能。

而OpenAI,當然不會坐以待斃。他們正在爭分奪秒地把多模態功能整合進GPT-4里,爭取推出功能與Gemini類似的多模態大模型,一舉擊殺谷歌。

傳說中的多模態功能,在今年3月OpenAI那場震驚全世界的GPT-4發布會上,已經被展示過——

在紙上畫個草圖,拍個照發給GPT-4,說一聲「給我按照這種布局做個網站」,它立馬就寫出了網頁代碼。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

老板Greg Brockman親自上線演示

不過隨后,多模態仿佛曇花一現,再也沒人見過產品化的實體功能。

所以,谷歌和OpenAI的多模態大戰,終于要來了嗎?

一、對戰谷歌,OpenAI搶發多模態大模型

面對傳聞中谷歌要擊殺自己的這款大殺器,OpenAI當然不會無動于衷。

據外媒The Information爆料,一款名為Gobi的全新多模態大模型,已經在緊鑼密鼓地籌備了。

OpenAI計劃,在Gemini發布之前就推出多模態LLM,徹底擊敗谷歌。

其實,在3月份推出GPT-4多模態功能的預覽后,OpenAI已經向一家名為Be My Eyes的公司推出了這項功能,但并沒有向其他公司提供。

從名字就可以看出來,這家公司在研發讓盲人或視力不佳人群看得更清楚的技術。

最近,OpenAI打算更廣泛地推出名為GPT-Vision的功能。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

OpenAI為什么花了這么長時間?

最主要的原因,是他們擔心新的視覺功能會被不法分子利用,比如通過自動破解驗證碼來冒充人類,或者通過面部識別來追蹤人類。

不過,對于這些法律上的安全風險,OpenAI的工程師們似乎已經解決了。

同樣,一位谷歌發言人也表示:谷歌已經采取了一些措施,防止Gemini被濫用。

在7月做出的承諾中,谷歌保證會在所有產品中開發負責任的人工智能。

1. Gobi能成為GPT-5嗎?

在GPT-Vision之后,OpenAI有可能會推出更強大的多模態大模型,代號為Gobi。

跟GPT-4不同,Gobi從一開始就是按多模態模型構建的。

所以,Gobi就是傳說中的GPT-5嗎?

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

現在,我們還無法知曉。Gobi訓練到哪一步了,也沒有確切消息。

在9月初,DeepMind聯合創始人、現Inflection AI的CEO Mustafa Suleyman,在采訪時曾放出一枚重磅炸彈——據他猜測,OpenAI正在秘密訓練GPT-5。

Suleyman認為,Sam Altman最近說過他們沒有訓練 GPT-5,可能沒有說實話。(原話是:Come on. I don’t know. I think it’s better that we’re all just straight about it.)

而在這邊,根據試用過Gemini的人士,Gemini產生的幻覺,會比現有的模型都更少。原因詳見下文。

總之,谷歌和OpenAI的這場多模態模型大戰,可以說是AI版的iPhone和Android對決。

一個是稱霸AI領域多年的硅谷巨頭,一個是風頭無兩的頂流AI初創公司,二者差距有多大,所有人都在屏息等待。

2. 谷歌秘密測試Gemini

另一邊,谷歌也在開始邀請部分外部開發者加急測試,即將推出的下一代多模態大模型Gemini 。

上周,The Information獨家報道稱,Gemini可能很快準備好進行測試發布,并會集成到像Google Cloud Vertex AI等服務中。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

在今年的谷歌I/O開發者大會上,劈柴曾公開介紹Gemini,是一個多模態模型、高效集成工具、API。

為了合力干大事,谷歌還將谷歌大腦,與DeepMind實驗室進行了合并。

據稱,至少有20多位高管參與了Gemini的研發,DeepMind的創始人Demis Hassabis領導,谷歌創始人Sergey Brin參與研發。

還有谷歌DeepMind組成的數百名員工,其中包括前谷歌大腦主管Jeff Dean等等。

一位測試過的人士說,Gemini至少在一個方面比GPT-4有優勢:除了網絡上的公開信息外,該模型還利用了大量谷歌消費產品(搜索、Youtube)的專有數據。

因此,Gemini在理解用戶對特定查詢的意圖時應該特別準確,而且它產生的錯誤答案,即幻覺,似乎更少。

據此前SemiAnalysis分析師的爆料,谷歌的下一代大模型Gemini,已經開始在新的TPUv5 Pod上進行訓練,算力高達~1e26 FLOPS,比訓練GPT-4的算力還要大5倍。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

另外,Gemini的訓練數據庫包含Youtube上936億分鐘的視頻字幕,總數據集規模約為GPT-4的兩倍。

據稱,谷歌下一代大模型也是由多種規模組成,可能使用了MoE架構,以及投機采樣技術。

通過小模型提前生成token并傳遞給大模型進行評估,以提高模型的總體推理速度。

谷歌DeepMind的負責人Hassabis在采訪中曾表示,Gemini預計花費數千萬到數億美元,與開發GPT-4的成本相當。

Gemini會整合AlphaGo中使用的技術,這將賦予系統全新的規劃、解決問題的能力。

可以這么說,Gemini把AlphaGo系統的一些優勢,和大語言模型驚人的語言能力結合在一起了。并且,我們還有一些其他有趣的創新。

AlphaGo背后的技術,就是強化學習,這是DeepMind首創的技術。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

RL代理隨著時間的推移與環境交互,通過反復試驗來學習策略,從而最大限度地提高長期累積獎勵

通過強化學習,AI能夠通過反復嘗試和接受反饋來調整自己的表現,因而學會處理很棘手的問題,比如在圍棋或電子游戲中選擇如何采取下一步行動。

另外,AlphaGo還使用了蒙特卡洛樹搜索(MCTS)方法,來探索和記住棋盤上所有可能的動作。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

現有模型相比,Gemini將大大提高軟件開發人員的代碼生成能力,谷歌希望用它來追趕微軟的GitHub Copilot代碼助手。

谷歌內部還討論了,使用Gemini來實現圖表分析等功能,比如要求模型解釋完成圖表的含義,以及使用文本或語音指令來瀏覽網頁瀏覽器或其他軟件。

谷歌云開發者平臺Google Cloud Vertex AI也將得到Gemini加持,大小版本都有,這樣開發人員就可以付費購買小模型在個人設備上運行。

現在,谷歌已經在全力備戰,就等著Gemini開啟逆襲之路。

二、gpt-3.5-turbo-instruct發布

7月,OpenAI曾公布GPT-4 API全面可用,并且在接下來幾個月要推出新模型。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

這不,就在今天,網友紛紛收到了gpt-3.5-turbo-instruct新模型發布的郵件,以代替舊模型text-davinci-003。

據介紹,gpt-3.5-turbo-instruct是一個InstructGPT風格的模型,其訓練方式與text-davinci-003類似。

使用方法和以前的Prompt-Completion類似,根據提示詞的指令補全。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

就價格來說,gpt-3.5-turbo 4K保持一致。

有網友已經開始用上了最新模型,去玩1800 Elo左右的國際象棋。

而他此前還發現GPT根本做不到這一點,但現在看來這只是RLHF聊天模型的問題,純Completion模型就成功了。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

在對弈中,gpt-3.5-turbo-instruct輕松擊敗了Stockfish 4級(1700 分),在5級(2000 分)的比賽中仍不落下風。

它從不走非法棋步,使用巧妙的開局犧牲,以及令人難以置信的卒與王將死,允許對手毫無實際意義地晉級。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

網友用的是如下PGN風格的提示來模擬大師級游戲。高亮顯示有點錯誤。GPT自己走棋,他手動輸入了Stockfish的棋步。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

順便提一句,OpenAI即將在11月召開的首屆開發者大會,已經開始注冊了,快上手申請吧。

GPT-5來了?OpenAI被曝加急訓練多模態大模型Gobi,一舉狙殺谷歌Gimini!

參考資料:

https://www.theinformation.com/articles/openai-hustles-to-beat-google-to-launch-multimodal-llm

https://devday.openai.com/

https://news.ycombinator.com/item?id=37558911#:~:text=Key%20Features%3A%20Gpt%2D3.5%2D,speed%20as%20our%20turbo%20models.

編輯:編輯部

來源公眾號:新智元(ID:AI_era),“智能+”中國主平臺,致力于推動中國從“互聯網+”邁向“智能+”。

本文由人人都是產品經理合作媒體 @新智元 授權發布,未經許可,禁止轉載。

題圖來自 Unsplash,基于CC0協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!