GPT家族進(jìn)化史
在ChatGPT出現(xiàn)之后,人們有關(guān)AI技術(shù)的想象空間被極大地放大了,而最近OpenAI發(fā)布的GPT-4,則展示了AI技術(shù)堪稱恐怖的更新與變化速度。那么縱觀來看,GPT經(jīng)歷了怎樣的發(fā)展過程?本文便對GPT家族的進(jìn)化史進(jìn)行了總結(jié),一起來看一下。
傳播學(xué)之父威爾伯·施拉姆曾說過:“這一天的前23個小時,人類傳播史上幾乎全都是空白,一切重大的發(fā)展都集中在這一天的最后7分鐘。正是這最后7分鐘,譜寫了人類歷史的黃金時期,而午夜前的最后3秒?yún)s翻開了人類邁進(jìn)信息化社會的新篇章?!?/p>
這句話用來形容技術(shù)進(jìn)化也很合適。人類絕大多數(shù)時間都處在“科技大停滯”的狀態(tài),而科技大爆炸來的時候常常是“一句招呼都不打”。近期,人工智能(AI)技術(shù)的發(fā)展,就讓大家切實感受到了科技的“暴力美學(xué)”。
在ChatGPT出現(xiàn)前,有人悲觀地認(rèn)為,AI領(lǐng)域已經(jīng)形成巨大泡沫。但眼下,AI呈現(xiàn)出全新的價值,讓行業(yè)重現(xiàn)百家爭鳴的熱鬧景象。
3月15日凌晨,OpenAI發(fā)布大型多模式模型GPT-4,GPT-4不僅能夠處理圖像內(nèi)容,且回復(fù)的準(zhǔn)確性亦有所提高,在官方演示中,GPT-4只花了10秒,就識別了手繪網(wǎng)站圖片,并根據(jù)要求實時生成了網(wǎng)頁代碼制作出了幾乎與手繪版一樣的網(wǎng)站,堪稱“王炸級”產(chǎn)品。
3月16日,提前一個月宣傳造勢,備受關(guān)注的百度文心一言揭開神秘面紗。雖然發(fā)布會一開始,百度股價便出現(xiàn)斷崖式下跌,李彥宏也坦言產(chǎn)品沒有完全準(zhǔn)備好,但這并不影響市場的龐大需求。
發(fā)布會后1小時內(nèi),排隊申請文心一言企業(yè)版API調(diào)用服務(wù)測試的企業(yè)用戶已達(dá)3萬多家,申請產(chǎn)品測試網(wǎng)頁多次被擠爆。
3月17日,在“用AI重塑生產(chǎn)力”活動上,美國科技巨頭微軟宣布為其Microsoft 365應(yīng)用和服務(wù)推出一款新的AI驅(qū)動的產(chǎn)品Copilot,由OpenAI本周發(fā)布的GPT-4提供技術(shù)支持,旨在像助手一樣,用AI幫助用戶生成文檔、表格、電子郵件、PPT等。這意味著,超12億人(微軟官方數(shù)據(jù))將會解放雙手,獲得AI帶來的生產(chǎn)力提升。
對于天天碼字的小編來說,只有一個詞——想擁有!
圖 | 微軟
時至今日,已經(jīng)沒有人會懷疑AI以及大語言模型的重要性了。更大、更快、更強(qiáng),又意味著什么呢?有人說,ChatGPT的出現(xiàn),終于讓人類的一只腳邁進(jìn)了元宇宙。
任何指數(shù)增長的曲線初期,拉近了看都不過是一個平淡的緩坡,但只有回顧整個歷史的時候,我們才會知道這條曲線最終會加速到怎樣的高度。
今天我們就來回顧一下GPT家族的進(jìn)化史,看看它是如何一步步讓全世界科技大廠黯然失色的。
一、GPT的升級之路
過去十年間,谷歌、臉書、亞馬遜、蘋果和微軟等科技巨頭紛紛開啟AI軍備競賽,先后成立專門的AI實驗室,而業(yè)界公認(rèn)的頂級AI實驗室只有三家:背靠谷歌的DeepMind、背靠微軟的OpenAI和背靠臉書的FAIR。其中,被谷歌收購的DeepMind因擁有AlphaGo(阿爾法狗)最為家喻戶曉。
2015年12月,特斯拉汽車創(chuàng)始人埃隆·馬斯克,格雷格·布羅克曼(OpenAI聯(lián)合創(chuàng)始人兼總裁)、山姆·阿爾特曼(OpenAI首席執(zhí)行官)、彼得泰爾(Paypal創(chuàng)始人)以及伊利亞·蘇特斯科夫(師從神經(jīng)網(wǎng)絡(luò)之父杰弗里·辛頓,OpenAI首席科學(xué)家)等數(shù)位硅谷大佬拿出了10億美元,在舊金山創(chuàng)立了OpenAI Inc.。
OpenAI Inc.設(shè)立之時就是一家非盈利組織,他的目標(biāo)就是研發(fā)通用且開放的的人工智能來對抗谷歌的DeepMind“霸權(quán)”。
2016年,微軟Azure云服務(wù)為OpenAI提供了算力條件,使得日后的ChatGPT要進(jìn)行大規(guī)模深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)渲染等都成為可能。
2017年,Google團(tuán)隊首次提出基于自我注意力機(jī)制的Transformer模型,并將其應(yīng)用于自然語言處理。OpenAI應(yīng)用了這項技術(shù),2018年發(fā)布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的簡稱,中文為生成型預(yù)訓(xùn)練變換模型)。
最初的GPT-1,運用幾十億文本檔案的語言資料庫進(jìn)行訓(xùn)練,模型的參數(shù)量為1.17億個,據(jù)說效果一般;2019年,GPT-2發(fā)布,模型參數(shù)量提高到15億個,效果仍然很一般;可OpenAI堅持“大力出奇跡”的想法,繼續(xù)擴(kuò)大它的參數(shù)量,得益于更高的數(shù)據(jù)質(zhì)量和更大的數(shù)據(jù)規(guī)模,GPT-2有了驚人的生成能力。
2020年,GPT-3誕生,參數(shù)量達(dá)到了創(chuàng)紀(jì)錄的1750億個,其訓(xùn)練參數(shù)是GPT-2的10倍以上,技術(shù)路線上則去掉了初代GPT的微調(diào)步驟,直接輸入自然語言當(dāng)作指示,給GPT訓(xùn)練讀過文字和句子后可接續(xù)問題的能力,同時包含了更為廣泛的主題。
這一次,結(jié)果終于不同,大家發(fā)現(xiàn)它的對話功能一下子達(dá)到了相當(dāng)高的水平,2022年12月首次公布的ChatGPT(能夠?qū)υ挼腉PT版本)就是在GPT-3基礎(chǔ)上的3.5版本。
二、讓人工智能出圈的ChatGPT
ChatGPT之所以受到如此廣泛的關(guān)注和喜愛,是因為它具備了GPT-3所缺乏的關(guān)鍵功能:對話設(shè)計。
對于許多人來說,評估一個人工智能模型的好壞,往往看它是否能夠在一次來回的對話中聽懂使用者的問題,并給出令人滿意的答案。相比于背后的知識量,人們更關(guān)注AI模型的“溝通能力”。
這些模型能夠以比人類快上10倍甚至20倍以上的速度生成文本,并且生成的文本質(zhì)量還不錯,令人印象深刻。
簡單來說,GPT-3的架構(gòu)就是通過喂入大量的范本,學(xué)習(xí)拆解這些模板并重新組合出新的結(jié)果。引擎設(shè)計者所喂入的資料越多,GPT-3獲得的知識就越豐富。例如,OpenAI在GPT-3的預(yù)訓(xùn)練過程中喂入了超過570GB的文本資料。當(dāng)GPT-3獲得足夠豐富的知識庫時,其生成的結(jié)果也變得越來越精確。
使用者只需要將自己的工作通過語意拆分成多個小任務(wù),讓GPT-3分別完成,再將結(jié)果組裝起來,就能像有了10倍超能力的工作者一樣高效地完成工作。
三、GPT-4功能強(qiáng)過ChatGPT,能玩梗圖還能做網(wǎng)頁
鑒于ChatGPT給人工智能產(chǎn)業(yè)帶來的變革,市場自然對其升級版GPT-4賦予了諸多想象。
3月15日凌晨,OpenAI正式推出GPT-4,產(chǎn)品具備諸多亮點。據(jù)OpenAI介紹,在平常的聊天過程中,可能感受不到GPT-3.5和GPT-4之間的區(qū)別,但是當(dāng)任務(wù)的復(fù)雜性達(dá)到足夠的閾值時,兩者之間的區(qū)別就顯現(xiàn)出來了。GPT-4比GPT-3.5更可靠、更有創(chuàng)造力,能夠處理更細(xì)微的指令。
相比ChatGPT僅能在文字領(lǐng)域施展特長,GPT-4的一個關(guān)鍵升級就是多模態(tài),也就是支持圖像和文本輸入,擁有強(qiáng)大的識圖能力。值得一提的是,GPT-4已經(jīng)能看懂一些圖梗了,不再僅僅是對話助手。
用戶提問:解釋下圖的笑點是什么,并對圖片中的每部分進(jìn)行描述。GPT-4的回答如圖所示:
圖 | OpenAI
據(jù)OpenAI介紹,雖然目前GPT-4在現(xiàn)實場景中的能力可能不如人類,但在各種專業(yè)和學(xué)術(shù)考試上都表現(xiàn)出明顯超越人類水平的能力。雖然GPT-4的訓(xùn)練語料庫還停留在2021年9月之前,但對科學(xué)、醫(yī)學(xué)、法律等特定領(lǐng)域進(jìn)行了知識面的擴(kuò)充,不僅能在美國統(tǒng)一律師資格考試中取得前列成績,在奧賽、GRE等考試均取得了很高的分?jǐn)?shù),甚至SAT成績(可以理解為美國高考成績)——已經(jīng)超過了90%的考生,跨過哈佛、斯坦福等名校的門檻。
圖 | OpenAI:GPT3.5和4的部分考試成績
據(jù)外媒最新消息,OpenAI總裁格雷格·布羅克曼稱,公司正在測試GPT-4高級版本,是普通GPT-4儲存內(nèi)容能力的5倍。
四、成就GPT的股權(quán)新玩法
OpenAI帶來的革新不僅體現(xiàn)在產(chǎn)品和技術(shù)層面,其獨特的股權(quán)投資方式也在很大程度上造就了GPT的成功。
隨著GPT的技術(shù)以指數(shù)級速度增長,其算力的燒錢速度也呈現(xiàn)出指數(shù)級的上升。巧婦難為無米之炊,OpenAI需要不斷地輸血才能保持運轉(zhuǎn),但顯然全世界沒有一個投資者想當(dāng)慈善家,唯一的解決辦法就是對外引進(jìn)財務(wù)投資。
2019年擔(dān)任OpenAI首席執(zhí)行官的阿爾特曼說:為了成功完成我們的使命,我們需要海量資金,數(shù)額遠(yuǎn)超出我最初的設(shè)想。
為了徹底解決資金問題,OpenAI調(diào)整了結(jié)構(gòu),一分為二:非營利部門(OpenAI Nonprofit)從事開發(fā)技術(shù),營利部門(OpenAI LP)負(fù)責(zé)商業(yè)化,但OpenAI給不同時期進(jìn)入的投資人設(shè)置了各自的盈利天花板。天花板之上,所有的盈利將屬于非營利部門。
圖:創(chuàng)業(yè)邦
2019年,改制后的OpenAI正式開啟融資之旅。據(jù)創(chuàng)業(yè)邦數(shù)據(jù)顯示,包括最早期投資(比種子輪更早的Pre-種子輪),OpenAI一共進(jìn)行了8輪融資,涉及9家知名機(jī)構(gòu)和企業(yè),融資總金額約110億美元。
圖 | 創(chuàng)業(yè)邦
根據(jù)OpenAI的發(fā)展,簡單概括為以下4個階段:
階段一:2015年OpenAI首席執(zhí)行官阿爾特曼,與埃隆·馬斯克等人宣布出資10億美元,創(chuàng)立了非營利性研究機(jī)構(gòu)OpenAI。
階段二:2019年OpenAI的架構(gòu)進(jìn)行了調(diào)整,調(diào)整后變身為兩家機(jī)構(gòu)——營利性機(jī)構(gòu)OpenAI LP和最初的非營利機(jī)構(gòu)OpenAI, Inc。
目前我們提到OpenAI,通常指的是被稱為OpenAI LP的一家有限合伙企業(yè),在組織形態(tài)上采用的是有限合伙,這是一家盈利公司。
非營利機(jī)構(gòu)OpenAI, Inc是其負(fù)責(zé)投資管理的普通合伙人(GP),這是一家在美國特拉華州注冊的有限責(zé)任公司。也就是說,OpenAI LP由OpenAI, Inc控制。
階段三:從2019年開始,微軟與OpenAI建立了戰(zhàn)略合作伙伴關(guān)系,不少于三次投資,共投入130億美元,成為OpenAI最大的有限合伙人。OpenAI LP從成立之初參與投資的VC們,也成為了有限合伙人。
階段四:在OpenAI未來盈利后,與一般企業(yè)通過上市讓投資人獲得回報的做法不同,OpenAI選擇了一種新的股權(quán)投資協(xié)議模式——以投資回報速度代替投資回報水平。
盈利后的OpenAI將分節(jié)奏,逐步回報投資人:
- 優(yōu)先保證OpenAI的首批投資者收回初始資本;
- 微軟投資完成、OpenAI LP首批投資人收回初始投資后,微軟有權(quán)獲得OpenAI LP 75%利潤;
- 微軟收回130億美元投資、從OpenAI LP獲得920億美元利潤后,它分享利潤的比例從75%降到49%;
- OpenAI LP產(chǎn)生的利潤達(dá)到1500億美元后,微軟和其他風(fēng)險投資者的股份將無償轉(zhuǎn)讓給OpenAI LP的普通合伙人——非營利機(jī)構(gòu)OpenAI, Inc。
從以上四個階段可以看出,本質(zhì)上OpenAI是在把公司借給微軟,而借多久,取決于OpenAI賺錢的速度。
直接以投資回報速度代替投資回報水平,這種做法是建立在OpenAI最終回歸公益的愿景必然實現(xiàn)的強(qiáng)烈信念,以及管理團(tuán)隊能夠駕馭OpenAI走向成功的充分信任基礎(chǔ)上。
在這樣的信念之下,OpenAI吸引了很多頂尖的AI研究人員,承諾絕對有競爭力的薪水和絕對的商業(yè)自由。他們毅然離開原來的科技公司和學(xué)術(shù)機(jī)構(gòu),加入OpenAI,希望專心思考人類的終極問題。
當(dāng)然,OpenAI LP的股權(quán)結(jié)構(gòu)尚存在一些不足。相比之下,擁有較好的創(chuàng)始團(tuán)隊激勵、較好的股權(quán)流動性、無上限的投資回報收益等優(yōu)點的傳統(tǒng)股權(quán)投資體系,在現(xiàn)階段仍然是不可被替代的。
OpenAI LP的新路能否最終通向羅馬,尚需時間的檢驗。
作者:MetaPostOfficial
來源公眾號:MetaPost(ID:MetaPost23),元宇宙科技媒體,先人一步進(jìn)入元宇宙。
本文由人人都是產(chǎn)品經(jīng)理合作媒體 @MetaPost 授權(quán)發(fā)布,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于 CC0 協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
想擁有