尋找智能飛輪:從數(shù)據(jù)枯竭到多模態(tài)再到自生成
究竟什么是智能飛輪?什么樣的領(lǐng)域、什么樣的要素影響下,智能飛輪更可能出現(xiàn)呢?這篇文章里,作者就發(fā)表了他的看法和見解,一起來看看作者得出了什么樣的結(jié)論。
在前面開源大模型LLaMA 2會扮演類似Android的角色么?我們提到過AlphaGo基于數(shù)據(jù)飛輪,達(dá)到了人工智能一個現(xiàn)在還后無來者的高度,它用自己生成的數(shù)據(jù)訓(xùn)練自己,迅速達(dá)到圍棋領(lǐng)域高點(diǎn),遠(yuǎn)超人類。
但實(shí)際上用數(shù)據(jù)飛輪來形容這個過程有點(diǎn)以偏概全,數(shù)據(jù)飛輪是智能飛輪的一個部分。我有個做人工智能算法的朋友經(jīng)常把自己的工作形容為大號煉丹師,按照這個類比智能飛輪是什么呢?基本上是九轉(zhuǎn)金丹的方子(算法)、爐子(算力)和材料(數(shù)據(jù)飛輪)的綜合。拿到了大概率煉出九轉(zhuǎn)金丹,而吃了后基本立刻成仙。
那智能飛輪到底是什么,有那些關(guān)鍵影響要素,什么樣的領(lǐng)域更可能出現(xiàn)新的智能飛輪呢?
一、智能飛輪
(AlphaGo的數(shù)據(jù)飛輪)
純粹從技術(shù)角度看智能飛輪和經(jīng)常說的算力、算法、數(shù)據(jù)三要素相關(guān)。(比技術(shù)更關(guān)鍵的是場域參見:到底什么是OpenAI成功的關(guān)鍵點(diǎn),到底誰能干好大模型?這里不重復(fù)了。)算力基本上依賴于資本,算法依賴于團(tuán)隊(duì),數(shù)據(jù)就復(fù)雜些,不單是有錢就行的。
從智能飛輪的視角來看,算力確實(shí)是煉丹爐、算法決定了這個輪子多大或者說到底是個什么樣的輪子,數(shù)據(jù)飛輪則決定了智能飛輪轉(zhuǎn)不轉(zhuǎn)的起來。比如AlphaGo轉(zhuǎn)起來了,但局限于圍棋;chatGPT還沒轉(zhuǎn)起來,如果轉(zhuǎn)起來,世界整個會被轉(zhuǎn)進(jìn)去,因?yàn)樗@個輪子太大了,涵蓋了世界太多方面的內(nèi)容。
算力算法和過去其它商業(yè)場景的其實(shí)類似,人工智能與其它不同的核心就在于數(shù)據(jù)。壞消息是數(shù)據(jù)因?yàn)樯a(chǎn)和消費(fèi)的失衡而潛在的很快會枯竭。
把模型訓(xùn)練看成消費(fèi)端,把人和物的所有行為看成生產(chǎn)端,那消耗的速度顯然大于生成的速度。幾十年積累的數(shù)據(jù)可以在幾次訓(xùn)練中被消耗掉。
而數(shù)據(jù)的生成并不像想的那么容易。
二、有效數(shù)據(jù)從那里來?
并不是所有的數(shù)據(jù)都對模型有用。比如我們訓(xùn)練小愛同學(xué)這樣的喚醒詞時,如果你有海量數(shù)據(jù)但都是鐵嶺人的,那不管數(shù)據(jù)多到什么程度,訓(xùn)練結(jié)果到了廣東都肯定不好使。
所以數(shù)據(jù)首先要有效,其次才是海量。
對于人工智能語境里的數(shù)據(jù),用玄學(xué)和哲學(xué)一點(diǎn)的視角可能更容易抓到關(guān)鍵。
假設(shè)我們有一個“元真”世界,元真世界里面只有本質(zhì),比如圓的規(guī)律周長、面積、原點(diǎn)等的關(guān)系這類,而我們真實(shí)的世界其實(shí)是本質(zhì)的各種表現(xiàn)(希臘先哲管這個叫:蒼白摹本)。
現(xiàn)在大模型是通過海量的現(xiàn)實(shí)數(shù)據(jù)反向逼近本質(zhì)和元真世界,那這個時候獲取的現(xiàn)實(shí)表達(dá)種類越全,那無疑的逼近的距離就越近。比如爬行動物種類給的越多,每個種類下給的特征越豐富,模型就越能找到爬行動物本質(zhì)的部分并囊括它。只給一條鱷魚或者全給鱷魚就很難逼近到爬行動物的這個本質(zhì)。
這是智能飛輪中最大的挑戰(zhàn),可以花錢把過往的數(shù)據(jù)整理出來都給模型,問題是然后呢?
對于上面爬行動物的例子,后續(xù)的增量大多還是鱷魚的話,那和過去就是重疊的,重疊的對于逼近本質(zhì)幫助就很小,幫助很小智能就不會提升,自然也就沒有智能飛輪。(老給鱷魚會導(dǎo)致導(dǎo)致不像鱷魚就不是爬行動物這類結(jié)果)
算法不解決這個問題。
有新算法更可能是放大輪子的大小或者構(gòu)造,對飛不飛的起來幫助不大。對構(gòu)建出更好的應(yīng)用幫助倒是很大。
那到那里能找到這種對逼近本質(zhì)和元真有幫助的多樣化的數(shù)據(jù)呢?
現(xiàn)在看只有兩種方法:一種方法是加大采集范圍和力度,也就是說等著真實(shí)世界生產(chǎn),但拿的更全;一種則是自生成。讓人工智能生成的數(shù)據(jù)可以輔助人工智能的進(jìn)化。前者對應(yīng)多模態(tài),后者則首先是領(lǐng)域本身的特質(zhì)。
三、多模態(tài)解決問題么?
2010年前后開始的人工智能浪潮是從多模態(tài)開始的,雖然不同創(chuàng)業(yè)者往往從不同的維度開始,但最大的兩個分支:視覺和語音依賴的正是聲光電熱力磁幾個關(guān)鍵感知維度中的聲和光。需要補(bǔ)充一點(diǎn)的是:聲不單是常見的識別還包括聲紋、噪聲檢測、故障檢測等,光也不單包括人臉識別還可以用紅外線來檢查物品質(zhì)量、問題,深度攝像頭來做三維場景的感知等。
傳感器的低成本和精度提升是多模態(tài)的基礎(chǔ)。
多模態(tài)肯定能解決數(shù)據(jù)上量的問題,質(zhì)的問題則不太行。
量上只要一定量的攝像頭就可以每天獲取大量信息。
但質(zhì)上面因?yàn)槟悴渴鸲嗌倬S度的傳感器就有多少維度的信息,真要獲取這些信息,純粹依賴自己就需要慢慢部署累積,依賴合作則更困難因?yàn)閿?shù)據(jù)交易流轉(zhuǎn)本身困難重重,所有權(quán)、使用權(quán)并不清楚。所以多模態(tài)在長時間軸上能幫助緩慢解決問題,但注定需要非常大的成本和時間,沒可能輔助啟動智能飛輪。
這很像一個大排氣量的汽車配了個小的供油管,怎么使勁給油也是不夠。
四、數(shù)據(jù)能夠自生成么?
數(shù)據(jù)自生成有個悖論。
如果元真和本質(zhì)配合著全量的規(guī)則,做數(shù)據(jù)的生成,那對本質(zhì)的表達(dá)是充分的,這樣你生成的數(shù)據(jù)是多樣且有意義的,肯定有助于智能飛輪。但如果規(guī)則是局部的,那就會生成大量重復(fù)數(shù)據(jù),這些數(shù)據(jù)都在原來的范疇里面等于垃圾數(shù)據(jù)。從他們也只會回到部分規(guī)則和本質(zhì)。
這時候問題的關(guān)鍵變成到那里尋找一種隨機(jī)性,并且這種隨機(jī)性的結(jié)果,在領(lǐng)域或特定的范圍里是真實(shí)的。你創(chuàng)造了一些爬行動物的數(shù)據(jù),那得和蛇或者其它的什么一樣,恐龍都行,否則就構(gòu)成對爬行動物這個概念的污染。
從這個角度看大模型的幻覺是有益的,它提供了原始的可能。但這類幻覺有助于構(gòu)建一個虛擬的世界,對現(xiàn)實(shí)問題則不行。如果任由它幻覺下去倒是可能有個智能飛輪,但沒人知道它會飛到那里去了。
(這個幻覺缺點(diǎn)在數(shù)據(jù)生成場合可能并不是真的缺點(diǎn))
https://www.arxiv-vanity.com/papers/2306.08302/
五、那AlphaGo為什么行?
因?yàn)锳lphaGo正好規(guī)則是清晰的,只要符合圍棋規(guī)則的任何嘗試都是真實(shí)的一部分。這時候“幻覺”反倒是有助于窮盡可能性。
從這里我們可以總結(jié)出數(shù)據(jù)自生成的關(guān)鍵:“幻覺”+規(guī)則。為了達(dá)成目標(biāo),最終當(dāng)然還有目標(biāo)上的反饋,比如成敗。幻覺加規(guī)則能夠進(jìn)行快速的產(chǎn)出,在結(jié)果上能夠快速反饋,這對于數(shù)據(jù)生成會非常關(guān)鍵。
六、下個AlphaGo在那兒?
那還有什么領(lǐng)域符合這種特征,能夠像AlphaGo一樣啟動智能飛輪么?
從前面的描述我們可以發(fā)現(xiàn),這種領(lǐng)域的特征是前置的,反倒是和算法、數(shù)據(jù)現(xiàn)狀關(guān)聯(lián)不大。
符合這種特征就意味著更可能快速煉出九轉(zhuǎn)金丹。
游戲之外我馬上能想到的是編程。
編譯器等確保了編程的規(guī)則足夠清楚,差一點(diǎn)都不行。
在很多場景下可以用測試驅(qū)動開發(fā)的方法定義最終結(jié)果對不對。
過往數(shù)據(jù)量也足夠點(diǎn)燃第一把火。性能、穩(wěn)定性等非功能性指標(biāo)也都可以很量化的進(jìn)行度量。
編程的難處在于新領(lǐng)域來的時候,要能把這種需求模糊性描述成一種可度量的數(shù)字型的目標(biāo)。這樣軟件的產(chǎn)品就會變成變成對錯清楚的一種系統(tǒng),在這種情況下內(nèi)部的各種構(gòu)建可以讓模型完成。
如果這是真的,那么程序員這個行業(yè)一定會面臨巨大變化。
不是說消滅這個職業(yè),而是說工作的內(nèi)涵會和過往很不一樣。
醫(yī)療是什么情況,雖然琢磨事這個號的讀者很多會關(guān)注這個領(lǐng)域,但很不幸醫(yī)療不是有智能飛輪的領(lǐng)域,需要的是靠算法等進(jìn)步一點(diǎn)點(diǎn)的推著往前走。(不是說AI對它沒幫助,沒機(jī)會,沃森類系統(tǒng)一定會出來)
因?yàn)椴”旧砭筒辉趺辞宄?,“幻覺”和規(guī)則也就沒法產(chǎn)生有效數(shù)據(jù),如果基于這樣的模擬數(shù)據(jù)來做模型,然后去指導(dǎo)給真人看病,再在反饋中修正,這怎么想也不靠譜。反饋代價也太高,沒準(zhǔn)人類都死光了還不夠它驗(yàn)證幻覺的。
企業(yè)運(yùn)營管理是什么情形?這反倒是部分可以。
這好像有點(diǎn)矛盾,理論上醫(yī)院也是一種企業(yè),為什么醫(yī)院不行,企業(yè)就行?
因?yàn)槠髽I(yè)內(nèi)在差別很大,既有封閉系統(tǒng),又有開放復(fù)雜系統(tǒng)。
企業(yè)里的場景和任務(wù),其實(shí)是在封閉和開放之間連續(xù)的,比如總是既有外賣小哥這類工作,也有CEO的工作,前者就封閉后者就開放。然后不同的企業(yè)里不同類型的工作配比不一樣,比如工廠里或者清潔公司就封閉度高,大學(xué)可能就開放度高。
這種配比決定組織的性質(zhì)。
這就導(dǎo)致在很多貼近封閉場景的場合其實(shí)可以找到最優(yōu)解,關(guān)鍵是邊界要切清楚。切到極端其實(shí)和圍棋是一樣的,比如即使不用大模型物流怎么配送最優(yōu)也可以用算法求解(求解器),因?yàn)樗吔缜逦?/p>
最后想說的是反身性明顯的領(lǐng)域,會比較困難,比如股票交易。理論上講股票和游戲很像,數(shù)據(jù)非常充分,數(shù)據(jù)的獲取也不困難,幻覺于規(guī)則對應(yīng)的結(jié)果馬上也有反饋。但股票市場的反身性太明顯,這導(dǎo)致它近乎沒有規(guī)則。這種情況下,AlphaGo這個意義上的智能飛輪轉(zhuǎn)起來也沒用,需要另外的視角和方法。
七、小結(jié)
結(jié)論是智能飛輪存在與否是個領(lǐng)域特質(zhì),和算力、算法關(guān)聯(lián)不大。領(lǐng)域不對,就沒數(shù)據(jù)飛輪,沒數(shù)據(jù)飛輪的時候適合打呆仗,結(jié)合多模態(tài)逐步累積。
這也就意味著在我們XX說的系統(tǒng)型超級應(yīng)用對應(yīng)的長尾曲線里面有智能飛輪效應(yīng)的會跑在前面。對于純粹大模型的研發(fā)者,它們負(fù)責(zé)引領(lǐng);對于系統(tǒng)型超級應(yīng)用的開發(fā)方核心是尋找到有智能飛輪的領(lǐng)域并據(jù)此調(diào)配策略;對于長尾曲線上的應(yīng)用,更適合的是快速產(chǎn)出體驗(yàn)。AI未來的格局倒是越來越清楚了。
專欄作家
琢磨事,微信公眾號:琢磨事,人人都是產(chǎn)品經(jīng)理專欄作家。聲智科技副總裁。著有《終極復(fù)制:人工智能將如何推動社會巨變》、《完美軟件開發(fā):方法與邏輯》、《互聯(lián)網(wǎng)+時代的7個引爆點(diǎn)》等書。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!