尋找智能飛輪:從數據枯竭到多模態再到自生成

0 評論 2176 瀏覽 2 收藏 15 分鐘

究竟什么是智能飛輪?什么樣的領域、什么樣的要素影響下,智能飛輪更可能出現呢?這篇文章里,作者就發表了他的看法和見解,一起來看看作者得出了什么樣的結論。

在前面開源大模型LLaMA 2會扮演類似Android的角色么?我們提到過AlphaGo基于數據飛輪,達到了人工智能一個現在還后無來者的高度,它用自己生成的數據訓練自己,迅速達到圍棋領域高點,遠超人類。

但實際上用數據飛輪來形容這個過程有點以偏概全,數據飛輪是智能飛輪的一個部分。我有個做人工智能算法的朋友經常把自己的工作形容為大號煉丹師,按照這個類比智能飛輪是什么呢?基本上是九轉金丹的方子(算法)、爐子(算力)和材料(數據飛輪)的綜合。拿到了大概率煉出九轉金丹,而吃了后基本立刻成仙。

那智能飛輪到底是什么,有那些關鍵影響要素,什么樣的領域更可能出現新的智能飛輪呢?

一、智能飛輪

尋找智能飛輪:從數據枯竭到多模態再到自生成

(AlphaGo的數據飛輪)

純粹從技術角度看智能飛輪和經常說的算力、算法、數據三要素相關。(比技術更關鍵的是場域參見:到底什么是OpenAI成功的關鍵點,到底誰能干好大模型?這里不重復了。)算力基本上依賴于資本,算法依賴于團隊,數據就復雜些,不單是有錢就行的。

從智能飛輪的視角來看,算力確實是煉丹爐、算法決定了這個輪子多大或者說到底是個什么樣的輪子,數據飛輪則決定了智能飛輪轉不轉的起來。比如AlphaGo轉起來了,但局限于圍棋;chatGPT還沒轉起來,如果轉起來,世界整個會被轉進去,因為它這個輪子太大了,涵蓋了世界太多方面的內容。

算力算法和過去其它商業場景的其實類似,人工智能與其它不同的核心就在于數據。壞消息是數據因為生產和消費的失衡而潛在的很快會枯竭。

把模型訓練看成消費端,把人和物的所有行為看成生產端,那消耗的速度顯然大于生成的速度。幾十年積累的數據可以在幾次訓練中被消耗掉。

而數據的生成并不像想的那么容易。

二、有效數據從那里來?

并不是所有的數據都對模型有用。比如我們訓練小愛同學這樣的喚醒詞時,如果你有海量數據但都是鐵嶺人的,那不管數據多到什么程度,訓練結果到了廣東都肯定不好使。

所以數據首先要有效,其次才是海量。

對于人工智能語境里的數據,用玄學和哲學一點的視角可能更容易抓到關鍵。

假設我們有一個“元真”世界,元真世界里面只有本質,比如圓的規律周長、面積、原點等的關系這類,而我們真實的世界其實是本質的各種表現(希臘先哲管這個叫:蒼白摹本)。

現在大模型是通過海量的現實數據反向逼近本質和元真世界,那這個時候獲取的現實表達種類越全,那無疑的逼近的距離就越近。比如爬行動物種類給的越多,每個種類下給的特征越豐富,模型就越能找到爬行動物本質的部分并囊括它。只給一條鱷魚或者全給鱷魚就很難逼近到爬行動物的這個本質。

這是智能飛輪中最大的挑戰,可以花錢把過往的數據整理出來都給模型,問題是然后呢?

對于上面爬行動物的例子,后續的增量大多還是鱷魚的話,那和過去就是重疊的,重疊的對于逼近本質幫助就很小,幫助很小智能就不會提升,自然也就沒有智能飛輪。(老給鱷魚會導致導致不像鱷魚就不是爬行動物這類結果)

算法不解決這個問題。

有新算法更可能是放大輪子的大小或者構造,對飛不飛的起來幫助不大。對構建出更好的應用幫助倒是很大。

那到那里能找到這種對逼近本質和元真有幫助的多樣化的數據呢?

現在看只有兩種方法:一種方法是加大采集范圍和力度,也就是說等著真實世界生產,但拿的更全;一種則是自生成。讓人工智能生成的數據可以輔助人工智能的進化。前者對應多模態,后者則首先是領域本身的特質。

三、多模態解決問題么?

2010年前后開始的人工智能浪潮是從多模態開始的,雖然不同創業者往往從不同的維度開始,但最大的兩個分支:視覺和語音依賴的正是聲光電熱力磁幾個關鍵感知維度中的聲和光。需要補充一點的是:聲不單是常見的識別還包括聲紋、噪聲檢測、故障檢測等,光也不單包括人臉識別還可以用紅外線來檢查物品質量、問題,深度攝像頭來做三維場景的感知等。

傳感器的低成本和精度提升是多模態的基礎。

多模態肯定能解決數據上量的問題,質的問題則不太行。

量上只要一定量的攝像頭就可以每天獲取大量信息。

質上面因為你部署多少維度的傳感器就有多少維度的信息,真要獲取這些信息,純粹依賴自己就需要慢慢部署累積,依賴合作則更困難因為數據交易流轉本身困難重重,所有權、使用權并不清楚。所以多模態在長時間軸上能幫助緩慢解決問題,但注定需要非常大的成本和時間,沒可能輔助啟動智能飛輪。

這很像一個大排氣量的汽車配了個小的供油管,怎么使勁給油也是不夠。

四、數據能夠自生成么?

數據自生成有個悖論。

如果元真和本質配合著全量的規則,做數據的生成,那對本質的表達是充分的,這樣你生成的數據是多樣且有意義的,肯定有助于智能飛輪。但如果規則是局部的,那就會生成大量重復數據,這些數據都在原來的范疇里面等于垃圾數據。從他們也只會回到部分規則和本質。

這時候問題的關鍵變成到那里尋找一種隨機性,并且這種隨機性的結果,在領域或特定的范圍里是真實的。你創造了一些爬行動物的數據,那得和蛇或者其它的什么一樣,恐龍都行,否則就構成對爬行動物這個概念的污染。

從這個角度看大模型的幻覺是有益的,它提供了原始的可能。但這類幻覺有助于構建一個虛擬的世界,對現實問題則不行。如果任由它幻覺下去倒是可能有個智能飛輪,但沒人知道它會飛到那里去了。

尋找智能飛輪:從數據枯竭到多模態再到自生成

(這個幻覺缺點在數據生成場合可能并不是真的缺點)

https://www.arxiv-vanity.com/papers/2306.08302/

五、那AlphaGo為什么行?

因為AlphaGo正好規則是清晰的,只要符合圍棋規則的任何嘗試都是真實的一部分。這時候“幻覺”反倒是有助于窮盡可能性。

從這里我們可以總結出數據自生成的關鍵:“幻覺”+規則。為了達成目標,最終當然還有目標上的反饋,比如成敗?;糜X加規則能夠進行快速的產出,在結果上能夠快速反饋,這對于數據生成會非常關鍵。

六、下個AlphaGo在那兒?

那還有什么領域符合這種特征,能夠像AlphaGo一樣啟動智能飛輪么?

從前面的描述我們可以發現,這種領域的特征是前置的,反倒是和算法、數據現狀關聯不大。

符合這種特征就意味著更可能快速煉出九轉金丹。

游戲之外我馬上能想到的是編程。

編譯器等確保了編程的規則足夠清楚,差一點都不行。

在很多場景下可以用測試驅動開發的方法定義最終結果對不對。

過往數據量也足夠點燃第一把火。性能、穩定性等非功能性指標也都可以很量化的進行度量。

編程的難處在于新領域來的時候,要能把這種需求模糊性描述成一種可度量的數字型的目標。這樣軟件的產品就會變成變成對錯清楚的一種系統,在這種情況下內部的各種構建可以讓模型完成。

如果這是真的,那么程序員這個行業一定會面臨巨大變化。

不是說消滅這個職業,而是說工作的內涵會和過往很不一樣。

醫療是什么情況,雖然琢磨事這個號的讀者很多會關注這個領域,但很不幸醫療不是有智能飛輪的領域,需要的是靠算法等進步一點點的推著往前走。(不是說AI對它沒幫助,沒機會,沃森類系統一定會出來)

因為病本身就不怎么清楚,“幻覺”和規則也就沒法產生有效數據,如果基于這樣的模擬數據來做模型,然后去指導給真人看病,再在反饋中修正,這怎么想也不靠譜。反饋代價也太高,沒準人類都死光了還不夠它驗證幻覺的。

企業運營管理是什么情形?這反倒是部分可以。

這好像有點矛盾,理論上醫院也是一種企業,為什么醫院不行,企業就行?

因為企業內在差別很大,既有封閉系統,又有開放復雜系統。

企業里的場景和任務,其實是在封閉和開放之間連續的,比如總是既有外賣小哥這類工作,也有CEO的工作,前者就封閉后者就開放。然后不同的企業里不同類型的工作配比不一樣,比如工廠里或者清潔公司就封閉度高,大學可能就開放度高。

這種配比決定組織的性質。

這就導致在很多貼近封閉場景的場合其實可以找到最優解,關鍵是邊界要切清楚。切到極端其實和圍棋是一樣的,比如即使不用大模型物流怎么配送最優也可以用算法求解(求解器),因為它邊界清晰。

最后想說的是反身性明顯的領域,會比較困難,比如股票交易。理論上講股票和游戲很像,數據非常充分,數據的獲取也不困難,幻覺于規則對應的結果馬上也有反饋。但股票市場的反身性太明顯,這導致它近乎沒有規則。這種情況下,AlphaGo這個意義上的智能飛輪轉起來也沒用,需要另外的視角和方法。

七、小結

結論是智能飛輪存在與否是個領域特質,和算力、算法關聯不大。領域不對,就沒數據飛輪,沒數據飛輪的時候適合打呆仗,結合多模態逐步累積。

這也就意味著在我們XX說的系統型超級應用對應的長尾曲線里面有智能飛輪效應的會跑在前面。對于純粹大模型的研發者,它們負責引領;對于系統型超級應用的開發方核心是尋找到有智能飛輪的領域并據此調配策略;對于長尾曲線上的應用,更適合的是快速產出體驗。AI未來的格局倒是越來越清楚了。

專欄作家

琢磨事,微信公眾號:琢磨事,人人都是產品經理專欄作家。聲智科技副總裁。著有《終極復制:人工智能將如何推動社會巨變》、《完美軟件開發:方法與邏輯》、《互聯網+時代的7個引爆點》等書。

本文原創發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!