ChatGPT 之后,對抗信息熵增
ChatGPT 的出現(xiàn)不僅引起互聯(lián)網用戶的熱切關注,不少企業(yè)、創(chuàng)業(yè)者們,也在這一概念上傾注了許多心力。那么,ChatGPT會給應用帶來哪些可能性?其出現(xiàn)又會帶來哪些風險和問題?一起來看看作者的分析與解讀。
ChatGPT 點燃了全球對未來的想象,還讓沉寂已久的退休大佬決定重出江湖。是的,就是這兩天被刷屏的王慧文。
這位曾經美團的核心人物,在社交媒體公開發(fā)表宣言。從最初的「必須參與」,到5000萬美元帶資入組,不在意崗位、薪資和title,求組隊。第三天干脆宣布創(chuàng)建一個「全新生命體」,發(fā)出AI英雄榜,招募頂級人才。
這是ChatGPT傳入中國后,最高調的起步公司。它面臨的對手是那些國內外科技巨頭。
微軟推出基于 ChatGPT 的 New Bing 一天后,谷歌匆忙搬出 Bard 應戰(zhàn)。雖然發(fā)布會的演示尷尬出錯,市值一夜蒸發(fā)超過 7000 億元,但微軟和谷歌被認為是最有可能將ChatGPT大放光彩的公司。
國內公司也紛紛表態(tài),百度、阿里、騰訊等大廠均表示自己在相關方向上有所布局。
百度三月即將上線「文心一言」,并接入百度搜索;阿里達摩院正在研發(fā)對話機器人,并計劃與釘釘等生產力工具深度結合;騰訊雖未透露出具體的應用計劃,但也底氣十足地表示,自己在大模型(LLM)、機器學習(ML)和自然語言處理(NLP)等領域有著技術儲備,進行應用探索。
總之,全網都是ChatGPT,被討論,被神話,被人窮盡溢美之詞,被視為是新一輪工業(yè)革命。但也有人發(fā)出警醒,ChatGPT也在被誤解。
一、大力出奇跡
「我相信大廠聲稱自己正在布局 ChatGPT ,除了有保住股價的考慮,肯定也有了解這些前沿技術的團隊。但是懂得大致的技術框架,和真正做出來跟 ChatGPT 效果一樣好的東西,是兩件事情?!挂晃?AI 公司的技術合伙人說。
OpenAI 對外發(fā)布了許多 ChatGPT 相關的研究性論文,講述大致的思路,但不會透露技術細節(jié)。上述合伙人提醒,「其他公司想要復刻,還是需要自己摸索。而一旦涉及到技術細節(jié)的摸索,就要有特別大的投入。」
他認為,OpenAI 的偉大之處在于,在結果未知的情況下,就敢于下注?!敢话愎緸榱嘶钕氯?,不得不去考慮投入產出比?!鼓P偷膮翟蕉啵馕吨柧?、調試時間的成倍增加。時間的翻倍,意味著硬件成本、人力成本的翻倍。
據《財富》雜志報道,2022年,OpenAI公司的收入預計不足3000萬美元,凈虧損5.45億美元。而隨著ChatGPT的火爆,可能進一步增加虧損,因為用戶每一次調用,就會讓OpenAI付出更多的計算資源和帶寬成本。
本質上,ChatGPT 是一個表現(xiàn)令人驚艷的統(tǒng)計語言模型。
它的原理是,不斷將前文的文本片段作為條件,預測下一個詞語出現(xiàn)的概率,選中概率較高的單詞,從而生成通順的語句和段落。
ChatGPT 的技術——GPT 3.5,是由 Transformer 的技術線發(fā)展而來的。而 Transformer 的第一篇研究文章,其實是由谷歌發(fā)布的。
2017 年 6 月,谷歌發(fā)布論文《Attention is all you need》,推出能調用 6500萬參數的 Transformer 模型,并首次將其用于理解人類語言;2018 年,谷歌又推出了 3億參數的 BERT 模型。
只不過谷歌走得并不堅定,精力遠比OpenAI分散。
OpenAI 在擴大模型的道路上一路狂奔。GPT-3 模型有 1750 億個參數,訓練的數據量高達 5000 億個 token(約合 3000 億個詞)。
谷歌則在多種技術路線間搖擺不定,萬億參數的Switch Transformer并沒有得到持續(xù)投入;Flan-T5模型一度有著勝過GPT-3的表現(xiàn),但由于優(yōu)化進度緩慢,還是由OpenAI先做出了ChatGPT這款產品,將大語言模型的神奇能力展現(xiàn)在我們面前。
北京智源人工智能研究院理事張宏江進一步解釋,1750億參數量,約有700G大小,一次訓練成本大致花1200萬美金。所以,大模型的發(fā)展不光是算法上的進步,在數據、算力上的要求也非常巨大。
這是一個「大力出奇跡」的故事。AI 模型的訓練,并不是「一份耕耘,一份收獲」的線性邏輯。
學術界有一個術語,叫做「涌現(xiàn)」(emergence),參數到了一定的程度,模型效果會迎來質的飛躍。但這個程度,究竟是10億、100億、1000億,在實踐之前都無從得知。對于 GPT 來說,「參數越多,效果越好」只是個「后驗性」的結論。
OpenAI 的孤注一擲,等來了它的「涌現(xiàn)」;而谷歌的多線并行,卻也是當時的「局部最優(yōu)解」。
在大語言模型的訓練上,「沒有人比其他人領先超過兩到六個月?!构雀柙谙嚓P研究領域碩果累累,并未落后于 OpenAI 半個身位,但精力分散拖累了它將學術成果落實為具體應用的步伐。
二、應用會更容易嗎?
盡管ChatGPT技術內核的突破有非常高的門檻,但是OpenAI的大模型對產業(yè)的影響是絕對深遠的。
張宏江將其形容為,是從小農經濟到大規(guī)模生產的一個很重要的變化,就像當初電網的變革一樣,此前自己發(fā)電,而今天要用 AI,不需要再做模型,而是用已有的大模型,以一種服務方式提供給用戶。
ChatGPT 超過Tiktok,成為迄今為止用戶最快破億的應用。積累 1 億用戶,ChatGPT 用了兩個月, Tiktok用了九個月,而 Instagram 則用了兩年多。
OpenAI 的首席執(zhí)行官 Sam Altman 曾在推特上表示,用戶與 ChatGPT 每次交互的計算成本為「個位數美分」。隨著用戶破億,其每月計算成本高達數百萬美元。
基于此,OpenAI 開啟了新一輪融資,也在探索如何直接用 ChatGPT 變現(xiàn)。
2月1日,OpenAI 正式官宣 ChatGPT Plus —— ChatGPT 的個人付費訂閱服務。用戶支付 20$/月的費用,即可享受高峰時段的優(yōu)先訪問、更快的響應時間,還能優(yōu)先嘗鮮新功能。
OpenAI 官宣ChatGPT Plus
to C 的付費制還在試點和探索階段,to B 的付費 API 調用則是 OpenAI 現(xiàn)階段的主要收入來源。
2021 年底,OpenAI 對公眾開放了 GPT-3 的 API 接口,開發(fā)者和相關公司可付費調用,實現(xiàn)自然語言理解和生成的任務。除此之外,OpenAI 還開放了 Codex、DALL·E 的 API 接口,分別完成自然語言轉代碼、自然語言轉圖像的任務。路透社的數據顯示,OpenAI 2022 年收入達數千萬美元,2023 與 2024 的預計年收入分別為 2 億美元和 10 億美元。
OpenAI API 調用價格
一個大模型,即使像 ChatGPT 一般有驚艷的表現(xiàn)、足夠的通用性,也無法用來解決所有問題。從新技術的誕生,到可用的行業(yè)產品,再到后續(xù)的運營和用戶服務,還需要很多下游應用企業(yè)結合行業(yè)場景來進行微調和開發(fā),形成「整體產品」方案。
Jasper 就是這樣一家基于 GPT-3 API 的生成式 AI 公司,提供電商、廣告、博客等場景下營銷文案、種草文案的自動生成服務,以及后續(xù)的搜索引擎優(yōu)化工具。2022年,Jasper 募資 1.25 億美元,估值達 15 億美元。
再比如 Notion,接入 GPT-3 API 后,在文檔工具中實現(xiàn)了自動續(xù)寫、翻譯、語法檢查等功能。
即便是基于垂直行業(yè)的語料庫對模型進行微調,也需要不小的研發(fā)成本:GPT-3 的每一次升級和迭代,這些下游企業(yè)也要跟進調整,需要一定的財力支撐。
國內關于ChatGPT概念的不少公司也拿到投資,而且類似文本生成、圖像生成、音頻生成、視頻生成、虛擬人、元宇宙等場景在中國的落地能力,也許會跟海外同步,甚至更快。
不過,目前的大模型,更多偏向于單點式的應用,優(yōu)化生產環(huán)節(jié)中的某一個小問題,并未帶動整個工作流的革新。
第一次工業(yè)革命,蒸汽機實現(xiàn)了機器替代人工;第二次工業(yè)革命,電力技術驅動了規(guī)模化生產。之所以能夠被稱之為「工業(yè)革命」,都是因為技術為生產力帶來了質的提升。目前來看, AI 原生產品還沒有能夠大范圍囊括某一領域的工作流,并且提供完整解決方案。
三、沖擊會抵達哪里?
如同過去所有新的生產力工具一樣,ChatGPT 問世以來,關于它會沖擊哪些行業(yè)的討論不絕于耳。
作為當今最為先進「統(tǒng)計語言模型」,ChatGPT 在問答和對話上的表現(xiàn)出色。它能夠模仿人類的交互方式,提供和整合信息,從而輔助創(chuàng)意和決策。
ChatGPT 有效縮短了「信息→決策」的路徑,受到其影響最大的,是與「滿足信息需求」有關的生意,尤其是幫助「人找信息」的生意。
其中無法回避的,首當其沖就是搜索引擎。因為很多人認定,基于ChatGPT有可能誕生出比 Google 更出色的搜索引擎。
ChatGPT已經明確回答,它不會替代搜索引擎。實際上,比起功能替代,未來的信息搜索應當是兩者的結合。
ChatGPT 的優(yōu)勢在于,它可以綜合生成更為完整、拿來即用的答案,還可以通過多輪對話回答后續(xù)問題,但我們無法忽視它的硬傷——真實性和邏輯性問題。
首先,ChatGPT生成的答案中難以避免地出現(xiàn)事實性錯誤。按照既定的語言模型和規(guī)則,ChatGPT 可以生成相應的文本,卻無法自查自糾;且生成的序列越長,出現(xiàn)錯誤引用的概率也會隨之增加。這也就是為什么谷歌 Bard 言之鑿鑿地說詹姆斯·韋布空間望遠鏡拍攝了太陽系以外的行星的第一批照片(實際并非如此),微軟 New Bing 進行 GAP 的財報分析時引用了許多錯誤數據。
其次,ChatGPT 雖然很少在語法上犯錯,但它在推理(reasoning)任務上的表現(xiàn)不夠令人滿意,頗有種「數學是語文老師教的」感覺。至少在目前,我們無法指望它能夠通曉邏輯、厘清事實。而它通過對話喂給我們的唯一答案,也限制了我們從多處來源交叉驗證信息的能力。
朱嘯虎就提出警醒,ChatGPT最大的風險是在網上創(chuàng)造出巨量的似是而非的內容,那以后就不僅僅是「物理學不存在了」,如何判斷信息的真實性越來越難,熵爆炸式增長。
實際上,較為理想的產品形態(tài)是,由 ChatGPT 精選優(yōu)質信源,拼接為完整答案,并給出引用來源供我們核實?;蛘咴谒阉鹘Y果頁面的基礎上,由ChatGPT來總結要點。
除了微軟Bing外,初創(chuàng)公司 Perplexity 也嘗試結合 ChatGPT 和搜索引擎,做出更智能的信息搜索工具。
Perplexity 的結果展示,包括三個部分:Perplexity(生成的直接答案)、Sources(引用來源)、Related(相關問題)。你還可以在前文的基礎上進行追問,獲得更聚焦的信息增量。
Perplexity產品界面
此類信息搜索產品,若想提供好的使用體驗,也需要ChatGPT在未來能夠做到「知之為知之,不知為不知」。否則,甄別錯誤信息的成本將是巨大的,在關鍵任務中造成的風險也難以估量。
目前,學者們正在琢磨著怎么給 ChatGPT 打上「知識補丁」(Knowledge Patch)。比如問到它拿不準的問題時,它能夠輸出「抱歉,我不了解」這樣謙虛而自知的回答,而不是言之鑿鑿地胡編亂造。
「所有的行業(yè)都值得用AI重做一遍」,技術的進步會帶來新的生產力工具,也會帶來新的問題。ChatGPT 讓我們獲取信息變得更容易,同時對我們的判斷力提出了更高的要求??陀^、理性、全面地分析信息,還是只能靠我們自己。
作者:史圣園
來源公眾號:新莓daybreak(ID:new-daybreak),理解人,發(fā)現(xiàn)變化。
本文由人人都是產品經理合作媒體 @新莓daybreak 授權發(fā)布,未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協(xié)議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
寫的非常好??????