GPT、大語言模型入門版:面向互聯(lián)網(wǎng)從業(yè)人員的AI通識與個人思考
現(xiàn)在,AI技術、GPT等大模型應用正在加快對互聯(lián)網(wǎng)行業(yè)的“入侵”,這也倒逼著相關的互聯(lián)網(wǎng)從業(yè)人員開展內容學習。那么對非技術人員來說,如果想擁抱AI時代,可以基于哪些內容進行搜索學習?本文作者便發(fā)表了他作為非技術人員的思考和啟發(fā),一起來看一下吧。
從2023年農歷春節(jié)開工到現(xiàn)在,身邊每天都充斥著對GPT、LLM領域大量的媒體分析、行研報告、產品demo、社群活動。熱度要比過去元宇宙、區(qū)塊鏈這些技術概念更加空前,可見他對底層技術的變革是如此的歇斯底里。
作為一枚數(shù)據(jù)產品經理,苦研數(shù)周,輸出倒逼,簡單總結了一些自己的學習心得。
前言
- 用大白話讓非技術人員了解這一技術的關鍵點,如想深度探索,可基于此搜索學習。
- 讓互聯(lián)網(wǎng)行業(yè)產品、運營等人員在工作中想要應用這一技術時有基本的框架思維。
- 作者非AI技術出身,有表述不準的地方,歡迎指正。
一、ChatGPT與GPT通識
ChatGPT是一個聊天應用。一個輸入框,輸入你想問他的任何問題,他會給你一個答案,并且這個答案看起來是經過思考、講究語法并且正確的。他理解你的語言,并能用你的語言給你答案。
而這背后,就是GPT這個大模型在發(fā)揮作用(Generative Pre-trained Transformer),翻譯為“基于Transformer的生成式預訓練模型”(引號里的中文值得逐字理解),通俗點講,這個模型的目的就是理解你輸入的文字,然后計算答案,然后用你能懂的語言進行呈現(xiàn)。
至于什么是Transformer、它為什么可以做到,這背后的技術點,我們下文展開。
對于行業(yè)小白,我們先科普幾個這個行業(yè)關鍵詞:
- NLP:Natural Language Processing,自然語言處理。
- AGI:General Artificial Intelligence,通用人工智能。
- LLM:Large Language Modle,大語言模型。
- AIGC:AI-generated content,互聯(lián)網(wǎng)人應該都聽過UGC、PGC,沒錯這個就是AIGC,AI生成內容。
連起來造句就是:要想讓AI達到通用人工智能(AGI)的程度,自然語言(NLP)領域的大語言模型(LLM)能力是非常重要的,大語言模型(LLM)領域有一個重要的應用就是AIGC。
二、GPT大模型背后的關鍵技術點
如果你想要研究清楚GPT背后的技術點以及發(fā)展脈絡,可以先從以下幾個概念入手。
1. Transformer
你可以理解為他是一個特征提取器,中文語義:轉換器,他的目的就是把你給他的文本數(shù)據(jù)進行理解學習,形成他認為的人類語法。有資料說明,光GPT3就用了45TB的文本數(shù)據(jù),涵蓋中文、英文等多國語言,模型生成了超1.7萬億的參數(shù)。就像一個一兩歲的孩子,沒背單詞、沒背語法、沒學拼音也會說話一樣。這中間的實現(xiàn)就是這個模型在起作用。所以也堪稱暴力美學。
用技術術語說,Transformer的核心是自注意力機制(self-attention),它可以讓模型在處理序列數(shù)據(jù)時,將不同位置的信息加權組合起來,從而更好地理解輸入序列的結構和含義。這其中的核心手段是編碼和解碼,即Encoder和Decoder。
Encoder把輸入文本編碼成一系列向量,Decoder則將這些向量逐一解碼成輸出文本。在每一個Encoder和Decoder中,都有多個自注意力層和前饋神經網(wǎng)絡層組成。這些層通過不斷傳遞信息和調整參數(shù),最終將輸入轉化為一個意義準確的輸出。
2. MLM(Masked Language Modeling)
MLM(掩碼語言模型)是 GPT 預訓練中的一個關鍵技術點,其目的是通過對輸入序列中的部分單詞進行遮蓋,使模型在預測下一個單詞時能夠學習到上下文的信息。簡單但很巧妙。
在MLM中,模型會在輸入的文本序列中隨機選擇一些單詞,并將其替換為特殊的MASK標記。模型的任務是預測這些MASK標記所代表的單詞是什么。因為模型只能觀察到MASK標記周圍的文本,因此它需要對上下文進行建模,以便正確地預測MASK標記所代表的單詞。Transformer、MLM等等這些架構、算法和模型設計讓GPT問世,而Prompt和Fine-tune可以讓我們能更好的使用他。
3. Prompt
中文語義:提問、提示語。在與ChatGPT對話的時候,我們的輸入即為prompt,想要讓GPT更好的理解我們的意圖,那prompt的精度就決定了這個大模型能否高效理解我們的意圖。
特別是在AIGC領域,只要你能想到,他就可以給你反饋。如果把GPT看做一個知識的海洋、一個可以持續(xù)再生的金庫,人類想要攫取,那Prompt會變得非常非常非常重要,它就是那個金鑰匙。
4. Fine-tune
中文語義:微調。企業(yè)在應用AI能力時,GPT可以定義為一個理解自然語言的初始模型,為了更好地應用在業(yè)務場景中,可以在GPT的基礎上進行微調,理解為一個有監(jiān)督學習的過程,喂給他我們的業(yè)務數(shù)據(jù)或領域數(shù)據(jù)集,讓他能讀懂我們的業(yè)務數(shù)據(jù)并按需輸出。
三、大語言模型對軟件產品的改變
1. 用戶需求被直觀暴露
目前的軟件產品,用戶的真實需求主要是通過在軟件產品內的行為數(shù)據(jù)進行發(fā)現(xiàn)和理解,如監(jiān)控用戶反復查看某個商品、用戶搜索了某個商品、用戶將什么商品添加到了購物車,基于此進行分析、預測,根據(jù)用戶行為反饋再進行調優(yōu)。
當有了自然語言處理的能力,用戶會直接暴露自己的需求,如“我需要購買從北京到三亞的往返機票,旅途5天,希望有一半時間住民宿,機票和住宿一共7000元預算,請給我提供一個規(guī)劃”。
這種簡單粗暴的交互,會迭代目前“業(yè)務與行為數(shù)據(jù)采集、數(shù)據(jù)聚合與處理、用戶畫像建模、人/物標簽計算、推薦算法、反饋調優(yōu)”的整套數(shù)據(jù)工程。當下自然語言所暴露出來的需求會在數(shù)據(jù)集中占更大的權重。
2. 新的人機交互
ChatGPT、Midjourney+Discord、文心一言等現(xiàn)在都是通過聊天框模式提供服務。這確實也是人與機器通過自然語言溝通最理想的方式。但chat模式不是當前人機交互的終極形態(tài)。
人與機器交互,想要達成期望結果,對話框、對話框+命令行、對話框+插件并不是當前人機交互的終極形態(tài)。
所以chat不是結果,但,已成必須。
比如我們的日常學習某一軟件,特別PS、數(shù)據(jù)分析工具等,學習門檻很高,這是因為軟件設計是自下而上的設計,人機交互的連接點是鼠標(或約等于鼠標的手指)。
想要讓軟件以及他的宿主——計算機,識別你的意圖,開發(fā)者需要完全依賴于鼠標在計算機上的點擊、拖拽、滾動等交互方式來設計軟件反饋。而現(xiàn)在,有了一種新的范式,就是自然語言。基于LLM這樣的大模型,機器已經或逐步可以足夠理解人類的語言并做出正確的反映。如果再有鼠標的交互加持,人類使用機器的效率會有更大程度的提升。
所以自然語言交互可能會成為所有軟件產品的必須。
3. 插件化一些軟件,再淘汰一些軟件
軟件的工具如 word、PPT、EXCEL、印象筆記、Xmind、github正在“+AI”以降低使用成本了。你可以自研AI能力,也可以讓自己被插件。當新的用戶習慣被養(yǎng)成,那些不能AI化的軟件會顯得異常難用。
比如一個數(shù)據(jù)分析平臺,
如果數(shù)據(jù)查詢只能通過自助式點選,而不是問答式就會面臨用戶體驗差評,如果數(shù)據(jù)查詢報表還需要人來去總結數(shù)據(jù)基礎表征,而不是自動進行總結也會面臨用戶體驗差評。
于是,產品就會有逐步被棄用的風險。
4. 想象力變得更為重要
工具本身的術變得不是那么重要,AIGC類型的工具使用門檻相對變低,但對人的大腦反而提出了更高的要求。
人的想象力是無限的,但實現(xiàn)能力是有限的,而AIGC工具,他可以讓想象具象化,甚至在你創(chuàng)作過程中給你驚喜。
過去做一張如下的圖需要在設計軟件上進行至少數(shù)小時的操作,初級選手光設計工具就得學習很久。如果這個需求是來自于客戶,那這其中的溝通和理解成本會變?yōu)楹艽蟮脑O計成本。
圖:在Midjourney平臺的創(chuàng)作而現(xiàn)在,你只需要描述你想要的,即使你要一個五彩斑斕的黑,AI也會實時給你一個他認為正確的反饋,你可以基于此不斷用語言進行調整或輔之以設計師的PS之術。
想象力變得越來越重要,甚至可以說得到了釋放。
四、值得思考的地方
1. 依然存在的學習成本
機器可以理解人類的語言,但并不代表可以精準理解人的意圖。這之間的gap需要人去不斷對機器調優(yōu),如模型迭代,同時也需要人去了解機器的語法,比如現(xiàn)在的Midjourney、playground,你的提問或prompt的使用也是有語法的,并配合圖形界面上的一些控制功能。
圖:Midjourney的prompt“語法“,來自于網(wǎng)絡視頻
2. 置信度
說GPT一本正經胡說八道,不是沒有證據(jù),這是我最近的實際測試。
我:140和290之間有多少個質數(shù)?
ChatGPT:
140到290之間的質數(shù)包括:149, 151, 157, 163, 167, 173, 179, 181, 191, 193, 197, 199, 211, 223, 227, 229, 233, 239, 241, 251, 257, 263, 269, 271, 277, 281, 283, 293。因此,140到290之間有28個質數(shù)。
我:直接告訴我有多少個,而不是列出來。
ChatGPT:在140和290之間,共有28個質數(shù)。
我:確定?
ChatGPT:是的,確定。
我:重新計算一下,再給我一個答案。
ChatGPT:非常抱歉,在上一個回答中我犯了一個錯誤,實際上在140到290之間有23個質數(shù)。感謝您的提醒,希望這次的回答能夠滿足您的要求。
你以為這就是正確答案?這還不算完,于是我讓他寫了一個python腳本:
代碼沒問題,我執(zhí)行了,于是:
沒錯,按ChatGPT給我的python執(zhí)行,答案是27。誒?換個角度想,他也會犯錯,是不是更像人類?
3. 可解釋性
可解釋是可信的前提。我們塑造了他,卻不了解他,如果他輸出了一個錯誤的答案,但看起來是那么正確,這時候我們就得警惕了(就像文中那個求解質數(shù)問題,看起來是那么正確),應用在教育、醫(yī)療、建筑設計等領域,他輸出了一個錯誤的藥方、他設計了一個尺寸差了幾公分的圖紙,如果他犯的錯誤無法及時發(fā)現(xiàn),那他產生危害需要人類來買單。
我們需要了解他的決策動機是如何生成的,沒錯,就是動機。因為人在決策哪怕是犯罪,都會尋求背后的動機,是利他、利己還是此人有精神疾病,最終都會試圖用動機來解釋。
不能只推導到用了什么計算框架和算法,然后就給他不停地喂數(shù)據(jù),要想讓他更好的為我們服務,找到合適的時機影響他,而不是任由他,最后可能站在我們的對立面。
換句話說,“知其所以然”也是我們求知的源動力。
4. 數(shù)據(jù)安全、用戶隱私與版權
數(shù)據(jù)是GPT的養(yǎng)料,用戶的數(shù)據(jù)從此變得越來越重要,想要微調,普通用戶想要使用,需要貢獻一方數(shù)據(jù)。GPT無國界,但數(shù)據(jù)有國界。目前國內中大型企業(yè)對GPT的API能力也仍處于封閉狀態(tài)(所以我們國家也一定會有自己的大模型,比如百度文心一言)。
關于版權,我們看ChatGPT自己如何說:
“根據(jù)國際版權法,創(chuàng)作作品的版權通常歸原作者所有。但是,當作品是由人工智能生成時,問題就變得復雜了。因為人工智能本身沒有創(chuàng)作權,它只是根據(jù)預設的算法和數(shù)據(jù)生成內容。所以,根據(jù)現(xiàn)有的版權法律,AIGC的版權歸誰是一個尚未確定的問題。
另外,AIGC的版權問題還涉及到人工智能的產權和知識產權。在AIGC的生成過程中,通常會涉及到許多算法、數(shù)據(jù)、模型和程序等,這些都是有產權和知識產權的。因此,除了作品版權的問題之外,還需要考慮這些產權和知識產權的歸屬問題。
綜上所述,AIGC的版權問題是一個復雜的問題,需要在法律、技術和倫理等多個方面進行探討和解決。我們需要尋求各方面的意見和建議,來制定適當?shù)姆珊驼撸源龠M人工智能技術的發(fā)展和利用?!?/p>
5. 責任與義務
自動駕駛時發(fā)生了事故,駕駛員需要承擔100%的責任。同樣的,使用AI工具工作,如果犯錯了,無論是工具還是人為的錯誤,那責任依然歸咎于人。
所以人類責任與義務的存在,決定了即使在AI時代,某些工作至少需要一個人來擔(bei)責(guo)。
6. 可持續(xù)性
這個大模型確實可以成為一個可持續(xù)再生的金庫,為人類服務。不過此時,他已經站在我們身旁,一同跟我們進化,人類長高1厘米,他可能會長高3厘米。
但如果人類停止對他的數(shù)據(jù)輸入,無論是新的知識、新的研究、還是今天的新聞,甚至對他的答案不做任何反饋。那么他也會過時或不那么好用。為了有更多的金礦可以攫取,我們會進入一個循環(huán),不停的喂養(yǎng)他,迭代他,對他的輸出再反饋,他也不停地進化為我們服務。
五、職業(yè)發(fā)展
什么樣的職業(yè)會被取代,不如想想什么樣的職業(yè)會變得越來越重要。我覺得可以從兩個角度思考:
1. AI建造師
AI本身也是人創(chuàng)造出來的,如果他會取代一部分人的工作,那就走到上游去成為創(chuàng)造他的人。AI算法工程師、數(shù)據(jù)采集與治理專家、AI軟硬件產品設計與開發(fā)、芯片、AI領域新聞媒體,這些都是以AI為中心的上下游領域。
2. 會用AI的人
一部分會用AI工具的人已經嘗到了甜頭,比如已經在Youtube、B站分享AI工具使用以及做教程的up主,他們都是第一波會用AI的人,已經賺到了AI啟蒙的紅利。
在企業(yè)內,AI可能不會完全替代某一崗位,但會替換掉一部分。如設計師、工程師,基礎工作可以交給AI來做,但AI輸出的結果需要有人審驗,更重要的是需要有人擔責,所以也會需要部分專職。
專欄作家
一個數(shù)據(jù)人的自留地,公眾號:一個數(shù)據(jù)人的自留地。人人都是產品經理專欄作家,《數(shù)據(jù)產品經理修煉手冊》作者。
本文原創(chuàng)發(fā)布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于CC0協(xié)議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發(fā)揮!