(一文讀懂)大模型到底是怎么生成文字的?
大模型這個(gè)熱門話題在過(guò)去一年里引發(fā)了大量討論,那么,你是否知曉大模型究竟是怎么生成文字的?這篇文章里,作者嘗試講透其生成原理,并帶你了解四種構(gòu)建AI應(yīng)用的大模型技術(shù)架構(gòu),一起來(lái)看看吧。
在人工智能的領(lǐng)域,大模型在去年已經(jīng)成為了一個(gè)熱門的話題。各大廠商如谷歌、微軟、OpenAI等,都在積極研發(fā)和應(yīng)用大模型技術(shù)。這些模型在語(yǔ)言理解、圖像識(shí)別、推薦系統(tǒng)等方面都表現(xiàn)出了驚人的能力,甚至在某些任務(wù)上,已經(jīng)超越了人類的表現(xiàn)。
或許你用過(guò),驚嘆于它的神奇,或許你沒(méi)有用過(guò),聽(tīng)著它的傳奇。無(wú)論如何,都懂那么一點(diǎn)點(diǎn),但很難講的清,它到底是怎么生成的?
我們接下來(lái)就講透它生成的原理,并了解四種構(gòu)建AI應(yīng)用的大模型技術(shù)架構(gòu)。
一、大模型的生成原理
首先,我們要了解的是,GPT大模型是一種基于深度學(xué)習(xí)的自然語(yǔ)言處理模型,也就是LLM。
(敲黑板,LLM是一種生成文字的模型,文生圖比如DALL·E,它和LLM都是多模態(tài)語(yǔ)言模型的分支)它的工作原理可以簡(jiǎn)單地理解為“學(xué)習(xí)語(yǔ)言的規(guī)律”,它的生成方式只是根據(jù)上文,猜下一個(gè)詞的概率。
那它為什么會(huì)掌握這么多的知識(shí)?那是因?yàn)樵谀P陀?xùn)練過(guò)程中,GPT模型會(huì)閱讀大量的文本數(shù)據(jù),然后學(xué)習(xí)這些文本中的語(yǔ)言規(guī)律。
這個(gè)過(guò)程可以類比為人類學(xué)習(xí)語(yǔ)言的方式。當(dāng)我們是嬰兒時(shí),我們會(huì)通過(guò)聽(tīng)父母和周圍的人說(shuō)話,學(xué)習(xí)語(yǔ)言的規(guī)律。
比如,我們會(huì)學(xué)習(xí)到“我”通常后面會(huì)跟“是”,“你”通常后面會(huì)跟“好”等等。這就是一種語(yǔ)言規(guī)律。GPT模型就是通過(guò)類似的方式,學(xué)習(xí)語(yǔ)言的規(guī)律。
但是,GPT模型的學(xué)習(xí)能力遠(yuǎn)超人類。
它可以閱讀數(shù)以億計(jì)的文本,學(xué)習(xí)到非常復(fù)雜的語(yǔ)言規(guī)律。這就是為什么GPT模型可以生成非常自然、連貫的文本。
二、GPT模型如何學(xué)習(xí)語(yǔ)言的規(guī)律
說(shuō)到這里,需要我們了解一下GPT模型的內(nèi)部結(jié)構(gòu)。GPT模型是由多層神經(jīng)網(wǎng)絡(luò)組成的。每一層神經(jīng)網(wǎng)絡(luò)都可以抽取文本的某種特征。比如:
- 第一層神經(jīng)網(wǎng)絡(luò)可能會(huì)抽取出單詞的拼寫規(guī)律;
- 第二層神經(jīng)網(wǎng)絡(luò)可能會(huì)抽取出詞性的規(guī)律;
- 第三層神經(jīng)網(wǎng)絡(luò)可能會(huì)抽取出句子的語(yǔ)法規(guī)律等等。
通過(guò)這種層層抽取,GPT模型可以學(xué)習(xí)到非常深層次的語(yǔ)言規(guī)律。
當(dāng)GPT模型生成文本時(shí),它會(huì)根據(jù)已有的文本,預(yù)測(cè)下一個(gè)單詞,整體就是通過(guò)這種方式,生成連貫的文本。
當(dāng)然,這只是一個(gè)非常簡(jiǎn)化的版本。實(shí)際上,GPT模型的工作原理還涉及到很多復(fù)雜的數(shù)學(xué)和計(jì)算機(jī)科學(xué)知識(shí)。
三、大模型的四種應(yīng)用技術(shù)架構(gòu)
大模型的厲害之處,其實(shí)不止在于它很像我們?nèi)藢W(xué)習(xí)語(yǔ)言,而更大的作用在于它未來(lái)會(huì)改變我們的生活和職場(chǎng)。從整體現(xiàn)有最新的架構(gòu)來(lái)看,其實(shí)有四種大模型的應(yīng)用架構(gòu),從上往下,依次從簡(jiǎn)單到復(fù)雜。
第一種:Prompt(指令工程)
指令工程聽(tīng)著好像很遙遠(yuǎn),其實(shí)就是通過(guò)下面這個(gè)輸入框觸發(fā)的:
看上去簡(jiǎn)單,但這個(gè)很考驗(yàn)一個(gè)人寫prompt的“功力”。
prompt的作用就是通過(guò)引導(dǎo)模型生成特定類型的文本。一個(gè)好的prompt可以引導(dǎo)模型以期望的方式生成文本。例如,如果我們想讓模型寫一篇關(guān)于全球變暖的文章,我們可以給模型一個(gè)prompt,如“全球變暖是一個(gè)嚴(yán)重的問(wèn)題,因?yàn)?#8230;”。模型會(huì)根據(jù)這個(gè)prompt生成一篇文章。
這種方法的優(yōu)點(diǎn)是簡(jiǎn)單直觀,但缺點(diǎn)是可能需要大量的嘗試才能找到一個(gè)好的prompt。
第二種:Function calling(函數(shù)調(diào)用)
Function calling是一種更深入的應(yīng)用架構(gòu),它通過(guò)調(diào)用模型的內(nèi)部函數(shù),直接獲取模型的某些特性。
例如,我們可以調(diào)用模型的詞向量函數(shù),獲取單詞的詞向量。
這種方法的優(yōu)點(diǎn)是可以直接獲取模型的內(nèi)部信息,但缺點(diǎn)是需要深入理解模型的內(nèi)部結(jié)構(gòu)。
第三種:RAG(Retrieval-Augmented Generation)
RAG是一種結(jié)合檢索和生成的應(yīng)用架構(gòu)。
在這種方法中,模型首先會(huì)檢索相關(guān)的文本,然后用這些文本作為輸入,讓模型生成答案。
例如,如果我們想讓模型回答一個(gè)關(guān)于全球變暖的問(wèn)題,模型可以先檢索到一些關(guān)于全球變暖的文章,然后根據(jù)這些文章生成答案。
這種方法的優(yōu)點(diǎn)是可以利用大量的外部信息,提高模型的生成質(zhì)量。但缺點(diǎn)是需要大量的計(jì)算資源,因?yàn)樾枰獙?duì)大量的文本進(jìn)行檢索。
第四種:Fine-tuning(微調(diào))
Fine-tuning是一種在特定任務(wù)上進(jìn)一步訓(xùn)練模型的應(yīng)用架構(gòu)(如計(jì)算鋼材的消耗量等等)。
在這種方法中,模型首先會(huì)在大量的文本上進(jìn)行預(yù)訓(xùn)練,學(xué)習(xí)語(yǔ)言的基本規(guī)律。然后,模型會(huì)在特定任務(wù)的數(shù)據(jù)上進(jìn)行fine-tuning,學(xué)習(xí)任務(wù)的特定規(guī)律。
例如,我們可以在情感分析任務(wù)上fine-tuning模型,讓模型更好地理解情感。
這種方法的優(yōu)點(diǎn)是可以提高模型在特定任務(wù)上的表現(xiàn),但缺點(diǎn)是需要大量的標(biāo)注數(shù)據(jù)。
最后的話
總的來(lái)說(shuō),GPT大模型生成結(jié)果的原理,就是通過(guò)學(xué)習(xí)語(yǔ)言的規(guī)律,然后根據(jù)已有的語(yǔ)境,預(yù)測(cè)下一個(gè)單詞,從而生成連貫的文本。這就像我們?nèi)祟愓f(shuō)話或?qū)懳恼乱粯?,根?jù)已有的語(yǔ)境,預(yù)測(cè)下一個(gè)單詞或短語(yǔ)。只不過(guò),GPT模型的學(xué)習(xí)能力和生成能力,遠(yuǎn)超我們?nèi)祟悺?/p>
我們可以看到,AI在學(xué)習(xí)我們?nèi)祟?,它們不知疲倦,孜孜以求,我們?nèi)祟愐矐?yīng)該向它們學(xué)習(xí),不帶批判和有色眼鏡的看待身邊人的觀點(diǎn),用僅剩的群體智慧來(lái)繼續(xù)引領(lǐng)我們走向下一個(gè)新世界。
后續(xù)還會(huì)對(duì)四種技術(shù)架構(gòu)進(jìn)行深入探討,歡迎交流~
希望帶給你一點(diǎn)啟發(fā),加油。
作者:柳星聊產(chǎn)品,公眾號(hào):柳星聊產(chǎn)品
本文由 @柳星聊產(chǎn)品 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自 Unsplash,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
微調(diào)才是真正用到大量計(jì)算資源的吧