AI產(chǎn)品經(jīng)理必修課:你必須知道的Token要點(diǎn)

0 評(píng)論 1508 瀏覽 7 收藏 14 分鐘

這是一份寫給非技術(shù)崗的產(chǎn)品經(jīng)理/運(yùn)營(yíng)的token應(yīng)用指南??梢栽诹私鈚oken概念的同時(shí),也能夠知道設(shè)計(jì)產(chǎn)品時(shí)和token相關(guān)的注意點(diǎn)。

自從2022年末OpenAI推出通用大語(yǔ)言模型ChatGPT后,這兩年各種大語(yǔ)言模型層出不窮,眼花繚亂??赡苣銈児疽泊来烙麆?dòng),“我們也要做AI+產(chǎn)品!”。接著你所在的產(chǎn)品部門喜獲一個(gè)Epic,“研究如何引入AI升級(jí)原本的產(chǎn)品”或者“研究引入AI是否可以找到新的增長(zhǎng)點(diǎn)”。

這個(gè)時(shí)候還沒(méi)怎么了解AI的你,會(huì)怎么邁出第一步?你可能已經(jīng)是LLM的重度使用者,也可能是剛剛體驗(yàn)的小白。但本著產(chǎn)品經(jīng)理特有的好奇心,你可能最先想知道的是,大語(yǔ)言模型究竟有什么魔法,竟然可以“聽(tīng)”懂我們的問(wèn)題,并給出恰當(dāng)?shù)幕卮?,有時(shí)候給到的回答甚至還滿讓人驚喜的。接著可能就會(huì)思考,那我們到底可以怎么使用大語(yǔ)言模型這個(gè)全能型”機(jī)“才呢?

Token作為大語(yǔ)言模型最基本的概念之一,可能很容易在你搜索相關(guān)資料的時(shí)候頻繁出現(xiàn)。

在這里小小劇透一下,token不僅是了解大語(yǔ)言模型時(shí)最先接觸到的基本概念之一,它也很有可能從此顛覆你某些產(chǎn)品技能,從商業(yè)分析到產(chǎn)品定價(jià),從用戶體驗(yàn)到產(chǎn)品決策,都可能因?yàn)檫@個(gè)小小的概念讓你產(chǎn)品技能的做法或流程變的很不一樣。

一、Token的基本概念

那到底什么是token呢?Token就是指文本中最小的有意義的單位。是不是有點(diǎn)抽象?我們來(lái)通過(guò)一個(gè)簡(jiǎn)單的例子看下大語(yǔ)言模型是怎么回答我們的問(wèn)題,并理解token到底是什么。

1. 大語(yǔ)言模型怎么回答我們的問(wèn)題?

當(dāng)大語(yǔ)言模型收到我們一個(gè)問(wèn)題,它的運(yùn)作原理其實(shí)很簡(jiǎn)單,用一個(gè)我很喜歡的教授說(shuō)的一個(gè)很形象的比喻,就是在做文字接龍游戲。也就是給它一個(gè)沒(méi)有完成的句子,它幫你補(bǔ)完。在補(bǔ)句子的過(guò)程中,它會(huì)預(yù)測(cè)接下來(lái)接哪個(gè)字是最合理的。

比如問(wèn)大語(yǔ)言模型,“中國(guó)的首都在哪里?”,它會(huì)覺(jué)得可能接“北”最合理,然后把輸出的內(nèi)容接在你的問(wèn)題后面,所以這次的輸入就變成,”中國(guó)的首都在哪里?北“,這個(gè)時(shí)候它會(huì)覺(jué)得接”京“最合理。接下去重復(fù)上一個(gè)步驟,然后發(fā)現(xiàn)接好”京“之后看起來(lái)沒(méi)什么好接的了。就覺(jué)得這句句子補(bǔ)完了。那”北京“就是它回答的答案。

2. Token到底是什么

我們給大語(yǔ)言模型一個(gè)未完成的句子,后面可以接的字有很多不同的可能。比如輸入上海大,可能是上海大學(xué),可能是上海大樓,可能是上海大師賽等等等等。

實(shí)際上大語(yǔ)言模型的輸出就是給每一個(gè)可以接的符號(hào)一個(gè)機(jī)率。”學(xué)“是一個(gè)符號(hào),”樓“是一個(gè)符號(hào),”師“也是一個(gè)符號(hào)。所以它的輸出其實(shí)就是一個(gè)幾率分布,即給每一個(gè)可以選擇的符號(hào)一個(gè)機(jī)率。然后按照這個(gè)幾率分布投骰子,投到哪個(gè)符號(hào),那個(gè)符號(hào)就會(huì)被輸出出來(lái)。這些符號(hào)又叫做token。

這就是我們經(jīng)常所說(shuō)的,大語(yǔ)言模型的本質(zhì)上就是在預(yù)測(cè)下一個(gè)token出現(xiàn)的概率。也正是因?yàn)檫@樣,即使問(wèn)大語(yǔ)言模型相同的問(wèn)題,每次產(chǎn)生的答案可能也都是不一樣的。因?yàn)槊看蔚幕卮鸲际怯须S機(jī)性的。

就如同我們?cè)O(shè)計(jì)MVP產(chǎn)品的時(shí)候,最困難的事情不就是怎么定義這個(gè)Minimum么?那”文本中最小的有意義的單位“里的“最小”指的是什么呢?一個(gè)字?一個(gè)詞?

這件困難的事情在訓(xùn)練語(yǔ)言模型時(shí)就交給了模型開發(fā)者,模型開發(fā)者會(huì)預(yù)先設(shè)定好token,用于平衡計(jì)算復(fù)雜度和語(yǔ)言信息的覆蓋,所以這里的“最小”可能是一個(gè)單詞,可能是一個(gè)子詞,也可能是一個(gè)字符。

正因?yàn)槊總€(gè)模型在開發(fā)的時(shí)候會(huì)設(shè)定好token,所以

  • 不同的語(yǔ)言模型,定義的token可能不一樣
  • 中文的語(yǔ)言模型和英文的語(yǔ)言模型定義的token可能也不一樣

接下來(lái),每個(gè)token都會(huì)被轉(zhuǎn)換成一串對(duì)應(yīng)且不變的數(shù)字,因?yàn)榛谏窠?jīng)網(wǎng)絡(luò)的語(yǔ)言模型不能理解文本,只能理解數(shù)字。

所以,一個(gè)模型的token總量可以理解為這個(gè)模型的詞匯表。而每個(gè)token都是一連串的數(shù)字,且這個(gè)數(shù)字是不變的。

二、大語(yǔ)言模型中token長(zhǎng)度限制

模型能夠同時(shí)處理token的數(shù)量,叫做token的長(zhǎng)度。這個(gè)長(zhǎng)度是有限制的。比如我們使用一個(gè)模型,它的token限制是4096個(gè)token,這就意味著你在一次請(qǐng)求中,輸入和輸出的總token數(shù)不能超過(guò)4096個(gè)。

Token長(zhǎng)度限制很容易和上下文窗口限制混淆。

上下文窗口限制指的是模型在一次交互中可以”記住“多少信息,也就是在整個(gè)對(duì)話過(guò)程中可以使用的最大token數(shù)。上下文窗口決定了模型對(duì)輸入內(nèi)容的理解深度和生成輸出的能力。比如,模型的上下文窗口大小是4096 token,那么無(wú)論你對(duì)模型輸入多少次信息,所有這些輸入和生成的內(nèi)容加起來(lái)不能超過(guò)4096 token。一旦超過(guò),最早輸入的內(nèi)容可能會(huì)被”遺忘“,從而無(wú)法用于生成新的輸出。

總結(jié)來(lái)說(shuō),

  • token長(zhǎng)度限制指模型一次輸入或輸出的總token限制數(shù)。
  • 上下文窗口限制指整個(gè)對(duì)話過(guò)程中,模型能夠處理所有token的最大數(shù)量。

舉個(gè)例子

假設(shè)我們?cè)谕鎮(zhèn)骷垪l游戲,我們只能在紙條上寫下4096個(gè)字符的內(nèi)容,也就是說(shuō)我們之間所有的交流內(nèi)容不能超過(guò)這個(gè)長(zhǎng)度。這個(gè)就是“上下文窗口限制”。一旦紙條上的內(nèi)容超過(guò)了4096個(gè)字符,就必須把最早的內(nèi)容擦掉一些,才能寫下新的內(nèi)容。而“token限制”就是我們每次傳紙條最多能寫的字符,比如我們?cè)O(shè)置了我們每次傳遞最多只能寫200個(gè)字符。那如果在一次傳遞中我已經(jīng)寫了180個(gè)字符,你就只能寫20個(gè)字符。

三、設(shè)計(jì)產(chǎn)品時(shí),token會(huì)給到你的”驚喜”和”驚嚇”

“驚嚇”:token 從技術(shù)單元轉(zhuǎn)化為計(jì)費(fèi)單元,并且可能比你想象的更貴!

影響:引入大語(yǔ)言模型后,當(dāng)我們分析ROI時(shí),如果沒(méi)有把token的使用成本考慮進(jìn)入,不僅不能為公司產(chǎn)生利潤(rùn),還可能賠錢。有些時(shí)候,token的使用成本甚至可能改變產(chǎn)品的定價(jià)策略。

舉例:

企業(yè)有一個(gè)線上模擬練習(xí)的產(chǎn)品,專門為用戶提供在特定場(chǎng)景下的技能練習(xí),從而讓用戶通過(guò)刻意練習(xí)后在實(shí)際工作中也能穩(wěn)定的發(fā)揮所需的技能。通常當(dāng)我們分析這個(gè)產(chǎn)品的ROI時(shí),成本這邊可能最大的投入是一次性的研發(fā)成本以及后續(xù)的軟件維護(hù)成本。

企業(yè)想要引入大語(yǔ)言模型升級(jí)這個(gè)模擬練習(xí)產(chǎn)品,這樣可以讓用戶有更真實(shí)的體驗(yàn)從而達(dá)到更好的練習(xí)效果。當(dāng)我們分析這個(gè)產(chǎn)品的ROI時(shí),不僅要考慮研發(fā)成本等,還需要計(jì)算出用戶每練習(xí)一次token所產(chǎn)生的成本,這個(gè)成本不僅僅是產(chǎn)品發(fā)布后用戶使用時(shí)會(huì)產(chǎn)生的,在產(chǎn)品研發(fā)測(cè)試、GTM的過(guò)程中都可能產(chǎn)生。而這些成本不僅會(huì)影響GTM Stragety,也會(huì)影響到后續(xù)的產(chǎn)品定價(jià)。

產(chǎn)品經(jīng)理只有把token相關(guān)的影響因素都充分考慮后,才能提升用戶體驗(yàn)的同時(shí)還能保證產(chǎn)品盈利。

“驚嚇“:更好的體驗(yàn)?呃,也許沒(méi)那么美好。

影響:我們都知道在互聯(lián)網(wǎng)時(shí)代性能體驗(yàn)有一個(gè)原則是2-5-10原則,也就是當(dāng)用戶能夠在2秒以內(nèi)得到響應(yīng)時(shí),會(huì)感覺(jué)系統(tǒng)的響應(yīng)很快,而在2-5秒間會(huì)覺(jué)得還可以,在5-10秒間覺(jué)得勉強(qiáng)可以接受,但是當(dāng)超過(guò)10s時(shí),用戶會(huì)因?yàn)楦杏X(jué)糟透了而離開你的產(chǎn)品。但是當(dāng)我們引入大語(yǔ)言模型后,我們很有可能為了更好的功能用了很長(zhǎng)的提示詞,用戶很有可能因?yàn)榈却龝r(shí)間過(guò)長(zhǎng)直接離開了產(chǎn)品,甚至都沒(méi)有機(jī)會(huì)體驗(yàn)到AI帶來(lái)的功能提升。

舉例: 還是上面那個(gè)例子,企業(yè)想要引入大語(yǔ)言模型升級(jí)模擬練習(xí)產(chǎn)品,這個(gè)模擬練習(xí)中有一個(gè)NPC會(huì)和用戶互動(dòng)。為了讓NPC能夠根據(jù)用戶的輸入給到更精準(zhǔn)的反饋,我們給到NPC一個(gè)非常詳細(xì)的劇本,包含了方方面面的考量。NPC確實(shí)能夠非常精準(zhǔn)的回復(fù)用戶每次的輸入,但是用戶每一次輸入之后都需要等待10秒以上,如果這個(gè)練習(xí)的互動(dòng)是很多輪次的,那顯然用戶是沒(méi)有這個(gè)耐心完成練習(xí)的。

產(chǎn)品經(jīng)理找到準(zhǔn)確性和用戶體驗(yàn)的最佳平衡點(diǎn),才能讓用戶感受到AI帶來(lái)的更好的體驗(yàn)。

”驚喜“:效果太差?不,只是token限制了模型發(fā)揮。

影響:在互聯(lián)網(wǎng)時(shí)代,一旦我們?cè)O(shè)計(jì)產(chǎn)品功能沒(méi)有達(dá)到我們的效果,或者技術(shù)實(shí)現(xiàn)成本過(guò)高或有困難的時(shí)候,我們需要一起討論并修改整個(gè)產(chǎn)品。而當(dāng)你的想要達(dá)到的功能是基于大模型時(shí),有時(shí)候你只需要做一個(gè)動(dòng)作,就是換一個(gè)大預(yù)言模型,產(chǎn)品功能就達(dá)到我們的預(yù)期效果了。

舉例:

企業(yè)想要把私有知識(shí)庫(kù)搬進(jìn)大模型,這樣但凡之后用戶問(wèn)到和這個(gè)領(lǐng)域相關(guān)的問(wèn)題,AI就能表現(xiàn)的非常專業(yè)。但是有些知識(shí)庫(kù)非常龐大的。在前面token長(zhǎng)度我們了解到,大語(yǔ)言模型對(duì)于token是有限制的,如果我們選擇了一個(gè)模型,它的token限制是4096,但是可能其中一個(gè)知識(shí)庫(kù)本身的量級(jí)已經(jīng)占用了3000個(gè)token,再加上相關(guān)的提示詞所需要的token數(shù),知識(shí)庫(kù)的3000個(gè)token在2500個(gè)token的時(shí)候就被截?cái)?。這個(gè)時(shí)候當(dāng)用戶問(wèn)到相關(guān)知識(shí)的時(shí)候,準(zhǔn)確率只有60%。但是當(dāng)我們換了一個(gè)模型,它的token限制是8192,那么準(zhǔn)確率一下子就飆升到92%并達(dá)到了產(chǎn)品設(shè)計(jì)時(shí)的期待。

四、結(jié)語(yǔ)

Token是語(yǔ)言模型中一個(gè)非常重要的基本概念,我們?cè)搅私鈚oken,就可以越有效地利用大語(yǔ)言模型,從而幫助我們?cè)谠O(shè)計(jì)AI+產(chǎn)品時(shí)更加的游刃有余!

本文由 @AI 實(shí)踐干貨 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!