起點(diǎn)課堂會員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會特權(quán)
個(gè)人IP打造特權(quán)
30+門專項(xiàng)技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導(dǎo)直播
12場專業(yè)技能直播
會員專屬社群
榮耀標(biāo)識GPT-4變笨加劇，被曝緩存歷史回復(fù)：一個(gè)笑話講八百遍，讓換新的也不聽
最近，有網(wǎng)友提出了質(zhì)疑，他認(rèn)為OpenAI會緩存歷史回復(fù)，并且讓GPT-4直接復(fù)述以前生成過的答案。那么，這個(gè)質(zhì)疑是否真的成立？一起來看看本文的分享。
有網(wǎng)友找到了GPT-4變“笨”的又一證據(jù)。
他質(zhì)疑：
OpenAI會緩存歷史回復(fù)，讓GPT-4直接復(fù)述以前生成過的答案。
最明顯的例子就是講笑話。
證據(jù)顯示，即使他將模型的temperature值調(diào)高，GPT-4仍重復(fù)同一個(gè)“科學(xué)家與原子”的回答。
就是那個(gè)“為什么科學(xué)家不信任原子？因?yàn)槿f物都是由它們編造/構(gòu)造（make up）出來的”的冷笑話。
在此，按理說temperature值越大，模型越容易生成一些意想不到的詞，不該重復(fù)同一個(gè)笑話了。
不止如此，即使咱們不動參數(shù)，換一個(gè)措辭，強(qiáng)調(diào)讓它講一個(gè)新的、不同的笑話，也無濟(jì)于事。
發(fā)現(xiàn)者表示：
這說明GPT-4不僅使用緩存，還是聚類查詢而非精準(zhǔn)匹配某個(gè)提問。
這樣的好處不言而喻，回復(fù)速度可以更快。
不過既然高價(jià)買了會員，享受的只是這樣的緩存檢索服務(wù)，誰心里也不爽。
還有人看完后的心情是：
如果真這樣的話，我們一直用GPT-4來評價(jià)其他大模型的回答是不是不太公平？
當(dāng)然，也有人不認(rèn)為這是外部緩存的結(jié)果，可能模型本身答案的重復(fù)性就有這么高：
此前已有研究表明ChatGPT在講笑話時(shí)，90%的情況下都會重復(fù)同樣的25個(gè)。
具體怎么說？
證據(jù)實(shí)錘GPT-4用緩存回復(fù)
不僅是忽略temperature值，這位網(wǎng)友還發(fā)現(xiàn)：
更改模型的top_p值也沒用，GPT-4就跟那一個(gè)笑話干上了。
（top_p：用來控制模型返回結(jié)果的真實(shí)性，想要更準(zhǔn)確和基于事實(shí)的答案就把值調(diào)低，想要多樣化的答案就調(diào)高）
唯一的破解辦法是把隨機(jī)性參數(shù)n拉高，這樣我們就可以獲得“非緩存”的答案，得到一個(gè)新笑話。
不過，它的“代價(jià)”是回復(fù)速度變慢，畢竟生成新內(nèi)容會帶來一定延遲。
值得一提的是，還有人似乎在本地模型上也發(fā)現(xiàn)了類似現(xiàn)象。
有人表示：截圖中的“prefix-match hit” （前綴匹配命中）似乎可以證明確實(shí)是用的緩存。
那么問題就來了，大模型到底是如何緩存我們的聊天信息的呢？
好問題，從開頭展現(xiàn)的第二個(gè)例子來看，顯然是進(jìn)行了某種“聚類”操作，但具體如何應(yīng)用于深度多輪對話咱不知道。
姑且不論這個(gè)問題，倒是有人看到這里，想起來ChatGPT那句“您的數(shù)據(jù)存在我們這兒，但一旦聊天結(jié)束對話內(nèi)容就會被刪除”的聲明，恍然大悟。
這不禁讓一些人開始擔(dān)憂數(shù)據(jù)安全問題：
這是否意味著我們發(fā)起的聊天內(nèi)容仍然保存在他們的數(shù)據(jù)庫中？
當(dāng)然，有人分析這個(gè)擔(dān)憂可能過慮了：
也許只是我們的查詢embedding和回答緩存被存下來了。
因此，就像發(fā)現(xiàn)者本人說的：
緩存這個(gè)操作本身我不太擔(dān)心。
我擔(dān)心的是OpenAI這樣簡單粗暴地匯總我們的問題進(jìn)行回答，毫不關(guān)心temperature等設(shè)置，直接聚合明顯有不同含義的提示，這樣影響很不好，可能“廢掉”許多（基于GPT-4的）應(yīng)用。
當(dāng)然，并不是所有人都同意以上發(fā)現(xiàn)能夠證明OpenAI真的就是在用緩存回復(fù)。
他們的理由是作者采用的案例恰好是講笑話。
畢竟就在今年6月，兩個(gè)德國學(xué)者測試發(fā)現(xiàn)，讓ChatGPT隨便講個(gè)笑話，1008次結(jié)果中有90%的情況下都是同樣25個(gè)笑話的變體。
像“科學(xué)家和原子”這個(gè)更是尤其出現(xiàn)頻率最高，它講了119次。
因此也就能理解為什么看起來好像是緩存了之前的回答一樣。
因此，有網(wǎng)友也提議用其他類型的問題測一測再看。
不過作者堅(jiān)持認(rèn)為，不一定非得換問題，光通過測量延遲時(shí)間就能很容易地分辨出是不是緩存了。
最后，我們不妨再從“另一個(gè)角度”看這個(gè)問題：
GPT-4一直講一個(gè)笑話怎么了？
一直以來，咱們不都是強(qiáng)調(diào)要讓大模型輸出一致、可靠的回答嗎？這不，它多聽話啊（手動狗頭）。
所以，GPT-4究竟有沒有緩存，你有觀察到類似現(xiàn)象嗎？
參考鏈接：https://twitter.com/hammer_mt/status/1719150885559812379
作者：豐色
來源公眾號：量子位（ID：QbitAI），追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破
本文由人人都是產(chǎn)品經(jīng)理合作媒體 @量子位 授權(quán)發(fā)布，未經(jīng)許可，禁止轉(zhuǎn)載。
題圖來自Unsplash，基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人，人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論，等你發(fā)揮！
