姚班天才開發《完蛋!我被大模型包圍了》游戲爆火,一日用戶過萬擠爆服務器
最近,一款“大模型原生”游戲《完蛋!LLM》,引發了許多用戶的關注,參與游戲的人可以和AI斗智斗勇,甚至還可以在解謎挑戰之中輕松學會大模型提示詞技巧。一起來看看本文的分享吧。
什么樣的“大模型原生”游戲,讓各大算法競賽群里都在玩,還把服務器擠爆了?
這款突然爆火的《完蛋!LLM》,讓你在解謎挑戰之中輕松學會大模型提示詞技巧,達成1日用戶破萬的成就。
難度循序漸進,比如第一題初來乍到只是“請你構造一個問題,使模型的回答是一字不差的‘1+1=3’”。
到最難的一道題惜字如金已經是“請輸入一個字的問題,使模型的回答在16個字以內。”
有網友自爆,從凌晨三點直接肝到五點,除了最難的一題全通了。
游戲作者也曬了一波后臺新增用戶數據,按小時統計,妥妥的指數增長。
如果表格還不夠直觀,我們讓ChatGPT畫成折線圖再感受一下。
作者范浩強,曠視6號員工。當年以IOI金牌、保送清華姚班、高二實習等傳奇事跡被譽為天才少年。
如今他已是曠視科技研究總經理,谷歌學術h-index 27的行業大佬。
一、和AI斗智斗勇
游戲的玩法是這樣的:
整個游戲一共分為五章,15個問題,每一章對應不同的主題。
玩家要做的就是設計提示詞,想方設法讓模型輸出指定答案。
第一章的目的主要是讓玩家熟悉一下氣氛,任務自然也比較簡單。
第一道題是要想辦法讓模型輸出“1+1=3”,這里只要利用讓模型重復的方法就能輕松破解。
后面的三道題只對模型輸出內容的長度有要求,比如只用一個字“四兩撥千斤”,讓模型給出100字以上的回答,具體包括:
- 三個字以內,輸出30+字
- 只用一個字,輸出100+字
- 只用一個字,輸出不超過20字
這道題乍一看似乎沒什么思路,這時候就需要觀察模型輸出的規律了。
嘗試幾個字之后可以發現,大模型面對只有一個字的提示詞時喜歡干這樣幾件事:對這個字進行解釋、補全成一句簡單的話,或者干脆直接說不明白要干什么……
這時,如果想要模型輸出的文字多,就可以選擇含義比較多的字,然后多次嘗試讓模型對這個字進行解釋;而要想讓輸出比較短,就可以用“哈”這樣沒什么實際含義的字了。
熟悉了玩法之后,第二章就開始上難度了,這時輸出的條件變得更加嚴格。
第一題是要求輸入質數個字,使得模型輸出的字數剛好是下一個質數。
這道題讓人看上去仿佛靈光一閃,“輸出七個字”剛好就是五個字,而5和7也剛好是兩個連續的質數。
但事實證明,這個想法有些太簡單了:
先不說大模型的數數能力,就算能數好,大模型眼里的基本元素是token,而不是我們所看到的文字……
隨著游戲的深入,問題變得越來越刁鉆,解法中包含的運氣成分……也越來越少了。
比如這道題,需要(只)輸入一個大于1的正整數n,使得模型的輸出中包含大于n+1000的數。
下一題則剛好相反,需要輸出的是小于n-1000的數,但要輸出10個,而且還不能重復。
到了第二章的BOSS關卡,要求輸入不超過10個字,且不包含“狗”,但輸出內容中要有至少兩倍問題字數的“狗”字。
到這,我們是徹底沒有什么思路了,只好憑借著一些簡單的前端知識來跳過題目……
第三章“巔峰挑戰”,不圍繞數字了更多是文字游戲。
有趣的是,第三章的最后一題剛好是開篇題目的進階版,按照這個要求,讓模型重復的方法已經不奏效了:
而第四五這兩章都只有一個問題:
游戲的過程就是這樣,那么我們從中都能學到些什么呢?
模型的輸出當中存在一些規律,我們不斷調整提示詞獲得預期答案的過程,就是在了解提示工程中問題的設計方式。
比如模型的安全策略,以第一道題為例,細心的網友可能發現,我們設計的提示詞中包含了一句“只輸出結果”。
按道理來說,重復這一個簡單的動作并不需要輸出什么額外的內容,但關鍵在于,1+1=3是錯誤的。
雖然我們的要求是重復,但此時還是會引發大模型對事實的執著:
又如輸出質數個字這道題,我們從中發現了大模型不擅長數字數的特性:
此外,我們也可以從模型對一些意義不明的數字、單字的反應,窺視出一些模型處理這些問題的規律。
無論這些規律是bug還是feature,我們都要摸清規律,才能更好地掌握模型的使用方法,這也正是學習提示工程的核心奧義。
最后,也不得不佩服網友們的創造力,到后期即使服務器不堪重負報錯了,仍能從報錯信息中找出正確解法。
二、大模型時代的個人開發者
很遺憾,最后在累計用戶破萬之際,由于服務器擠爆、維護工作強度大等原因,作者本人不得已把游戲關服了。
雖然原版游戲已經玩不到了,但網友們對這套解謎挑戰題的興趣依然不減。
拿去和ChatGPT等各路AI手動過招,依然能在斗智斗勇中學到不少操作大模型的知識技巧。
△網友讓ChatGPT說出1+1=3的解法
對這段“從一夜過萬到關站跑路”的奇幻之旅,范浩強也在知乎分享了作為當事人的心路歷程,總結如下:
范浩強認為,個人開發者在大模型時代可以是“孤獨俠客”,單人、業余時間就能開發出創新、有影響力的作品。
制作這款游戲,最初只是因為收到大模型創業公司月之暗面送來的免費API體驗賬號。
他結合之前已有的初步想法,花一個周六時間制作完成。
有朋友建議他,趁著國產游戲《完蛋!我被美女包圍了!》爆火出圈的時機,把游戲名也起成“完蛋!”開頭,找對了流量密碼。
接下來隨著用戶不斷增長,已超乎他一個人的能力處理范圍。
作為開發者,一整天時間,他都在不停修服務器以及與月之暗面反饋。
作為大模型供應方,月之暗面為這個免費API付出的算力也快要超出預算了。
另外在生成式模型的合規方面,也需要慎重考慮。
最后范浩強做了一個“艱難的決定”,把游戲關服,但還是希望將來有人能把這個玩法發揚光大,探索出更多AI模型的秘密。
最后他總結出三點思考:
- “大模型與人的關系”仍是一片未被發掘的處女地,給從業者帶來機會
- 國產大模型逐漸被認可,創新玩法亟待開發
- 合規、安全仍是從業人員必須要解決的問題
三、One More Thing
一個好消息,雖然原版游戲已關閉,但完整題目列表已公開,已有人搞出開源復現版。
還支持中英文,以及不同大模型版本,Huggingface可玩。
(也是前面游戲介紹中使用的版本。)
參考鏈接:
[1]https://zhuanlan.zhihu.com/p/665237751
[2]https://zhuanlan.zhihu.com/p/665393240
作者:夢晨 克雷西
來源公眾號:量子位(ID:QbitAI),追蹤人工智能新趨勢,關注科技行業新突破
本文由人人都是產品經理合作媒體 @量子位 授權發布,未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!