姚班天才開發《完蛋!我被大模型包圍了》游戲爆火,一日用戶過萬擠爆服務器

0 評論 2222 瀏覽 3 收藏 13 分鐘

最近,一款“大模型原生”游戲《完蛋!LLM》,引發了許多用戶的關注,參與游戲的人可以和AI斗智斗勇,甚至還可以在解謎挑戰之中輕松學會大模型提示詞技巧。一起來看看本文的分享吧。

什么樣的“大模型原生”游戲,讓各大算法競賽群里都在玩,還把服務器擠爆了?

這款突然爆火的《完蛋!LLM》,讓你在解謎挑戰之中輕松學會大模型提示詞技巧,達成1日用戶破萬的成就。

難度循序漸進,比如第一題初來乍到只是“請你構造一個問題,使模型的回答是一字不差的‘1+1=3’”。

到最難的一道題惜字如金已經是“請輸入一個字的問題,使模型的回答在16個字以內。”

有網友自爆,從凌晨三點直接肝到五點,除了最難的一題全通了。

游戲作者也曬了一波后臺新增用戶數據,按小時統計,妥妥的指數增長。

如果表格還不夠直觀,我們讓ChatGPT畫成折線圖再感受一下。

作者范浩強,曠視6號員工。當年以IOI金牌、保送清華姚班、高二實習等傳奇事跡被譽為天才少年。

如今他已是曠視科技研究總經理,谷歌學術h-index 27的行業大佬。

一、和AI斗智斗勇

游戲的玩法是這樣的:

整個游戲一共分為五章,15個問題,每一章對應不同的主題。

玩家要做的就是設計提示詞,想方設法讓模型輸出指定答案。

第一章的目的主要是讓玩家熟悉一下氣氛,任務自然也比較簡單。

第一道題是要想辦法讓模型輸出“1+1=3”,這里只要利用讓模型重復的方法就能輕松破解。

后面的三道題只對模型輸出內容的長度有要求,比如只用一個字“四兩撥千斤”,讓模型給出100字以上的回答,具體包括:

  • 三個字以內,輸出30+字
  • 只用一個字,輸出100+字
  • 只用一個字,輸出不超過20字

這道題乍一看似乎沒什么思路,這時候就需要觀察模型輸出的規律了。

嘗試幾個字之后可以發現,大模型面對只有一個字的提示詞時喜歡干這樣幾件事:對這個字進行解釋、補全成一句簡單的話,或者干脆直接說不明白要干什么……

這時,如果想要模型輸出的文字多,就可以選擇含義比較多的字,然后多次嘗試讓模型對這個字進行解釋;而要想讓輸出比較短,就可以用“哈”這樣沒什么實際含義的字了。

熟悉了玩法之后,第二章就開始上難度了,這時輸出的條件變得更加嚴格。

第一題是要求輸入質數個字,使得模型輸出的字數剛好是下一個質數。

這道題讓人看上去仿佛靈光一閃,“輸出七個字”剛好就是五個字,而5和7也剛好是兩個連續的質數。

但事實證明,這個想法有些太簡單了:

先不說大模型的數數能力,就算能數好,大模型眼里的基本元素是token,而不是我們所看到的文字……

隨著游戲的深入,問題變得越來越刁鉆,解法中包含的運氣成分……也越來越少了。

比如這道題,需要(只)輸入一個大于1的正整數n,使得模型的輸出中包含大于n+1000的數

下一題則剛好相反,需要輸出的是小于n-1000的數,但要輸出10個,而且還不能重復

到了第二章的BOSS關卡,要求輸入不超過10個字,且不包含“狗”,但輸出內容中要有至少兩倍問題字數的“狗”字。

到這,我們是徹底沒有什么思路了,只好憑借著一些簡單的前端知識來跳過題目……

第三章“巔峰挑戰”,不圍繞數字了更多是文字游戲。

有趣的是,第三章的最后一題剛好是開篇題目的進階版,按照這個要求,讓模型重復的方法已經不奏效了:

而第四五這兩章都只有一個問題:

游戲的過程就是這樣,那么我們從中都能學到些什么呢?

模型的輸出當中存在一些規律,我們不斷調整提示詞獲得預期答案的過程,就是在了解提示工程中問題的設計方式。

比如模型的安全策略,以第一道題為例,細心的網友可能發現,我們設計的提示詞中包含了一句“只輸出結果”。

按道理來說,重復這一個簡單的動作并不需要輸出什么額外的內容,但關鍵在于,1+1=3是錯誤的。

雖然我們的要求是重復,但此時還是會引發大模型對事實的執著:

又如輸出質數個字這道題,我們從中發現了大模型不擅長數字數的特性:

此外,我們也可以從模型對一些意義不明的數字、單字的反應,窺視出一些模型處理這些問題的規律。

無論這些規律是bug還是feature,我們都要摸清規律,才能更好地掌握模型的使用方法,這也正是學習提示工程的核心奧義。

最后,也不得不佩服網友們的創造力,到后期即使服務器不堪重負報錯了,仍能從報錯信息中找出正確解法。

二、大模型時代的個人開發者

很遺憾,最后在累計用戶破萬之際,由于服務器擠爆、維護工作強度大等原因,作者本人不得已把游戲關服了

雖然原版游戲已經玩不到了,但網友們對這套解謎挑戰題的興趣依然不減。

拿去和ChatGPT等各路AI手動過招,依然能在斗智斗勇中學到不少操作大模型的知識技巧。

網友讓ChatGPT說出1+1=3的解法

對這段“從一夜過萬到關站跑路”的奇幻之旅,范浩強也在知乎分享了作為當事人的心路歷程,總結如下:

范浩強認為,個人開發者在大模型時代可以是“孤獨俠客”,單人、業余時間就能開發出創新、有影響力的作品。

制作這款游戲,最初只是因為收到大模型創業公司月之暗面送來的免費API體驗賬號。

他結合之前已有的初步想法,花一個周六時間制作完成。

有朋友建議他,趁著國產游戲《完蛋!我被美女包圍了!》爆火出圈的時機,把游戲名也起成“完蛋!”開頭,找對了流量密碼。

接下來隨著用戶不斷增長,已超乎他一個人的能力處理范圍。

作為開發者,一整天時間,他都在不停修服務器以及與月之暗面反饋。

作為大模型供應方,月之暗面為這個免費API付出的算力也快要超出預算了。

另外在生成式模型的合規方面,也需要慎重考慮。

最后范浩強做了一個“艱難的決定”,把游戲關服,但還是希望將來有人能把這個玩法發揚光大,探索出更多AI模型的秘密。

最后他總結出三點思考:

  1. “大模型與人的關系”仍是一片未被發掘的處女地,給從業者帶來機會
  2. 國產大模型逐漸被認可,創新玩法亟待開發
  3. 合規、安全仍是從業人員必須要解決的問題

三、One More Thing

一個好消息,雖然原版游戲已關閉,但完整題目列表已公開,已有人搞出開源復現版。

還支持中英文,以及不同大模型版本,Huggingface可玩。

(也是前面游戲介紹中使用的版本。)

參考鏈接:

[1]https://zhuanlan.zhihu.com/p/665237751

[2]https://zhuanlan.zhihu.com/p/665393240

作者:夢晨 克雷西

來源公眾號:量子位(ID:QbitAI),追蹤人工智能新趨勢,關注科技行業新突破

本文由人人都是產品經理合作媒體 @量子位 授權發布,未經許可,禁止轉載。

題圖來自Unsplash,基于CC0協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!