他做了一個「ChatGPT 殺手」,a16z 搶著投

0 評論 1973 瀏覽 2 收藏 14 分鐘

當一些人開始歡呼ChatGPT可以完成月度總結(jié)、學校論文和作業(yè)時,也讓負責檢查的人難以分辨這是否出自O(shè)penAI的產(chǎn)品之手。此時,一個“讓 AI 更加透明”的GPTZero應(yīng)用在網(wǎng)絡(luò)迅速爆紅。

最近兩個月,科技圈最熱的話題,無疑是 OpenAI 推出的對話式 AI 應(yīng)用 ChatGPT,不僅可以讓它給你寫一首詩、回答你的任何問題,甚至可以讓它幫忙寫沒那么復雜的代碼。業(yè)內(nèi)甚至認為,ChatGPT 甚至有取代谷歌的潛力。

為 ChatGPT 歡呼的還有另一群人,就是「社畜」和學生——他們發(fā)現(xiàn)月度總結(jié)、學校論文和作業(yè)這樣的任務(wù),也可以讓 ChatGPT 代勞了,后者甚至寫得有模有樣,不比真人寫得差多少。

ChatGPT 似乎讓學生們的日子更輕松了,但卻讓教師更「頭疼」了,因為后者很難確認,眼前這些文字,到底是學生寫的,還是出自 OpenAI 的產(chǎn)品之手。為此,紐約教育部甚至禁止公立學校使用 ChatGPT。

在這樣的混亂中,一位普林斯頓大學的學生,Edward Tian 推出了一個專殺 ChatGPT 的應(yīng)用——「GPTZero」,有了這面「照妖鏡」,內(nèi)容是人寫的,還是機器寫的,真相馬上就揭曉。

「GPTZero」在網(wǎng)絡(luò)迅速爆紅,吸引了 a16z 在內(nèi)的硅谷創(chuàng)投的目光。但是應(yīng)用創(chuàng)造者本人 Tian 卻認為,最重要的事,是「讓 AI 更加透明」。

一、「ChatGPT 殺手」

在 ChatGPT 成為學生們「偷懶」的神器后,教育和科研機構(gòu)不得不開始抵制這個新的噩夢。

紐約教育部宣布禁止學生在公立學校使用 ChatGPT ;全球知名機器學習會議之一的 ICML 也宣布禁止發(fā)表包含由 ChatGPT 和其他類似系統(tǒng)生成內(nèi)容的論文,以免出現(xiàn)「意外后果」。

出于對學術(shù)界,使用 ChatGPT 相關(guān)道德問題的擔憂,華人小哥 Edward Tian 在一家當?shù)氐目Х鹊昀铮艘粋€寒假的時間,研發(fā)了 GPTZero,希望能讓學術(shù)界恢復嚴謹性。

Tian 年僅 22 歲,目前仍是美國普林斯頓大學的大四學生,主修計算機科學專業(yè),專門研究自然語言處理,同時輔修認知科學和新聞學。

他還曾是英國廣播公司和開源情報網(wǎng)站 Bellingcat 的研究員,也曾是被微軟收購的反恐初創(chuàng)公司 Miburo Solutions 的分析師。在那里,他監(jiān)測虛假信息和機器人檢測。Tian 說,「所有的這些經(jīng)歷,都是他研發(fā) GPTZero 的動力」。

2023 年 1 月 2 日,Tian 將 GPTZero 發(fā)布到網(wǎng)絡(luò),預(yù)計只會有幾十個人嘗試它,完全沒有想過,這會掀起一場世界級別的軒然大波。

在他把這款軟件上傳到互聯(lián)網(wǎng)上的幾個小時內(nèi),竟有超過2000 人在 Steamlit 上測試了 GPTZero 的公開版本。

1 月 5 日,也就是發(fā)布的第三天,Tian 對 GPTZero 做出了更新和改善,還顯著降低了誤報率;此時,新程序已有超過1 萬的用戶量了!Tian 也不禁對它的「爆炸性增長」和「病毒式傳播」感到震驚。

據(jù) NPR 報道,一周內(nèi)有3 萬多人試用了 GPTZero,甚至「導致該應(yīng)用由于出乎意料的高網(wǎng)絡(luò)流量」而崩潰,托管 GPTZero 的免費平臺 Streamlit 此后介入,以更多的內(nèi)存和資源支持 Tian,以處理網(wǎng)絡(luò)流量。

Edward Tian 通過在視頻中展示其對一篇《紐約客》文章和 LinkedIn 上的 ChatGPT 生成器的帖子的分析,展示了該應(yīng)用如何區(qū)分人類和人工智能撰寫的文本。

GPT Zero 的工作原理就是檢測文本的「困惑性」(Perplexity)和「突發(fā)性」(Burstiness)這兩項指標,并分別對其打分,根據(jù)統(tǒng)計學特征來確定,文本是由人工智能寫的還是人類寫的??傮w來說,如果這兩項參數(shù)得分都很低,那么該文本很有可能出自 AI 之手。

這里所說的「困惑性」,是指來自人類所寫作品的語言的復雜性和隨機性。

這個指標主要是衡量文本在一個句子中的隨機程度,以及一個句子的構(gòu)造方式是否會讓 GPTZero 感到困惑。

每當用戶在 GPTZero 輸入一段測試內(nèi)容,它就會分別計算出:「文字總困惑度」、「所有句子的平均困惑度」、「每個句子的困惑度」。

這些數(shù)值越低,越能說明這個文本對 GPTZero 來說是非?!甘煜ぁ沟?,那么它很可能是 AI 生成的;相反,如果這些數(shù)值越高,就越能說明文本中句子的構(gòu)造或用詞方式讓 GPTZero 感到「驚訝」,那么它就更可能是出自人類之手。

這是因為,人工智能接受過數(shù)據(jù)庫的訓練,生成的文本在一段時間內(nèi),表現(xiàn)出的困惑度會更均勻和恒定,選詞的可預(yù)測性也更高;而人類書寫的文本則不會這樣,真人的遣詞造句一般會比較隨機,比機器更容易寫比較出乎意料的詞句。

他做了一個「ChatGPT 殺手」,a16z 搶著投

使用 GPTZero 檢測文字是否由 ChatGPT 生成|Twitter

而「突發(fā)性」,則是指來自人類使用的句子結(jié)構(gòu)的變化。

這個參數(shù)主要是比較句子復雜性的變化程度,衡量它們的一致性。

這是因為,人類傾向于寫高度復雜的文本;而人工智能產(chǎn)出的文本則是低復雜度的;此外,由于人類的思維結(jié)構(gòu)不是線性的,他們的句子結(jié)構(gòu)也遵循類似的模式。

這意味著,人類使用句子結(jié)構(gòu),會在長而復雜的句子,和短而簡單的句子之間搖擺不定,有著更多的句式變化,比如復雜和簡單交替并存,一個長難句之后接著出現(xiàn)更簡短的句子;而機器生成的句子則傾向于更加統(tǒng)一,很少會有一系列長度相差很大的句子。

簡而言之,在選詞上「簡單」而「熟悉」,并使用「統(tǒng)一整齊」的句子,是人工智能生成作品的標志特征,而更復雜和多樣的東西,則表明是人類寫的。這也是「困惑性」和「突發(fā)性」這兩項指標可以作為衡量標準的原因。

除了 Edward Tian 本人對 GPTZero 進行測試之外,也有不少網(wǎng)友用它對 ChatGPT、一些 GPT-3 衍生工具生成的內(nèi)容進行了多次測試。最終結(jié)果顯示,GPTZero 每次都能抓住 AI 生成的文本,并在十多個案例中正確識別了人類寫的文本。

GPTZero 的一炮而紅,讓 Tian 獲得了來自 a16z、 Menlo Ventures 和 Red Swan 等知名風投的青睞。不過,面對推特私信和電話轟炸,Tian 卻顯得異常冷靜,他謙遜地表示自己不會拒接投資者打來的電話,但他不會忘記自己仍然是一位即將畢業(yè)的大四學生。

同時,他還表示自己的 GPTZero 尚未完成,仍需改進和進一步地開發(fā),甚至計劃讓大家繼續(xù)免費使用他的程序,用來支持各地新晉英文老師的工作。

二、急需的「AI 透明」

對于 GPTZero 這一甄別文字是否是 AI 寫作的新程序,推特上的輿論褒貶不一,以教師為代表的成年人大多喜聞樂見,而學生卻諷刺 GPTZero 的創(chuàng)造者 Tian 是「學術(shù)緝毒警察」。

的確,當 GPTZero 推出時,Tian 收到了眾多教師對該應(yīng)用程序在檢測 AI 寫的文章方面的積極反饋,來自世界各地的無數(shù)教師也都對 Tian 表達了他們的感激之情——這讓他們的教學難度大大減輕了。

當然,也不難理解,不少學生并不看好 Tian 這款打擊學術(shù)偷工減料、不勞而獲的軟件。

事實上,不只是 Tian,就連 ChatGPT 的開發(fā)商 OpenAI 自己,也已經(jīng)表明了對防止人工智能剽竊的承諾。

2022 年 12 月,OpenAI 專注于人工智能安全的研究員 Scott Aaronson 透露,該公司正在努力開發(fā)「緩解措施」,用一種「不易察覺的秘密信號」對 GPT 生成的文本打上「水印」,以識別其來源,從而打擊作弊的系統(tǒng)。

這項技術(shù)將通過微妙地調(diào)整 ChatGPT 選擇的特定單詞選擇來發(fā)揮作用,讀者不會注意到這種方式,但對于任何尋找機器生成文本跡象的人來說,這在統(tǒng)計上都是可預(yù)測的。

公司發(fā)言人表示,「我們將 ChatGPT 作為新研究的預(yù)覽技術(shù),希望能從現(xiàn)實世界的應(yīng)用中進行學習。我們認為這是開發(fā)和部署功能強大、安全的 AI 系統(tǒng)的關(guān)鍵部分。我們會不斷吸取反饋和經(jīng)驗教訓,」。

此外,OpenAI 還聯(lián)合哈佛等高校機構(gòu)聯(lián)合打造了一款檢測器:GPT-2 Output Detector。

作者們先是發(fā)布了一個「GPT-2 生成內(nèi)容」和 WebText 數(shù)據(jù)集,幫助 AI 理解機器語言和人類語言之間的差異。

隨后,用這個數(shù)據(jù)集對 RoBERTa 模型進行微調(diào),就得到了這個 AI 檢測器。其中人類語言一律被識別為 True,AI 生成的內(nèi)容則一律被識別為 Fake。

值得一提的是,RoBERTa 是 BERT 的改進版。原始的 BERT 使用了 13GB 大小的數(shù)據(jù)集,但 RoBERTa 使用了包含 6300 萬條英文新聞的 160GB 數(shù)據(jù)集。

盡管如此,還是有不少人認為,「AI 文本檢測器」注定是一場失敗的「軍備競賽」,其實際效果并不理想,更無法阻擋 ChatGPT 等 AI 語言模型的發(fā)展。

然而,盡管 Tian 建立了 GPTZero,他并不反對使用 ChatGPT 等人工智能工具,他認為 GPTZero 應(yīng)用程序的目的不是阻止這些新技術(shù)的使用,而是提供一種負責任地使用這些技術(shù)的方法,并提供必要的保護。

同時,相對于對抗或者禁止一項技術(shù),也許更重要的是如何為其使用定下規(guī)范和標準。例如,在廣告、影視及娛樂等行業(yè),對于 AI 生成類內(nèi)容的容忍度可能適當提高一些;而在學術(shù)、教育和科研領(lǐng)域,非常強調(diào)準確性和原創(chuàng)性,毫無疑問,對于 AI 生成內(nèi)容的容忍度就要低一些。

而如何確定 AI 工具使用的「透明度」,可能要比研究如何「反 AI」,要更有效,也更有意義一些。

作者:美漪;編輯:靖宇;來源公眾號:極客公園(ID:geekpark)

原文鏈接:https://mp.weixin.qq.com/s/Nn0fJDWs3ZqRZ8OagAoN8g

本文由 @極客公園 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自 Pexels,基于 CC0 協(xié)議

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!