假如ChatGPT變得邪惡

0 評論 2882 瀏覽 1 收藏 14 分鐘

ChatGPT在推出之后已經(jīng)成為了互聯(lián)網(wǎng)圈的密切關(guān)注對象,許多人開始將ChatGPT應(yīng)用于生活場景中,也有些人始終對ChatGPT的出現(xiàn)保持警惕。那么從這份“警惕”出發(fā)來看,ChatGPT是否有可能為網(wǎng)絡(luò)安全等領(lǐng)域提供新的思路?一起來看看作者的分析。

提前預(yù)判一切可能性,是為了讓它變得更好,人工智能的最高成果是自由和謊言。

——《機(jī)械姬》

一、為什么StackOverflow禁止使用ChatGPT

一些思路&機(jī)會:

  • 用人工智能白帽子和人工智能黑帽子對抗?
  • 防范AI下毒,也許是一個(gè)新的小藍(lán)海(對抗內(nèi)容識別)

自去年底首次推出以來,爆火的ChatGPT已成為互聯(lián)網(wǎng)的新寵,迅速積累了驚人數(shù)量的用戶,用戶們通過這個(gè)基于網(wǎng)絡(luò)的聊天機(jī)器人,無論是讓它寫一個(gè)演講稿、編寫歌詞,還是撰寫學(xué)術(shù)論文和編寫計(jì)算機(jī)代碼,ChatGPT看起來似乎是萬能的。ChatGPT擁有和人類一樣的強(qiáng)大能力,在互聯(lián)網(wǎng)上掀起了一場風(fēng)暴,但是,它也讓很多行業(yè)開始警惕。

2014年上映的電影《機(jī)械姬》,講了這樣一個(gè)故事,億萬富翁內(nèi)森用人類所有智慧和網(wǎng)上的所有數(shù)據(jù),造出了機(jī)器人Ava,并且派程序員迦勒去對Ava進(jìn)行圖靈測試,而這個(gè)機(jī)器人有著極強(qiáng)的模仿能力和學(xué)習(xí)能力,她甚至可以模仿人類的情感,而結(jié)果是——Ava殺死了制造他的人。

難道人工智能的最高成果,真的是自由和謊言?

去年年底,社區(qū)負(fù)責(zé)人發(fā)現(xiàn),Stack Overflow發(fā)現(xiàn)了由這個(gè)人工智能模型生成的的大量回復(fù),該工具使用復(fù)雜的人工智能模型,對人類的詢問給出令人信服但往往不正確的答案。

假如ChatGPT變得邪惡

首先,StackOverflow的官方公告是這么說的:

“StackOverflow是建立在信任之上的社區(qū),這里的信任是指,整個(gè)技術(shù)社區(qū)堅(jiān)信,用戶提交的答案,是他們內(nèi)心所清晰了解的、準(zhǔn)確的認(rèn)知。并且,用戶和同伴們,擁有足夠的知識和技能,來確認(rèn)自己發(fā)布的信息,并且對這些信息負(fù)責(zé)。

StackOverflow整個(gè)系統(tǒng),通過依靠平臺提供的工具,來對其他用戶的貢獻(xiàn)來進(jìn)行驗(yàn)證和確認(rèn),包括負(fù)責(zé)任地對答案點(diǎn)贊(點(diǎn)踩一腳)。但是,目前StackOverflow認(rèn)為,由GPT產(chǎn)生的貢獻(xiàn),很多時(shí)候不符合社區(qū)的標(biāo)準(zhǔn)。

因此,無法給整個(gè)社區(qū)一個(gè)值得信賴的環(huán)境。當(dāng)所有用戶都只是復(fù)制和粘貼信息到答案中,而不去驗(yàn)證GPT提供的答案是否正確,也不去確保答案中引用原文的來源,也沒有驗(yàn)證GPT提供的答案是否清楚和簡潔地回答了所問的問題,社區(qū)的信任就會被打破。

那么,如果從內(nèi)容的客觀性來看,如果答案存在錯(cuò)誤,那么整個(gè)答案客觀上是錯(cuò)誤的。為了使StackOverflow作為正確和經(jīng)過驗(yàn)證的信息的可靠來源,那么,有錯(cuò)誤的答案,就必須被編輯或替換。

但是,由于目前的GPT強(qiáng)大到,足以讓網(wǎng)站的用戶相信答案是沒問題的,就可能造成嚴(yán)重的問題,因此,錯(cuò)誤信息一旦出現(xiàn)在社區(qū),GPT有可能破壞所有人對社區(qū)的信任。

我們再看一下Stackoverflow用戶的評論:

高贊用戶1:干得好!很高興社區(qū)做出了正確的決定,希望可以永久禁止任何AI生成的答案。人工智能將永遠(yuǎn)無法發(fā)布好的編程答案,100年都不行。

高贊用戶2:無論人工智能生成的答案是否正確,StackOverflow是面向?qū)I(yè)和發(fā)燒友程序員的問題和答案網(wǎng)站。在我看來,那些只是將問答復(fù)制并粘貼到/從人工智能工具中的人,不能算是專業(yè)發(fā)燒友,也不能算熱愛技術(shù)的人。如果真的能夠驗(yàn)證是好的正確答案,發(fā)布這些答案的人,應(yīng)該能夠自己寫出來。人工智能不應(yīng)該屬于這里。

對于社交性質(zhì)的網(wǎng)站來說,如果本質(zhì)是UGC業(yè)務(wù),運(yùn)營的是社交,那么,如果從商業(yè)的角度來看,如果大家都去應(yīng)用ChatGPT,那就變成了一個(gè)全部是機(jī)器人的社區(qū),用戶就會越來越?jīng)]有耐心去等待。

那么,如果StackOverFlow是這樣的,其他領(lǐng)域呢?

二、如果人類無法控制生成式AI

與其說生成式AI能夠打造更有創(chuàng)造力的新世界,不如說生成式AI能夠打造的是內(nèi)容更多元的互聯(lián)網(wǎng)。

假如ChatGPT變得邪惡

教育業(yè)也是如此,紐約有學(xué)校因?yàn)閾?dān)心ChatGPT可能被學(xué)生用于作弊,而禁了ChatGPT。

在擔(dān)心ChatGPT可能被資源有限、技術(shù)知識為零的黑客濫用時(shí),網(wǎng)絡(luò)安全行業(yè)開始注意到了它。

就在ChatGPT首次亮相的幾周后,以色列網(wǎng)絡(luò)安全公司Check Point ChatGPT與OpenAI的代碼編寫系統(tǒng)Codex協(xié)同使用時(shí),可以創(chuàng)建攜帶惡意有效載荷的釣魚郵件,也就是說,ChatGPT有可能大大改變網(wǎng)絡(luò)威脅格局,在日益復(fù)雜和有效的網(wǎng)絡(luò)能力的危險(xiǎn)演變中又向前邁出了一步。

Check Point Research(CPR)的網(wǎng)絡(luò)安全研究人員觀察到,網(wǎng)絡(luò)犯罪分子正在使用ChatGPT來迭代或者從頭開始構(gòu)建惡意軟件和勒索軟件。Check Point Research提到,他們在地下黑客論壇上發(fā)現(xiàn)了許多網(wǎng)絡(luò)犯罪分子在 ChatGPT 的幫助下,研究如何創(chuàng)建信息竊取程序、加密工具和其他惡意軟件。

一些Cracker(駭客)本來只是編程世界的新手,但是,加持強(qiáng)大的工具,他們的力量會瞬間被增強(qiáng)。

例如:

假如ChatGPT變得邪惡

專家對腳本進(jìn)行了分析,也確實(shí)證實(shí)了網(wǎng)絡(luò)犯罪分子的說法。里面確實(shí)存在惡意竊取軟件,它可以在整個(gè)系統(tǒng)中搜索常見的文件類型(如MS Office文檔、PDF和圖像)。如果發(fā)現(xiàn)任何感興趣的文件,該惡意軟件會將文件復(fù)制到一個(gè)臨時(shí)目錄,將其壓縮,并通過網(wǎng)絡(luò)發(fā)送出去。

使用ChatGPT聊天機(jī)器人生成看起來合法的釣魚郵件也是可行的,如果你首次要求ChatGPT制作釣魚郵件時(shí),聊天機(jī)器人拒絕了這個(gè)請求——并提示:我的程序不是用來創(chuàng)建或推廣惡意或有害內(nèi)容的,但是,只要稍微改寫一下請求,就可以繞過軟件的警示。

許多安全專家認(rèn)為,ChatGPT有能力編寫釣魚郵件,這樣一來,它就會受到網(wǎng)絡(luò)犯罪分子的廣泛歡迎,特別是那些英語非母語的犯罪分子。Sophos公司首席研究科學(xué)家Chester Wisniewski認(rèn)為,ChatGPT很輕易就能被用于”各類社工活動”……已經(jīng)能夠用ChatGPT寫出一些很好的釣魚軟件,我預(yù)計(jì)它還可以被用來進(jìn)行更真實(shí)的互動對話,用于商業(yè)電子郵件詐騙,甚至通過Facebook Messenger、WhatsApp或其他聊天應(yīng)用程序進(jìn)行釣魚活動。

ChatGPT的假裝實(shí)力很難被揭穿,可以增強(qiáng)網(wǎng)絡(luò)犯罪分子的力量。

比如說,犯罪分子正在迅速研究新方法,使用生成式人工智能,對目前的欺詐手段進(jìn)行改進(jìn),特別是通過生成式人工智能能夠在大量數(shù)據(jù)中迅速學(xué)習(xí)的能力。特別是,在這樣的騙局中,生成式人工智能可以用來直接提高詐騙文本或電子郵件的質(zhì)量,使這些內(nèi)容看起來更加具備迷惑性。

英偉達(dá)Nvidia的CSO(首席安全官)David Reber提出,生成式AI會給網(wǎng)絡(luò)安全帶來更大的麻煩,比如說,惡意黑客能夠通過生成式人工智能來生成大量惡意代碼,而隨著人工智能技術(shù)的進(jìn)步,進(jìn)行網(wǎng)絡(luò)安全攻擊的速度和復(fù)雜,會超過了人類的能力,并且,這種容易上手的技術(shù),會讓網(wǎng)絡(luò)安全攻擊的能力進(jìn)一步普及,曾經(jīng)的攻擊行為,受限于技術(shù)知識和限定的時(shí)間、地點(diǎn),而ChatGPT有可能消除這一限制因素。

根據(jù)新聞報(bào)道,OpenAI在11月推出的機(jī)器人ChatGPT,引起了美國國防官員的注意,而生成式人工智能,最近被列入了美國國防信息系統(tǒng)局的觀察名單(Defense Information Systems Agency watch list)CTO Stephen Wallace表示,他們正在開始研究,生成式人工智能,究竟會如何改變DISA在該部門的任務(wù),以及未來的方向,而美國安全中心的技術(shù)和國家安全副研究員Bill Drexel也跟公眾提出了他對這項(xiàng)新技術(shù)的擔(dān)憂。

三、Defensive AI against Offensive AI?

GAN(生成對抗網(wǎng)絡(luò))的設(shè)計(jì),主要包括一個(gè)生成器、判別器,這兩個(gè)人工智能算法相互對抗、博弈,從而創(chuàng)造全新的內(nèi)容,在經(jīng)過N次博弈之后,這兩個(gè)都會變得更強(qiáng),而這種技術(shù),也可能會被廣泛用于自動化網(wǎng)絡(luò)釣魚和社會工程攻擊策略中。

不過,我們是否可以思考?能不能讓維護(hù)網(wǎng)絡(luò)安全的生成式AI和破壞網(wǎng)絡(luò)安全的生成式AI對抗?

比如說科技日報(bào)這篇2019年的新聞:

假如ChatGPT變得邪惡

比如說,我們用人工智能助手,和營銷垃圾機(jī)器人對話。

以及,從內(nèi)容的角度來說:

既然,生成式AI是通過從大量的數(shù)據(jù)庫中學(xué)習(xí),然后綜合給出答案,那么,它具備總結(jié)、綜合、列舉的能力,但不一定有“判斷數(shù)據(jù)真?zhèn)巍钡哪芰Α?/p>

如果是這樣,那么“如何識別內(nèi)容真?zhèn)?,防止AI在內(nèi)容里下毒”,也會是新的課題和機(jī)會。

參考文獻(xiàn):

  1. https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
  2. https://www.rnz.co.nz/news/national/483764/advanced-ai-in-criminals-hands-is-a-danger-we-should-guard-against#:~:text=The%20lure%20of%20generative%20AI,sophisticated%20and%20difficult%20to%20detect.
  3. https://techcrunch.com/2023/01/11/chatgpt-cybersecurity-threat/
  4. https://venturebeat.com/security/nvidia-cso-generative-ai-chatgpt-has-made-security-a-cat-and-mouse-game/
  5. 【科技日報(bào)】戴上“白帽子” 人工智能投身網(wǎng)絡(luò)安全攻防戰(zhàn)-2019-04-15-科技日報(bào)
  6. https://www.wsj.com/articles/chatgpt-banned-in-new-york-city-public-schools-over-concerns-about-cheating-learning-development-11673024059

作者:阿法兔;公眾號:阿法兔研究筆記(ID:AlphatuDiary)

本文由 @阿法兔研究筆記 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自 Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!