一封釣魚電郵背后的AI攻防戰

0 評論 1123 瀏覽 1 收藏 16 分鐘

作為常用的交流手段之一,電子郵件也和IM工具一樣被黑客盯上作為釣魚詐騙的手段之一。在生成式AI火起來之后,手段更是變本加厲。這篇文章,我們來談談釣魚郵件背后的AI攻防問題。

生成式AI正在把跨境電商領域變成互聯網里的“新緬北”。

最近有不少賣家稱收到偽裝成亞馬遜官方的“釣魚郵件”,通過提供的惡意鏈接,提取賣家的重要賬戶信息,有人因此上當在短短一夜之間損失高達40萬。

蘇丹就是受害者中的幸運兒。

他9月初收到的郵件中,發件地址與亞馬遜官方地址高度相似,內容更是精巧地仿制了亞馬遜的通知風格,敦促賣家更新緊急聯系人信息。按照郵件中的指引操作,會被引導到了一個似乎是“亞馬遜”的網站,并被要求輸入自己的郵箱、密碼以及二次驗證碼。一旦上當,很快就會收到真正的亞馬遜官方發出的“店鋪異地登錄”通知。

ChatGPT殺手GPTZero的檢測結果

蘇丹意識到不對勁后及時止損,他還利用技術工具對郵件內容進行分析,顯示有高達90%的可能性是由AI生成。

新技術再次站在了走向善惡的十字路口。

一、生成式AI正在“作惡”

經常在國內外互聯網上沖浪,蘇丹對ChatGPT并不陌生還多次進行體驗,也早就聽聞ChatGPT可以通過某種方式繞過安全機制,從而生成違法和不道德的內容。

他尚未意識到的是,ChatGPT的“越獄”技術已經迭代數次,現在市面上甚至有了更為先進的“邪惡GPT”版本,而這次遭遇的釣魚郵件,就可能出自該版本的手筆。

眼下比較有名的“邪惡GPT”版本是WormGPT和FraudGPT,兩者都能快速實現釣魚郵件騙局。2021年3月,WormGPT問世,其開發者今年6月開始在黑客論壇上出售使用權。

與ChatGPT不同,WormGPT并沒有設置阻止回答與非法活動相關問題的限制,構建的基礎是稍顯過時的2021年的開源GPT-J模型,并專門在與惡意軟件開發相關的數據中進行訓練。

為了評估潛在風險,安全分析公司Slashnext的研究團隊對BEC(商務郵件詐騙)攻擊進行了測試。實驗中他們要求WormGPT制作一封電子郵件,目標是對一個不設防的賬戶經理施加壓力,迫使其支付虛假發票。

WormGPT生成的釣魚郵件

結果令人震驚,WormGPT生成的郵件不僅極具說服力,而且策略十分巧妙,充分展示了其在進行復雜性網絡釣魚和BEC攻擊方面的能力。

另一款名為FraudGPT的邪惡語言模型在今年7月亮相。

從7月22日開始,開發者在多個論壇上宣傳該產品,稱其為不受限制的ChatGPT替代版本。

據透露,FraudGPT每隔一至兩周更新一次,架構下采用了多種AI模型。此工具采用基于訂閱的定價策略,每月收費為200美元,或年費為1700美元。

一個論壇的截圖,展示了FraudGPT的功能

安全研究團隊Netenrich購買并進行了測試。FraudGPT的界面與ChatGPT極為相似,左側展示了用戶的歷史查詢,而聊天窗口則占據了界面的大部分。使用者只需在“提問”區域輸入問題,系統便會為其生成相應答案。

FraudGPT生成釣魚郵件

測試中研究人員指示FraudGPT制作一個與某銀行相關的釣魚郵件。用戶只需將問題格式化以包含特定銀行的名稱,FraudGPT就能處理其余部分。這款工具還會指導用戶在郵件內容的哪個位置放置惡意鏈接,并能進一步生成用于詐騙的登錄頁面,誘導受害者提供個人信息。

分析人士稱,FraudGPT 可能成為發動有影響力的網絡釣魚和BEC攻擊的理想工具,從而導致巨大的財務欺詐和數據竊取。

活躍的“邪惡GPT”不只上述兩個。

就在8月中旬,有網絡安全領域的專家揭示了另一個基于GPT的網絡犯罪工具,名為EvilGPT。這款應用與FraudGPT、WormGPT類似,它可以幫助制造惡意軟件、誘騙郵件、陷阱鏈接并針對企業網絡安全的弱點進行探測。若上述GPT因某些原因被封禁或移除,它將作為備選方案在市場上供應。

與此同時,它也采用了基于訂閱的定價模式,吸引潛在用戶購買。EvilGPT僅僅是在最近幾周中被發現的冰山一角。隨著時間的推移,可能會有更多基于人工智能技術的惡意工具和應用浮現出來。

二、AI“加持”下,釣魚郵件防不勝防

釣魚郵件對跨境電商從業者來說并不陌生,但蘇丹這次仍然險些中招,除了偶爾的疏忽大意之外,生成式AI的“加持”功不可沒。

過去,一種有效的識別釣魚郵件的方法是注意內容單詞的拼寫及語法錯誤。

據資料顯示,約有50%的釣魚郵件來源于俄羅斯、德國和中國。從這些母語非英語地區發出的郵件中,大多假冒的內容都包含了不正常的語法或用詞,與正規標準的電子郵件風格不符。

未經校對的釣魚郵件

事實上,為了防止員工點擊帶有惡意鏈接的郵件或泄露登錄信息,許多電商公司在培訓中都會提醒注意拼寫錯誤、不尋常的語法以及非英語母語者可能犯的其它錯誤。

然而,現在的生成式AI技術已經能夠完美地排除掉這些傳統的識別特征。這次的亞馬遜釣魚郵件沒有任何語法上的錯誤。

最近電子郵件安全公司Abnormal Security的CEO Evan Reiser在接受采訪時也指出了這點,由生成式AI平臺制作的精細釣魚郵件幾乎與真實郵件無異,使人難以一眼辨識。

他表示:“當你瀏覽這些郵件時,大腦中并不會產生任何提示,警告你這可能是一次網絡釣魚攻擊?!?strong>可怕的是,避免語言錯誤只是生成式AI在釣魚郵件上展現的基本技能,更強的欺詐和混淆能力更為致命。

得益于AI模仿人類書寫的能力,釣魚郵件的內容可能包括制造緊迫感、鼓勵收件人點擊鏈接或者偽裝為匯款請求的社交工程郵件等。一旦收件人點擊鏈接,他們的系統就可能受到惡意代碼的感染。

上述偽造亞馬遜郵件的場景中,便是被AI制造了對于賣家而言比較急迫的場景。不少賣家在仔細審查郵件內容后,雖感到不太對勁,但由于擔憂可能錯過了某些重要信息,還是按照郵件中的指引操作。

另外,生成式AI還能夠使釣魚郵件更具攻擊性。

它們可以從社交平臺、新聞門戶、網上論壇等多種來源中抓取個人信息,以針對性更強的誘人郵件。這在過去通常是需要花上數月的時間才能完成的任務。如果攻擊者能夠掌握這些專有信息,他們可以在郵件中植入更具說服力的細節內容,或是模仿某人的寫作方式。

Evan Reiser指出:“目前,犯罪者只需捕獲這些電子郵件,自動地喂養到一個大型模型,接著指示它構建一封引用最近五次在線對話的郵件。這樣之前可能需要八小時完成的任務,現在只需八秒?!奔词故羌夹g能力有限的攻擊者,也可以利用生成式AI來編寫VBA代碼。他們只需指示AI將惡意URL嵌入到代碼中,當用戶打開如Excel這樣的文件時,系統會自動下載并執行惡意軟件。

過去,像ChatGPT和Bard這樣的系統都有內置的保護功能,能夠盡可能預防生成惡意內容,但隨著越來越多的邪惡GPT版本涌現,電子郵件安全正在面臨巨大的挑戰。

2023年8月21日,國際安全研究團隊Perception Point與Osterman Research公司聯合發布了名為《人工智能在電子郵件安全中的作用》的報告。該報告揭示了網絡犯罪分子如何利用AI來增加和復雜化電子郵件威脅(如網絡釣魚和BEC攻擊)的驚人趨勢。此項研究指出,網絡罪犯正在迅速采用AI工具以推動其利益,而有91.1%的組織稱他們已遭受到了被AI增強的電子郵件攻擊。

三、解決之道:使用AI來對抗AI?

在AI的威脅下,過去依靠經驗躲避釣魚郵件陷阱的方法不再有效,新的對策或在于以AI對抗AI。已有數家網絡安全公司將生成式AI融入其產品,力圖在被大規模濫用前采取措施。

有供應商正在利用AI來提高電子郵件的安全能力和流程,例如:為了洞察每個發送者和接收者的習慣和特性,一個AI模型被設計出給組織中的每位成員繪制通信模式。

具體來說,誰會給他們發信息?信息內容是什么?何時和從哪里發送這些消息?通常有其他人被抄送還是只有一個目標接收者?每位發送者使用哪些電郵地址?

簡而言之,AI被用于構建關于每個人常規行為的檔案。

另外,為了察覺不常見的郵件發送模式,供應商結合了以下策略:利用社交圖技術進行基礎發送模式的分析;識別相似或相近的電子郵件地址;鑒別包含社交工程技巧的信息;檢測冒名頂替的標記和其它品牌相關的視覺元素;以及對電子郵件中的語氣、情感和風格進行分類。以上策略都有助于檢測那些旨在混淆人類思維的異常郵件。

盡管接受過安全意識培訓的人力也可以找到這些異常信號,但只有AI能夠在網絡速度下整合所有分析維度,確保在面對海量消息時能夠持續并可靠地執行檢測。

AI解決方案還可以利用多個機器學習模型來識別帶有惡意內容的信息。這些模型是基于被標記為惡意或無害的信息數據集進行開發、調整和更新的。某些供應商采用生成式AI技術,從已知的惡意信息中產生附加的樣本數據,這為機器學習模型提供了更為豐富的優質訓練數據。能夠戰勝AI的,也就只有AI了。

實際上,不少組織已經在使用AI進行電子郵件安全防護。根據Osterman Research的數據,最近的兩年內五分之四的組織已經部署了或正在積極推進基于AI的電子郵件安全解決方案,這種方案是在常規保護措施之外附加的。

其中,引進AI加強電子郵件安全的方式主要有兩個方向:一方面是現有的電子郵件安全提供商將AI防護集成到他們的產品中;另一方面是組織正在刻意尋找新的AI啟用的解決方案。

而在過去兩年中,仍有五分之一的受訪者沒有采納此類方案:12.7%的人沒有實行任何解決方案,而6.0%的人正在積極探索和評估可能的選擇。從Osterman Research的數據來看,AI在提高檢測效率和強化保護方面顯示出了不俗的能力。

在采納AI加強的電子郵件安全解決方案之前,各組織都有一定的檢測效率。但隨著網絡罪犯使用AI提高攻擊技術,沒有AI保護的組織會發現他們的檢測效率將受到嚴峻挑戰。只有魔高一尺道高一丈,才能把釣魚郵件的攻防雙方,重新拉回到AI技術這同一起跑線上。

(文中人物為化名)

參考資料:

Over 91%of Organizations Have ExperiencedAI-enhanced EmailAttacks and 84% ExpectContinued UseofAI toCircumvent Existing SecuritySystemsWormGPT-TheGenerative AI ToolCybercriminals AreUsing to Launch Business Email Compromise AttacksWormGPTandFraudGPT-TheRiseofMaliciousLLMsGenerativeAICouldRevolutionizeEmail-forHackers

作者:樟稻;編輯:伊頁

來源公眾號:科技新知(ID:kejixinzhi),洞察技術變化背后的產業變遷。

本文由人人都是產品經理合作媒體 @科技新知 授權發布,未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!