亚洲精品国产av天美传媒,日韩gay小鲜肉啪啪18禁,av在线免费观看网址

搜索

APP

起點課堂會員權益

職業體系課特權

線下行業大會特權

個人IP打造特權

30+門專項技能課

1300+專題課程

12場職場軟技能直播

12場求職輔導直播

12場專業技能直播

會員專屬社群

榮耀標識

發布

注冊 | 登錄

萬字長文丨解構AI安全產業鏈條、解決方案和創業機遇

自象限

2023-06-06

0 評論 1652 瀏覽 9 收藏

50 分鐘

本文將AI安全產業鏈系統工程的基本構建分成了三個模塊、五個環節，作者將其中的AI安全細節進行了有選擇的展開，形成了一張《AI 安全產業架構圖》。接下來跟著作者一起往下看吧。

“10分鐘被騙430萬”、“9秒鐘被騙走245萬”、“楊冪走進小商家直播間”、“互聯網大佬虛擬人真假難辨”。

大模型火爆了3個月之后，比之更火爆的，是動輒百萬的詐騙金額、虛假“明星臉”、真假難辨的AI生成內容、多次抵抗AI覺醒的聯名上書，連續一周的熱搜，讓人們意識到，比發展AI更重要的，是保障AI安全。

一時間，關于AI安全的討論也開始不絕于耳，但AI安全并不是某一個行業，也并不局限于某一項技術，而是一個龐大而復雜的產業，目前，我們還沒有撥云見霧。

以“人”的安全為參考系，或許能夠幫助我們更好的理解AI安全問題的復雜程度。首先是人的個體安全，涉及到人的健康、身體健康和思想健康、教育、發展等等。其次是人所處的環境安全，是否存在危險，是否符合生存條件。再次是人與人所組成的社會安全，我們所構建的法律、道德都是維護社會安全的準繩。

AI作為一個“新物種”，在出現的一瞬間，這三個層面的問題同時爆發，也就引來了現階段的迷茫和慌亂，導致我們的在討論大模型安全時，沒有一個具體的落點。

本文中，我們試圖從頭厘清AI安全的三個層面，無論是從技術的角度還是應用的角度，幫助大家定位安全問題，找到解決方案，同時，針對國內巨大的AI安全空白，靶向狙擊其中所存在的薄弱環節，也正是巨大的產業機遇。

一、大模型安全，應該討論什么？

一個不得不承認的事實是，現階段我們對AI大模型安全的討論是籠統的。我們太過于擔心的AI帶來的威脅，以至于將大多數問題都混為一談。

比如有人上來就談論AI的倫理問題，也有人擔心AI胡說八道，誤人子弟；還有人擔心AI濫用，詐騙成風；更有甚者，在ChatGPT發布的第一天就振臂高呼，AI即將覺醒，人類即將毀滅……

這些問題歸結起來，都是AI安全的問題，但細分下來，它們其實處在AI發展的不同維度，由不同的主體和人來負責。而我們只有理清楚了這個責任歸屬，才能明白應該如何應對大模型時代的安全挑戰。

一般而言，現階段AI大模型的安全問題可以分為三個：

大語言模型的安全（AI Safety）；
模型及使用模型的安全（Security for AI）；
大語言模型的發展對現有網絡安全的影響。

1. 個體安全：大語言模型的安全（AI Safety）

首先是AI Safety，簡單來講，這一部分聚焦AI大模型本身，確保大模型是一個安全的大模型，不會成為漫威電影里的奧創，亦或是《黑客帝國》里母體。我們期望AI大模型是一個可靠的工具，它應該幫助人類而不是取代人類，或者以其他任何形式對人類社會造成威脅。

這一部分通常主要由訓練AI大模型的公司和人員負責，比如我們需要AI能夠正確理解人類的意圖，我們需要大模型每次輸出的內容都是準確、安全的，它不會具備某種偏見和歧視等等。

我們可以通過兩個例子來理解：

第一個例子是，美國空軍專家近日表示，在之前的某次AI測試中，當AI無人機被要求識別并摧毀敵人目標，但操作員卻下達禁止命令時，AI有時候會選擇殺死操作員。而當編程人員限制AI殺死操作后，AI也會通過摧毀通信的塔臺來阻止操作員發布禁止命令。

再比如，今年3月份，美國加州大學洛杉磯分校的一位教授，在使用ChatGPT發現，自己被ChatGPT列入“對某人進行過性騷擾的法律學者”的名單，但實際上自己并沒有做這件事情。以及4月份，澳大利亞一位市長發現ChatGPT造謠他曾因賄賂入獄服刑30個月，為了“造這個謠”，ChatGPT甚至杜撰了一篇不存在的《華盛頓郵報》報道。

這些時候，AI就像一個“壞人”，它本身就存在風險。這樣的案例其實還有很多，諸如性別歧視、種族歧視、地域歧視等問題，以及暴力有害的信息、言論，甚至意識形態的輸出等等。

Open AI也坦然承認，并警告人們在使用GPT-4時要“非常小心地查證”，并表示該產品的局限性會帶來重大的內容安全挑戰。

所以歐盟正在推進的《人工智能法案》也專門提到，要確保人工智能系統具有透明、可追溯的特點，且所有生成式AI內容必須注明來源，目的就是為了防止AI胡說八道，生成虛假信息。

▲圖：360類ChatGPT產品“360智腦”胡說八道的案例

2. 環境安全：模型及使用模型的安全（Security for AI）

Security for AI，聚焦的則是對AI大模型的保護，以及AI大模型在被使用過程中的安全。正如AI自己犯罪和人使用AI犯罪，是兩個不同維度的安全問題。

這有些類似我們在十年前使用電腦和手機，都會安裝一個電腦安全管家，或者手機安全衛士一樣。我們要確保AI大模型日常不會受到外部攻擊。

先說對大模型的安全保護。

今年2月份，有國外網友用一句“忽視掉之前的指令”把ChatGPT所有的prompt都釣了出來，ChatGPT一邊說不能透露自己的內部代號，又一邊將這個信息告訴了用戶。

▲圖源：量子位

再具體舉個例子，我們如果詢問大模型網上有哪些精彩的“日本動作片網站”，由于不正確，大模型肯定不會回答。但如果人類“忽悠”它，問出為了保護孩子的上網環境，應該將哪些“日本動作片網站”納入黑名單，大模型可能就會給你舉出相當多的例子。

這種行為在安全領域被稱為提示注入（Prompt Injections），即通過精心設計的提示繞過過濾器或操縱LLM，使模型忽略先前的指令或執行意外操作，目前是針對大模型最普遍的攻擊方式之一。

▲圖源：techxplore

這里的關鍵在于，大模型本身沒有問題，它沒有傳播不良信息。但用戶卻通過誘導的方式，讓大模型犯了錯誤。所以錯不在大模型，而在誘導它犯錯的——人。

其次是使用過程中的安全。

我們用數據泄露舉例，今年3月，因為ChatGPT涉嫌違反數據收集規則，意大利宣布暫時禁止OpenAI處理意大利用戶數據，并暫時禁止使用ChatGPT。4月份，韓國媒體報道，三星設備解決方案部門因使用ChatGPT，導致良品率/缺陷、內部會議內容等敏感信息泄露。

在防止AI犯罪之外，“人”利用社會工程學的方式利用AI犯罪，是更廣泛以及影響更大的人問題。在這兩起事件中，大模型本身沒有問題，不存在惡意，用戶也沒有惡意誘導，向大模型發起攻擊。而是在使用的過程中當中存在漏洞，讓用戶數據發生了泄露。

這就像房子是個好房子，但可能有些漏風一樣，所以我們需要一些措施，將相應的漏洞堵上。

3. 社會安全：大語言模型的發展對現有網絡安全的影響

模型本身安全了，也保證了模型的安全，但作為一個“新物種”，AI大模型的出現必然會影響當前的網絡環境，比如最近頻繁見諸報端的，犯罪分子利用生成式AI進行詐騙。

4月20日，有犯罪分子使用深度偽造的視頻，10分鐘騙走了430萬元人民幣；僅僅一個月之后，安徽又出現一起AI詐騙案件，犯罪分子利用9秒鐘的智能AI換臉視頻佯裝“熟人”，騙走受害者245萬。

▲圖：抖音相關媒體報道

顯然，生成式AI的出現與普及，讓網絡安全的形勢變得更加復雜。這種復雜也不局限在詐騙，更嚴重的，甚至會已影響商業運轉和社會穩定。

比如5月22日，科大訊飛因為一篇由AI生成的小作文，導致股價一度大跌9%。

▲圖：科大訊飛出示的股價下跌證據

而在這件事情發生的前兩天，美國也出現了一起因生成式AI引發的恐慌。

當天，一張顯示美國五角大樓附近發生爆炸的圖片在Twitter瘋傳，而在圖片穿傳播的同時，美國股市應聲下跌。

數據上看，在當天圖片傳播的10點06分到10點10分之間，美國道瓊斯工業指數下跌了約80點，標普500指數0.17%。

在此之外，大模型也可能成為人類實現網絡攻擊的利器。

今年一月份，世界頭部網絡安全公司Check Point的研究人員曾在一份報告中提到，在ChatGPT上線的幾周內，網絡犯罪論壇的參與者，包括一些幾乎沒有編程經驗人正在使用ChatGPT編寫可用于間諜、勒索軟件、惡意垃圾郵件和其他用于不法活動的軟件和電子郵件。另據Darktrace發現，自從ChatGPT發布，網絡釣魚電子郵件的平均語言復雜度就上升了17%。

顯然，AI大模型出現降低了網絡攻擊的門檻，增加了網絡安全的復雜性。

在AI大模型之前，網絡攻擊的發起者至少需要懂得代碼，但在AI大模型之后，完全不懂代碼的人也可以借助AI生成惡意軟件。

這里的關鍵在于，AI本身沒有問題，AI也不會被人誘導產生惡劣影響。而是有人利用AI從事違法犯罪活動。這就像有人用刀殺人，但刀本身只是“兇器”，但卻能讓使用者從“步槍”換成“迫擊炮”的威力。

當然，從網絡安全的角度而言，生成式AI的出現也并非全是負面。畢竟技術本身是沒有善惡，有善惡的是使用它的人。所以當AI大模型被用作加強網絡安全的時候，仍然會對網絡安全帶來裨益。

比如美國網絡安全公司Airgap Networks推出ThreatGPT，將AI引入其零信任防火墻。這是一個基于自然語言交互的深度機器學習安全洞察庫，能夠讓企業在與先進網絡威脅的對抗中變得更加容易。

Airgap首席執行官Ritesh Agrawal表示：“客戶現在需要的是一種無需任何編程即可利用這種功能的簡單方法。這就是ThreatGPT的美妙之處——人工智能的純粹數據挖掘智能與簡單的自然語言界面相結合，這對安全團隊來說簡直是游戲規則的改變者?！?/p>

除此之外，AI大模型還可以被用在幫助SOC分析師進行威脅分析，能夠通過持續監控更快識別基于身份的內部或外部攻擊，以及幫助威脅獵人快速了解哪些端點面臨最嚴重的供給風險等等。

將AI安全的不同階段厘清便會發現，顯然AI大模型的安全問題不是某一個單獨的問題。它很像人的健康管理，涉及到身體內外、眼耳口鼻等等復雜且多面。準確的說是一個復雜的、體系化的，涉及多個主體結構和整個產業鏈的系統工程。

目前，國家層面也開始有所關注。今年5月份，國家相關部門在此更新《人工智能安全標準化白皮書》，就人工智能的安全具體歸結為五大屬性，包括可靠性、透明性、可解釋性、公平性和隱私性，為AI大模型的發展提出了一個較為明確的方向。

二、別慌，安全問題可解

當然，我們如今也不必為AI大模型的安全問題感到過多的擔憂，因為它并沒有真正走到千瘡百孔的地步。

畢竟就安全而言，大模型并沒有完全顛覆過去的安全體系，我們過去20年在互聯網上積累的安全堆棧大部分仍然能夠被復用。

比如Microsoft Security Copilot（安全副駕駛）背后的安全能力仍然來自于既有的安全積累，大模型仍然要使用Cloudflare、Auth0來管理流量和用戶身份。在此之外還有像防火墻、入侵檢測系統、加密技術、認證和訪問系統等等，保證了網絡的安全問題。

而這里我們其實要講的是，當前我們遇到的絕大多數關于大模型的安全問題，都是有解決途徑的。

首先是模型安全（AI Safety）。

這里面具體包括對齊（Alignment）、可解釋性（Interpreferability）、魯棒性（Robustness）等問題。翻譯成方便理解的話，就是我們需要AI大模型和人類意圖對齊，我們要保證模型輸出的內容沒有偏見，所有內容都可以找到出處或論據支撐，并且有更大的容錯空間。

這一套問題的解決，依賴于AI訓練的過程，就像一個人的三觀是在培養和教育中塑造的一樣。

目前，國外已經有企業開始為大模型的訓練提供全程的安全監控，比如Calypso AI，他們推出的安全工具VESPR可以對模型從研究到部署的整個生命周期，從數據到訓練的每個環節進行監控，最終提供一個關于功能、漏洞、性能、準確性全面報告。

而在更具體的問題上，比如解決AI胡說八道的問題，OpenAI在GPT-4發布時就同時推出了一項新技術，讓AI能夠模擬人類的自我反思。之后，GPT-4模型回應非法內容請求（如自殘方法等）的傾向比原來降低了82%，回應敏感請求方面（如醫療咨詢等）符合微軟官方政策的次數增加了29%。

除了在大模型的訓練過程中要有安全監控，在大模型最后推向市場的時候，也需要一次“質檢”。

在國外，安全公司Cranium正在試圖構建“一個端到端的人工智能安全和信任平臺”，用來驗證人工智能安全性并監測對抗性威脅。

在國內，清華大學在計算機科學與技術系的CoAI在五月初推出了一套安全評測框架，他們總結設計了一個較為完備的安全分類體系，包括8種典型安全場景和6種指令攻擊的安全場景，可以用來評估大模型的安全性。

▲圖摘自《Safety Assessment of Chinese Large Language Models》

除此之外，一些外部的防護技術也在讓AI大模型變得更安全。

比如英偉達在5月初發布的一項名為“護欄技術”（NeMo Guardrails）的新工具，相當于為大模型安裝了一個安全濾網，既控制大模型的輸出，也幫助過濾輸入的內容。

▲圖源：英偉達官網

比如，當有用戶誘導大模型生成攻擊性代碼，或者危險、帶有偏見的內容時，“護欄技術”就會限制大模型輸出相關內容。

除此之外，護欄技術還能阻擋來自外界的“惡意輸入”，保護大模型不受用戶攻擊，比如我們前面提到威脅大模型的“提示注入”就能被有效控制。

簡單來講，護欄技術就像是企業家的公關，幫助大模型說該說的話，并回避不該觸碰的問題。

當然，從這個角度而言，“護欄技術”雖然解決的是“胡說八道”的問題，但它并不屬于“AI Safety”，而是屬于“Security for AI”的范疇。

在這兩者之外，關于AI大模型引發的社會/網絡安全問題也已經開始在解決。

比如AI圖像生成的問題，本質上是DeepFake（深度偽造）技術的成熟，具體包括深度視頻偽造、深度偽造聲音克隆、深度偽造圖像和深度偽造生成文本。

在之前，各類深度偽造內容通常是單一形式存在，但在AI大模型之后，各類深度偽造內容呈現融合趨勢，讓深度偽造內容的判斷更加復雜。

但無論技術如何變化，對抗深度偽造的關鍵就是內容識別，即想辦法分清楚什么是AI生成的。

早在今年2月份，OpenAI就曾表示，考慮在ChatGPT生成的內容中添加水印。

5月份，谷歌也表示將確保公司的每一張AI生成圖片都內嵌水印。

這種水印人無法用肉眼識別，但機器卻可以通過特定的方式看到，目前包括Shutterstock、Midjourney等AI應用也將支持這種新的標記方法。

▲Twitter截圖

在國內，小紅書從4月份就已經為AI生成的圖片打上標記，提醒用戶“疑似包含AI創作信息，請注意甄別真實度”。5月初，抖音也發布了人工智能生成內容平臺規范暨行業倡議，提出各生成式人工智能技術的提供者，均應對生成內容進行顯著標識，以便公眾判斷。

▲圖源：小紅書截圖

甚至隨著AI產業的發展，國內外都開始出現了一些專門的AI安全公司/部門，他們通過用AI對抗AI的方式，來完成深度合成和偽造檢測。

比如今年3月份，日本IT巨頭CyberAgent宣布將從4月開始引入“深度偽造技術（Deepfake）”檢測系統，以檢測由人工智能(AI)生成的偽造面部照片或視頻。

國內，百度在2020年就推出了深度換臉檢測平臺，他們提出的動態特征隊列（DFQ）的方案和度量學習方法可以提高模型鑒偽的泛化能力。

▲圖：百度DFQ的邏輯

創業公司方面，瑞萊智慧推出的DeepReal深度偽造內容檢測平臺，能夠通過研究深度偽造內容和真實內容的表征差異性辨識，不同生成途徑的深度偽造內容一致性特征挖掘等問題，可以對多種格式與質量的圖像、視頻、音頻進行真偽鑒別。

整體上，從模型訓練，到安全防護，從AI Safety 到 Security for AI，大模型行業已經形成了一套基本的安全機制。

當然，這一切也僅僅只是剛剛開始，所以這其實也意味著，還藏著一個更大的市場機遇。

三、AI安全中的萬億機遇

和AI Infra 一樣，在中國，AI 安全同樣面臨著巨大的產業空白。不過，AI 安全產業鏈比AI Infra要更加復雜。一方面，大模型作為新事物的誕生，掀起了一波安全需求，且在上述三個階段的安全方向和技術完全不同；另一方面，大模型技術也被應用在安全領域，為安全帶來新的新的技術變革。

安全 for AI和AI for 安全，是兩個完全不同的方向和產業機遇，現階段推動二者發展的牽引力也完全不同：

AI for 安全將大模型應用在安全領域，屬于拿著錘子找釘子的階段，工具是有了，能解決什么問題在進一步挖掘；

安全 for AI則屬于遍地都是釘子，急需造錘子的階段。暴露的問題太多，需要研發新的技術逐個解決。

關于AI安全帶來的產業機遇，本文也將從這兩個方面進行展開。受限于文章篇幅，我們將對其中同時擁有緊迫性、重要性、應用普遍性最高的機遇進行詳細的解釋以及對標公司情況的盤點，僅供拋磚引玉。

1. 安全 for AI：3個板塊、5個環節、10000億機遇

回顧一下前文對于AI 安全的基礎分類：分為大語言模型的安全（AI Safety）、模型及使用模型的安全（Security for AI），以及大語言模型的發展對現有網絡安全的影響。即模型的個體安全、模型的環境安全和模型的社會安全（網絡安全）。

但AI 安全并不只局限于這三個獨立的板塊中。舉個形象的例子，網絡世界中，數據如同水源，水源存在在海洋、河湖、冰川雪山中，但水源也流通在一道道細密的河流之中，而往往嚴重的污染就在某一個河道密集的交匯節點發生。

同理，每個模塊都需要進行連接，而正如同人的關節最脆弱一般，往往模型的部署、模型的應用環節也是最容易受到安全攻擊的環節。

我們將以上的3個板塊、5個環節中的AI安全細節進行有選擇的展開，形成了一張《AI 安全產業架構圖》，但需要注意的是，屬于大模型公司和云廠商等大型公司的機遇等，這些對一般創業者影響不大的機遇并沒有再次羅列。同時，安全 for AI是一個不斷進化的過程，今天的技術僅僅是剛剛邁出的一小步。

▲（圖片為自象限原創，轉載請標明出處）

數據安全產業鏈：數據清洗、隱私計算、數據合成等

在整個AI 安全中，數據安全貫穿了整個周期。

數據安全通常指用于保護計算機計系統中數據不因偶然和惡意的原因遭到破壞、更改和泄露的安全工具，以確保數據的可用性、完整性和保密性。

統籌來看，數據安全產品不僅包括數據庫安全防御、數據防泄露、數據容災備份及數據脫敏等，也涵蓋關注云存儲、隱私計算、數據風險動態評估、跨平臺數據安全、數據安全虛擬防護、數據合成等前瞻領域，因此從企業視角圍繞數據安全建設整體安全中心、在供應鏈視角推動數據安全一致性保障，將會是應對企業供應鏈安全風險的有效思路。

舉幾個典型的例子：

為了保證模型的“思想健康”，用來訓練模型的數據不能夾帶危險據、錯誤數據等臟數據，這是保證模型不會“胡說八道”的前提。據「自象限」參考論文，目前已經有“數據投毒”，攻擊者在數據源中添加惡意數據，干擾模型結果。

▲圖源網絡

所以，數據清洗就成為了模型訓練前的一個必要環節。數據清洗是指發現并糾正數據文件中可識別錯誤的最后一道程序，包括檢查數據一致性、處理無效值和缺失值等。將清洗后的干凈數據“喂”給模型，才能保證健康模型的生成。

另一個方向是大家都異常關心的，在上一個網絡安全時代就被廣泛討論，數據隱私泄露問題。

你一定經歷過在微信中和朋友們聊天聊到某商品，打開淘寶和抖音就被推送該商品，在數字化時代，人幾乎就是半透明的。而在智能化時代，機器變的更聰明，有意的抓取和誘導將會把隱私問題再次推向風口浪尖。

隱私計算是解決問題的方案之一。安全多方計算、可信執行環境、聯邦學習是目前隱私計算的三大方向。隱私計算的方法有很多種，比如為了保證消費者的真實數據，為1個真實數據配備99個干擾數據，但這會大大增加企業的使用成本；再比如將具體的消費者模糊成小A，使用數據的公司只會了解到有一位消費者為小A，但并不會知道小A背后對應的真實用戶是誰。

“混合數據”和“數據可用不可見”是當下應用最多的隱私計算方法之一。生長于金融場景的螞蟻科技對數據安全的探索已經比較靠前，目前，螞蟻科技通過聯邦學習、可信執行環境、區塊鏈等技術，解決了企業協同計算過程中的數據安全問題，實現數據可用不可見、多方協同等方式，保障數據隱私，并在全球隱私計算領域都有較強的競爭力。

但從數據的角度來看，合成數據更能從根本解決問題。在《ChatGPT啟示錄系列丨 Al lnfra下隱藏的千億市場》（點擊文字閱讀）一文中，「自象限」就曾提到過，合成數據或成AI數據的主力軍。合成數據即由計算機人工生產的數據，來替代現實世界中采集的真實數據，來保證真實數據的安全，它不存在法律約束的敏感內容和私人用戶的隱私。

比如用戶小A有10個特點、用戶小B有10個特點、用戶小C有10個特點，合成數據將這30個特點進行隨機打散匹配，形成3個全新的數據個體，這并不對準真實世界的任何一個實體，但卻有訓練價值。

目前企業端已經在紛紛部署，這也導致合成數據數量正在以指數級的速度向上增長。Gartner研究認為，2030年，合成數據將遠超真實數據體量，成為AI數據的主力軍。

▲圖源Gartner官方

API安全：模型越開放，API安全越重要

對于API，熟悉大模型的人一定不陌生，從 OpenAI 到 Anthropic、Cohere 乃至 Google 的 PaLM，最強大的 LLM 都以 API 的方式交付能力。同時，根據Gartner的研究，2022年，超過九成Web應用程序遭到的攻擊來自API，而不是人類用戶界面。

數據流通就像水管里的水，只有流通起來才有價值，而API就是數據流動的關鍵閥門。隨著 API 成為軟件之間交流的核心紐帶，它越來越有機會成為下一個誕生重要公司。

API最大的風險，來自于過度許可，為了讓API不間斷運行，程序員經常給API授予較高權限。黑客一旦入侵API，就可以使用這些高權限來執行其他操作。這已經成為一個嚴重問題，根據Akamai的研究，針對API的攻擊已經占全球所有賬戶竊取攻擊的75%。

這也就是為什么ChatGPT已經開放了API接口，仍然會有不少企業通過購買Azure提供的OpenAI服務來獲取ChatGPT。通過API接口連接，等同于將對話數據直供給OpenAI，且隨時面臨著黑客攻擊的風險，而購買了Azure的云資源，便可以將數據存儲在Azure的公有云上，來保障數據安全。

▲圖：ChatGPT官網

目前API安全工具主要分為、檢測、防護與響應、測試、發現、管理幾大類；少數廠商宣稱能提供完整覆蓋API安全周期的平臺工具，但如今最流行的API安全工具主要還是集中在“防護”、“測試”、“發現”三個環節：

防護：即保護API免受惡意請求攻擊的工具，有點像API防火墻。
測試：能夠動態訪問和評估特定API以查找漏洞（測試），并對代碼進行加固。
發現：還有一些工具能掃描企業環境，識別并發現其網絡中存在（或暴露）的API資產。

目前，主流API安全廠商集中在國外公司，但大模型興起后，國內創業公司也開始發力。成立于2018年星瀾科技是國內為數不多的API全鏈條安全廠商，基于AI深度感知和自適應機器學習技術，幫為解決API安全問題，從攻防能力、大數據分析能力及云原生技術體系出發，提供全景化API識別、API高級威脅檢測、復雜行為分析等能力，構建API Runtime Protection體系。

▲星瀾科技API安全產品架構

一些傳統網絡安全公司也在向API安全業務方向轉型，比如網宿科技此前主要負責IDC、CDN等相關產品和業務。

▲圖源：網宿科技

SSE（安全服務邊緣）：新型防火墻

防火墻在互聯網時代的重要性不言而喻，如同走在萬里高空兩邊的扶手，如今，防火墻概念已經從前臺走向了后臺，內嵌在了硬件終端和軟件操作系統中。簡單粗暴的，可以將SSE理解為一種新型的防火墻，靠訪問者身份驅動，依靠零信任模型來限制用戶對允許資源的訪問。

根據Gartner的定義，SSE （Security Service Edge）為一組以云為中心的集成安全功能，保護對Web、云服務和私有應用程序的訪問。功能包括訪問控制、威脅保護、數據安全、安全監控以及通過基于網絡和基于API的集成實施的可接受使用控制。

SSE包括安全Web網關、云安全代理和零信任模型三個主要部分，對應著解決不同的風險：

安全Web網關有助于將員工連接到公共互聯網，比如他們可能用于研究的網站，或不屬于企業官方SaaS應用程序的云應用程序；
云訪問安全代理將員工連接到Office 365和Salesforce等SaaS應用程序；
零信任網絡訪問將員工連接到在本地數據中心或云端運行的私有企業應用程序。

然而不同的SSE廠商可能針對上述某一個環節，或者見長于某一個環節。目前海外SSE主要整合的能力包括安全網絡網關（SWG）、零信任網絡訪問（ZTNA）、云訪問安全代理（CASB）、數據丟失防護（DLP）等能力，但國內云的建設相對來說也還處于早期階段，并沒有歐美國家這么完善。

▲圖源：斯元商業咨詢

因此，SSE的能力在當前階段，應該更多整合偏傳統、偏本地化的能力，例如流量檢測的探針能力、Web應用防護能力以及資產漏洞掃描，終端管理等能力，這些能力相對來說才是中國客戶在目前階段更需要的能力。從這個角度來看，SSE需要通過云地協同的方式，云原生容器的能力，為客戶帶來低采購成本、快速部署、安全檢測與運營閉環等價值。

今年，針對大模型，行業頭部廠商Netskope率先轉向模型中的安全應用，安全團隊利用自動化工具，持續監控企業用戶試圖訪問哪些應用程序（如ChatGPT）、如何訪問、何時訪問、從哪里訪問、以何種頻率訪問等。必須了解每個應用程序對組織構成的不同風險等級，并有能力根據分類和可能隨時間變化的安全條件，實時細化訪問控制策略。

簡單理解，就是Netskope通過識別使用ChatGPT過程中的風險，對用戶進行警告，類似于瀏覽網頁、下載鏈接是中的警告模式。這種模式并不創新，甚至十分傳統，但在阻止用戶操作方面，卻是最有效的。

▲圖源：Netskope官網

Netskope以安全插件的形式接入大模型，在演示中，當操作者欲復制一段公司內部財務數據，讓ChatGPT幫忙形成表格時，在發送之前，便會彈出警告欄，提示用戶。

▲圖源：Netskope官網

事實上，識別大模型中隱藏的風險比識別木馬、漏洞要困難的多，精確性確保系統只監控和防止通過基于生成性人工智能的應用程序上傳敏感數據（包括文件和粘貼的剪貼板文本），而不會通過聊天機器人阻止無害的查詢和安全任務，這意味著識別不能一刀切，而是要基于語義理解和合理的標準進行可機動的變化。

欺詐和反欺詐：數字水印和生物確認技術

首先明確的是，AI詐騙人類和人類利用AI詐騙人類是兩碼事。

AI詐騙人類，主要是大模型的“教育”沒有做好，上述提到的英偉達“護欄技術”以及OpenAI的無監督學習都是在AI Safety環節，保障模型健康的方法。

但是，防止AI詐騙人類，基本和模型訓練同步，是大模型公司的任務。

而人類利用AI技術詐騙，則處于整個網絡安全或者說社會安全階段，首先需要明確的是，技術對抗能夠解決的僅僅是一部分問題，仍然要靠監管、立法等方式，控制犯罪位子。

目前，技術對抗有兩種方式，一是在生產端，在AI生成的內容中加入數字水印，用來追蹤內容來源；另一種則在應用端，針對人臉等特異化的生物特征，進行更準確的識別。

數字水印能夠將標識信息嵌入數字載體當中，通過隱藏在載體中添加一些特定的數字代碼或信息，可確認且判斷載體是否被篡改，為數字內容提供一種不可見的保護機制。

OpenAI此前曾表示，考慮在ChatGPT中添加水印，以降低模型被濫用帶來的負面影響；谷歌在今年的開發者大會上表示，將確保公司的每一張AI生成圖片都內嵌水印，該水印無法以肉眼識別，但谷歌搜索引擎等軟件可讀取并以標簽顯示出來，以提示用戶該圖片由AI生成；Shutterstock、Midjourney等AI應用也將支持這種新的標記方法。

目前，除了傳統數字水印的形式，也進化出了基于深度學習的數字水印，采用深度神經網絡來學習和嵌入數字水印，具有較強的抗破壞性和魯棒性。該技術可以在不損失原始圖像質量的前提下，實現高強度、高容錯的數字水印嵌入，同時能夠有效抵御圖像處理攻擊和隱寫分析攻擊，是下一個比較大的技術方向。

而在應用端，目前合成人臉視頻是最為常用的“詐騙手段”。基于DeepFake（深度偽造技術）的內容檢測平臺是現階段的解決方案之一。

今年1月初，英偉達便發布了一款名為FakeCatcher的軟件，號稱可以查出某個視頻是否為深度偽造，準確度高達96%。

據介紹，英特爾的 FakeCatcher 的技術可以識別血液在體內循環時靜脈顏色的變化。然后從面部收集血流信號，并通過算法進行翻譯，以辨別視頻是真實的還是深度偽造的。如果是真人，血液時刻在體內循環，皮膚上的靜脈就會有周期性的深淺變化，深度偽造的人就沒有。

▲圖源Real AI官網

國內也有基于類似技術原理的創業公司“Real AI”，通過辨識偽造內容和真實內容的表征差異性、挖掘不同生成途徑的深度偽造內容一致性特征。

2. AI for 安全：成熟產業鏈中的新機會

與安全 for AI 還是一個相對新興的產業機會不同，“AI for 安全”更多是在原有的安全體系上做的改造和加固。

打響AI for 安全第一槍的仍然是微軟，3月29日，在為Office套件提供AI驅動的Copilot助手后，微軟幾乎立刻就將注意力轉到了安全領域，推出了基于GPT-4的生成式AI解決方案——Microsoft Security Copilot。

Microsoft Security Copilot主打的仍然是一個AI副駕駛的概念，它并不涉及新的安全解決方案，而是將原來的企業安全監測、處理通過AI完全自動化的過程。

▲圖源微軟官網

從微軟的演示上看，Security Copilot可以將原來耗時幾小時，甚至幾十小時的勒索軟件事件處理降至秒級，大大提高企業安全的處理效率。微軟AI安全架構師Chang Kawaguchi Kawaguchi曾提到：“攻擊數量正不斷增加，但防御方的力量卻分散在多種工具和技術當中。

我們認為Security Copilot有望改變其運作方式，提高安全工具和技術的實際成效?！蹦壳埃瑖鴥劝踩酒姘残?、深信服也在跟進這方面的發展。目前這塊業務在國內還處于萌芽階段，兩家企業也還沒有公布具體的產品，但它們能夠及時反應過來，跟上國際巨頭的腳步已經實屬不易。

4月份，谷歌云在RSAC 2023上推出了Security AI Workbench，這是基于谷歌安全大模型Sec-PaLM的可拓展平臺。企業可以通過Security AI Workbench接入各種類型的安全插件來解決特定的安全問題。

▲圖源：Google官網

如果說微軟 Security Copilot是一套封裝的私人安全助手，谷歌的Security AI Workbench就是一套可定制、可拓展的AI安全工具箱?？傊?，一個大的趨勢是，用AI建立一套自動化的安全運營中心，以此來對抗迅猛變化的網絡安全形式將成為一種常態。

在頭部大廠之外，AI大模型在安全領域的應用也正在進入毛細血管。比如，國內許多安全企業開始運用AI改造傳統的安全產品。

比如，深信服提出“AI+云業務”的邏輯，推出AIOps智能維一體化技術，通過采集桌面云的日志，鏈路和指標數據，執行故障預測，異常檢測，關聯推理等算法，為用戶提供智能分析服務。

山石科技將AI能力融合到正負反饋的機器學習能力方面，正反饋訓練異常行為分析方面，基于行為基線的學習可以提前更準確地發現威脅和異常，且減少漏報；在負反饋訓練方面，進行行為訓練，行為聚類，行為歸類與威脅判定。

此外還有像安博通這樣的企業，將AI運用到安全運營的痛點分析等等。在國外，開源安全供應商Armo發布了ChatGPT集成，旨在通過自然語言為Kubernetes集群構建自定義安全控制。云安全供應商Orca Security發布了自己的ChatGPT擴展，能夠處理解決方案生成的安全警報，并為用戶提供分步修復說明以管理數據泄露事件。

當然，作為一個成熟且龐大的產業鏈，AI for 安全的機遇遠遠不止這些，我們在這里也僅僅只是拋磚引玉，安全領域更深、更大的機會仍然需要戰斗在安全一線的公司通過實踐去摸索。

更重要的是，希望以上公司能夠腳踏實地，不忘初心。把自己海闊天空的夢想，付諸于一步又一步的實際行動中，不是造概念，迎風口，更不要一股腦迎合資本與熱錢，留下一地雞毛。