中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

當(dāng)我們把數(shù)據(jù)給AI的同時(shí)，不可避免的存在數(shù)據(jù)泄露等安全問(wèn)題，并且每家公司都有可能面臨巨大的數(shù)據(jù)泄露風(fēng)險(xiǎn)。這篇文章作者將于我們一起討論“AI 安全”和深入剖析 LLM 劇變下的五大安全機(jī)遇，感興趣的童鞋一起來(lái)學(xué)習(xí)吧。

宏觀環(huán)境繼續(xù)冰冷的情況下，一級(jí)市場(chǎng)只有 2 個(gè)賽道繼續(xù)火熱，一個(gè)是 Generative AI，另一個(gè)就是 Cyber Security。云安全公司 Wiz 在我們的研究發(fā)表后不久又完成了一輪百億美元估值的融資?！癆I 安全”是二者的交叉點(diǎn)，但是當(dāng)下討論起來(lái)非常痛苦，LLM 的安全（Safety）、模型及使用它的安全（Security）和 LLM 發(fā)展對(duì)于“傳統(tǒng)”網(wǎng)絡(luò)安全的影響往往被混為一談。因此我們?cè)诒疚南忍岢隽艘粋€(gè)更清晰地區(qū)分這三者的框架。此外，對(duì)網(wǎng)絡(luò)安全（和 LLM）缺乏了解的人可能會(huì)擔(dān)心 LLM 會(huì)直接干掉原來(lái)的安全公司，但是 Microsoft Secure Copilot 背后的安全能力來(lái)源仍然是既有的安全產(chǎn)品，而 OpenAI 最近因 Redis bug 導(dǎo)致的宕機(jī)表明世界上最懂 LLM 的公司仍然需要完整的網(wǎng)絡(luò)安全堆棧來(lái)保護(hù)自己。

在正文的主體部分，我更多地聚焦于了 LLM 為“傳統(tǒng)”網(wǎng)絡(luò)安全公司帶來(lái)的短期機(jī)遇。

舉一個(gè)很直觀的機(jī)遇。大多數(shù)讀者可能都刷到過(guò)這條新聞：三星半導(dǎo)體部門工程師將公司絕密數(shù)據(jù)喂給了 ChatGPT，雖然并不會(huì)被 ChatGPT 直接學(xué)走，但是數(shù)據(jù)不可避免地泄露到了 OpenAI 的服務(wù)器上。這絕對(duì)不是孤例，每家公司都在面臨巨大的數(shù)據(jù)泄露風(fēng)險(xiǎn)，一部分大型企業(yè)選擇了先使用 Netskope 和 Palo Alto Networks 等 SSE/CASB 供應(yīng)商的產(chǎn)品將就著。Office 365 轉(zhuǎn)云帶動(dòng)了 CASB 的興起，ChatGPT 和 LLM 的出現(xiàn)為 CASB 廠商提供了短期紅利，但是它們需要快速創(chuàng)新以適配客戶對(duì) LLM 的精細(xì)需求，不然新時(shí)代的 Netskope 可能出現(xiàn)，或者 OpenAI 自己也可以入局將敏感數(shù)據(jù)泄露問(wèn)題解決掉。

其他的機(jī)遇包括 API 安全、郵件安全、應(yīng)用安全在 LLM 時(shí)代的變化，和 LLM 對(duì)自動(dòng)化的智能 SecOps 的助力。

在這些趨勢(shì)下，我非?？春?Netskope 和 Palo Alto Networks，你可以在正文找到原因。

以下為本文目錄，建議結(jié)合要點(diǎn)進(jìn)行針對(duì)性閱讀。

1. 更清晰地討論“AI 安全”
2. 大部分企業(yè)安全堆棧不會(huì)消失
3. 深入剖析 LLM 劇變下的五大安全機(jī)遇
4. 小結(jié)

01 更清晰地討論“AI 安全”

討論安全在最近幾個(gè)月的 LLM 狂潮下格外令人抓狂 —— Safety 和 Security 在中文里都叫安全，LLM 本身的安全和它對(duì)于傳統(tǒng)網(wǎng)絡(luò)安全的影響兩者之間的邊界也非常模糊，這為 AI 安全的討論帶來(lái)了背景上相當(dāng)?shù)牟灰恢滦浴?/p>

我們?cè)谶@篇文章中試圖提出一個(gè)更清晰和非常簡(jiǎn)單的框架，從而幫助我們?nèi)粘８玫赜懻摗癆I 安全”：

在這個(gè)框架里，我們劃分出了 3 個(gè)概念：

(1) AI Safety

這是一個(gè)古老的名詞，更聚焦于 AI 系統(tǒng)的內(nèi)部，具體內(nèi)容包括模型與人類意圖的對(duì)齊、可解釋性和魯棒性等。在大模型和逼近 AGI 的時(shí)代，這個(gè)安全概念和 Alignment、RLHF 等具體的概念耦合地更深，強(qiáng)調(diào)讓 AI 為人所用，盡可能地消除 AI 對(duì)人類造成傷害的可能性。在上周發(fā)布的 Our approach to AI safety 中，OpenAI 再次強(qiáng)調(diào)了它引領(lǐng)的這個(gè)定義 —— 在 GPT-4 完成訓(xùn)練后，OpenAI 花費(fèi)了 6 個(gè)月的時(shí)間讓模型更安全、更（與人類意圖）對(duì)齊。

我認(rèn)為在 AI Safety 的議題和生態(tài)上占據(jù)主導(dǎo)權(quán)的將是開發(fā)模型的公司們，比如 OpenAI、Anthropic 和 DeepMind 等領(lǐng)導(dǎo)者，而我們之前關(guān)注的 Scale AI 和 Surge AI 等標(biāo)注公司有機(jī)會(huì)從人類反饋的標(biāo)注需求中獲益。除了商業(yè)公司外，AI Safety 也會(huì)是從計(jì)算機(jī)科學(xué)到社會(huì)政策等廣泛的學(xué)術(shù)界關(guān)注的重要問(wèn)題。

(2) Security for AI

AI Safety 關(guān)注 AI 系統(tǒng)的內(nèi)部，而 Security for AI 更關(guān)注如何保護(hù)這些系統(tǒng)免受外部威脅和攻擊，并且符合現(xiàn)實(shí)世界的合規(guī)框架。相較于更廣泛的網(wǎng)絡(luò)安全，Security for AI 則更聚焦于對(duì) AI/ML 模型的保護(hù)，而更少關(guān)注外圍的防火墻和網(wǎng)關(guān)等防護(hù)層。

許多我們熟悉的 AI for Security 公司在 LLM 時(shí)代前已經(jīng)存在，比如進(jìn)行模型監(jiān)控的 Arize、Fiddler、Credo 等，它們傳統(tǒng)上幫助公司確保其機(jī)器學(xué)習(xí)模型滿足數(shù)據(jù)安全要求、保護(hù)用戶隱私并且結(jié)果無(wú)偏見(jiàn)，并提供一定的可解釋性。類似的工具在 LLM 時(shí)代還有 Calypso AI 等。同時(shí)，LLM 帶來(lái)了新的攻擊手段和防護(hù)需求，比如下圖是最通俗易懂的“Prompt 注入攻擊”。

Riley Goodside 在 Twitter 上演示的惡意輸入攻擊示例

（3) AI/LLM 對(duì)于現(xiàn)有的網(wǎng)絡(luò)安全堆棧的影響

從經(jīng)典網(wǎng)絡(luò)安全堆棧的視角看，端點(diǎn)、網(wǎng)絡(luò)和身份安全的需求一直存在，但是其背后的技術(shù)一直在演進(jìn) —— 1990 年代開始出現(xiàn)的 McAfee 們基于硬編碼的簽名數(shù)據(jù)庫(kù)來(lái)殺毒，2010 年代路線出現(xiàn)的 CrowdStrike 們則開始使用云和有監(jiān)督的淺層機(jī)器學(xué)習(xí)。在端點(diǎn)安全之外更富有創(chuàng)新性的安全領(lǐng)域里，我們已經(jīng)看到無(wú)監(jiān)督學(xué)習(xí)的興起和人類反饋的引入。因此網(wǎng)絡(luò)安全一直是跟 AI 的發(fā)展一起演進(jìn)的。

在 LLM 橫空出世后，我認(rèn)為它對(duì)于現(xiàn)有的網(wǎng)絡(luò)安全堆棧的影響主要是三方面：

1. 與 LLM 的交互帶來(lái)了新的安全需求，比如企業(yè)內(nèi)部希望控制員工使用 ChatGPT 時(shí)泄露敏感信息，此外由于 GPT-4 和 PaLM 等領(lǐng)先的模型都以 API 的形式對(duì)外交付能力，對(duì) API 作為新興的 Attack Surface 的保護(hù)需求也將增加；
2. 攻擊者并不攻擊模型，而是利用 LLM 進(jìn)行其他攻擊。LLM 天然適合各類 Social Engineering，可以用來(lái)批量生產(chǎn)釣魚郵件，還能偽造證書、憑據(jù)、身份等。生成惡意代碼也是一個(gè)重要的攻擊手段。這在現(xiàn)在網(wǎng)絡(luò)安全供應(yīng)商的防護(hù)范圍內(nèi)，但是它們?nèi)孕枰欢ǔ潭鹊膭?chuàng)新；
3. LLM 可能會(huì)為安全的某些環(huán)節(jié)帶來(lái)顛覆式的改變。天然的兩個(gè)場(chǎng)景分別是代碼生成階段以及 SecOps 環(huán)節(jié)。我們將在本文的 03 中詳述。

02 大部分企業(yè)安全堆棧不會(huì)消失

大家有理由對(duì) LLM 在安全領(lǐng)域發(fā)揮的作用感到興奮。我非常喜歡的安全工程師 Frank Wang 為各類安全公司提出過(guò)一個(gè)高度概括性的總結(jié)：

絕大多數(shù)的安全用例本質(zhì)上可以歸納成兩點(diǎn)：

1. Access Management；
2. Visibility。

每家安全公司本質(zhì)上都在收集系統(tǒng)或設(shè)備中收集各類數(shù)據(jù)，其中一些特定的數(shù)據(jù)可以通過(guò)提供額外的上下文，來(lái)顯著提高檢測(cè)可疑和惡意活動(dòng)的能力。這些數(shù)據(jù)是平臺(tái)級(jí)安全公司的核心，并且使它們能更容易地構(gòu)建垂直的應(yīng)用作為產(chǎn)品交付給客戶。

在 The Age of AI：拾象大模型及 OpenAI 投資思考中，我們分享過(guò)可被采集的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)規(guī)模都將迎來(lái)變化，此外由于計(jì)算機(jī)的理解能力上升，拼接上下文的想象空間也將被打開，而傳統(tǒng)的垂直安全應(yīng)用的交互形式也非?？赡軙?huì)發(fā)生變化。這都為 LLM 發(fā)揮作用提供了想象空間，一種具象的形態(tài)可能是 Palo Alto Networks 的 Cortex XIASM 產(chǎn)品，我將在 03 中多聊聊。

在這些想象空間之外，一個(gè)事實(shí)是 —— 大部分安全堆棧在大模型時(shí)代不會(huì)消失。這里的邏輯非常簡(jiǎn)單，安全能力的很多關(guān)鍵部分與語(yǔ)言模型關(guān)系不大，同時(shí)一旦采取行動(dòng)的出錯(cuò)后果會(huì)比較嚴(yán)重，因此中短期內(nèi) LLM 在其天然契合的場(chǎng)景發(fā)揮 Copilot 的副駕駛作用會(huì)是比較理想的形態(tài)。

印證這一點(diǎn)的產(chǎn)品是 Microsoft Security Copilot，上個(gè)月在 Microsoft Secure 大會(huì)上新鮮出爐。

要知道，微軟是安全和 LLM 交叉點(diǎn)上最具有競(jìng)爭(zhēng)力的公司，它的安全收入在上個(gè)季度突破 200 億美元，并且安全是集團(tuán)戰(zhàn)略的重要支柱。22 年的 Microsoft Ignite 大會(huì)的 Keynote 演講也給了安全很大比重，幾乎有一半時(shí)間在討論安全產(chǎn)品。同時(shí)微軟還重新梳理了安全產(chǎn)品線，全部以 Microsoft 打頭，打破過(guò)去安全能力和產(chǎn)品分散在 Windows、Office、Azure 各個(gè)部門的情況。

而 Security Copilot 這一封答卷完全沒(méi)有摧毀其已有的安全產(chǎn)品的價(jià)值，只是讓 Copilot 作為可以使用自然語(yǔ)言交互的對(duì)象來(lái)幫助客戶更好地進(jìn)行 SecOps（比如可疑行動(dòng)的調(diào)查），背后的安全能力仍然有 Defender 和 Sentinel 等產(chǎn)品提供。

類似的例子還有 OpenAI。這是全世界最懂 LLM 的公司，但是毫不令人意外，它仍然需要傳統(tǒng)的企業(yè)安全堆棧來(lái)保護(hù)自己，比如使用 Cloudflare、Auth0 來(lái)管理流量和用戶身份。我相信任何人都很難想象 LLM 如何替換 Cloudflare 的全球路由網(wǎng)絡(luò)。ChatGPT 上個(gè)月還經(jīng)歷了宕機(jī)，核心原因是 Redis 庫(kù)里的新 Bug，更好地處理這種問(wèn)題仍然需要 Datadog 和 Sumo Logic 這樣的 APM 和可觀測(cè)性供應(yīng)商。

03 深入剖析 LLM 劇變下的五大安全機(jī)遇

下面我會(huì)詳細(xì)聊聊 LLM 為現(xiàn)有的網(wǎng)絡(luò)安全堆棧帶來(lái)的機(jī)遇，請(qǐng)注意這里列舉的五大機(jī)遇并不是為了窮舉當(dāng)前的變化，而是旨在列舉出最前沿的一些景觀讓讀者對(duì)這些變化有些體感。

LLM 時(shí)代的數(shù)據(jù)防泄漏

安全環(huán)節(jié)：SSE；

機(jī)遇類型：滲透率提升、產(chǎn)品增購(gòu)；

機(jī)遇的可能捕獲者：

• SSE 玩家：Netskope、Palo Alto Networks、Zscaler、微軟、Cloudflare 等；
• 大模型玩家：OpenAI 等；
• 新興創(chuàng)業(yè)公司。

ChatGPT 中的數(shù)據(jù)防泄漏（DLP）是企業(yè)客戶目前絕對(duì)的頭號(hào)安全需求。

根據(jù) CYBERHAVEN 在 3 月 21 日發(fā)布的調(diào)查，8.2% 的員工在工作場(chǎng)合使用過(guò) ChatGPT，6.5% 的員工曾經(jīng)將公司數(shù)據(jù)粘貼進(jìn)去過(guò)，3.1% 的員工曾經(jīng)將公司敏感數(shù)據(jù)喂給過(guò) ChatGPT，敏感數(shù)據(jù)占員工粘貼總數(shù)據(jù)的 11%。Traceable 的 VP Jisheng 在近期的一個(gè)分享中也表示，其服務(wù)的銀行大客戶都有迫切的 ChatGPT DLP 需求。

類似的劇本在 Office 365 轉(zhuǎn)云時(shí)代曾經(jīng)上演過(guò)，這引發(fā)了 CASB 的興起，目前微軟的 CASB 部門貢獻(xiàn)超 20 億美元的收入，接近微軟在云安全方面一半的營(yíng)收，獨(dú)立的供應(yīng)商如 Netskope 也已經(jīng)擁有超過(guò) 2.7 億美元的 ARR。這些 CASB 的 Out-of-Band 產(chǎn)品通過(guò) API 監(jiān)控用戶在 SaaS 內(nèi)的活動(dòng)，其 inline 產(chǎn)品則先將用戶流量轉(zhuǎn)發(fā)至供應(yīng)商的 PoP 檢查后再發(fā)送給 SaaS，這種 inline 的處理方法對(duì)于目前 LLM 的 DLP 具有相當(dāng)大的可遷移性，因此我認(rèn)為頂級(jí)的 CASB 玩家有機(jī)會(huì)從中受益。

對(duì)于不熟悉 DLP 領(lǐng)域的讀者來(lái)說(shuō)，最傳統(tǒng)和初級(jí)的 DLP 解決方案通常只用來(lái)保護(hù) PII 數(shù)據(jù)，比如 SSN 或者信用卡號(hào)，它們相當(dāng)?shù)亍翱勺R(shí)別”，只要阻止員工對(duì)外粘貼任何對(duì)應(yīng)位數(shù)的數(shù)字即可。但是用戶丟給 ChatGPT 的是五花八門的文字，并且是否敏感強(qiáng)烈取決于客戶公司的業(yè)務(wù)背景，因此這些初級(jí)的 DLP 對(duì)于 ChatGPT 來(lái)說(shuō)幾乎是完全失效的。

在這個(gè)背景下，對(duì) ChatGPT 最簡(jiǎn)單的 DLP 應(yīng)對(duì)是封建其 URL，這完全封死了員工的靈活性。像 Netskope 這樣的廠商可以提供更精細(xì)化的管控。比如對(duì)用戶發(fā)出警告，只有在他們?cè)俅未_認(rèn)后才將問(wèn)題提交給 ChatGPT：

客戶還可以使用 Netskope 創(chuàng)建更高級(jí)的規(guī)則，比如攔截特定的字符串或關(guān)鍵詞：

Netskope 目前為 ChatGPT 提供的 DLP 能力已經(jīng)屬于 60 分左右可用的水平，所以我們了解到目前客戶對(duì) Netskope 和 Palo Alto Networks 在 LLM DLP 方面的咨詢激增。但是隨著越來(lái)越多基于 LLM 的 Web 應(yīng)用出現(xiàn)，單一為 ChatGPT 這個(gè)應(yīng)用構(gòu)建的能力可能很快會(huì)失效，因此有更多的用戶在呼吁 SSE 廠商將 AI 應(yīng)用作為一類單獨(dú)的類別管控。類似的需求會(huì)非常多，因此接下來(lái)一段時(shí)間將是觀察各大 SSE/CASB 廠商產(chǎn)品能力的重要時(shí)期，能更快地為 LLM DLP 構(gòu)建出 80-90 分水平產(chǎn)品的公司有機(jī)會(huì)搶走更多的訂單和擴(kuò)大增購(gòu)。

需要留意的是 OpenAI 本身有機(jī)會(huì)成為這個(gè)領(lǐng)域的攪局者，鑒于各個(gè)國(guó)家和地區(qū)的政府（比如動(dòng)作最大的意大利）和公司（從 Amazon 到 JP Morgan）都因?yàn)槊舾袛?shù)據(jù)問(wèn)題而限制對(duì) ChatGPT 的使用，OpenAI 可能需要通過(guò)自行構(gòu)建或是與合作伙伴共建的形式為自己的應(yīng)用構(gòu)建更原生的 DLP 策略。

自動(dòng)化 SecOps 加速

安全環(huán)節(jié)：SecOps；

機(jī)遇類型：新產(chǎn)品形態(tài)、已有創(chuàng)新產(chǎn)品滲透率提升；

機(jī)遇的可能捕獲者：微軟、Palo Alto Networks 等。

這是一個(gè)可能會(huì)令 SOC 內(nèi)一些分析師下崗的機(jī)遇，但的確 SecOps 的效率提升和整個(gè) SOC 的成本縮減是大型企業(yè)在當(dāng)前經(jīng)濟(jì)形勢(shì)下非常重要的經(jīng)營(yíng)目標(biāo)。這讓 Palo Alto Networks 在去年底開始給大客戶做 Beta 測(cè)試的 Cortex XSIAM 產(chǎn)品獲得了極好的市場(chǎng)反饋，過(guò)去幾個(gè)月時(shí)間已經(jīng)超過(guò)了 1 億美元 ARR，并且每個(gè)訂單價(jià)值都在 100 萬(wàn)美元以上。

Palo Alto 的 CEO Nikesh Arora 對(duì)這個(gè)產(chǎn)品的來(lái)龍去脈講得非常清楚，讀者可以看他的原話：

安全方面，大多數(shù)企業(yè)傳統(tǒng)上的 AI 是 garbage in, garbage out。企業(yè)大多數(shù)時(shí)候擁有 30-40 家安全供應(yīng)商，從不同的供應(yīng)商那里收集數(shù)據(jù)然后嘗試將其交叉關(guān)聯(lián)，這類似讓 40 個(gè)說(shuō)不通語(yǔ)言的人交流。你需要一個(gè)單一的事實(shí)來(lái)源。因此 Palo Alto Networks 內(nèi)部先做了實(shí)驗(yàn)，之前我們從 200 家供應(yīng)商那里收到 6.7 萬(wàn)條警報(bào)，現(xiàn)在我們用自己的一個(gè)端點(diǎn)替換了這一切。我們對(duì)數(shù)據(jù)進(jìn)行交叉關(guān)聯(lián)，并通過(guò)使用 AI 將平均響應(yīng)時(shí)間從 27 天縮短到不到 1 分鐘。這就是我們 4 個(gè)月前投入市場(chǎng)的產(chǎn)品，名為 XSIAM。

我認(rèn)為這個(gè)概念將成為未來(lái) 5 年安全領(lǐng)域的顛覆性事件——讓 AI 交叉關(guān)聯(lián)數(shù)據(jù)，使其保持一致，在客戶公司運(yùn)行標(biāo)準(zhǔn)化的數(shù)據(jù)湖，并能夠阻止威脅的發(fā)生。當(dāng)勒索軟件攻擊發(fā)生，從入侵者攻擊公司的時(shí)間點(diǎn)到他們提取 PB 級(jí)數(shù)據(jù)的整個(gè)時(shí)間為 14 小時(shí)，但今天大多數(shù)公司的平均響應(yīng)時(shí)間為幾天。所以對(duì)我來(lái)說(shuō)，這是一件大事。這是需要發(fā)生的事情。希望我們成為市場(chǎng)上能夠?qū)崿F(xiàn)這一目標(biāo)的參與者之一。

XSIAM 產(chǎn)品界面

（綠色的數(shù)字和餅圖代表被自動(dòng)化的事件）

Cortex XSIAM 在 ChatGPT 的 hype 之前并沒(méi)有和 OpenAI 的直接集成，但是很顯然它是一個(gè)非常易于疊加 LLM 的場(chǎng)景。

一個(gè)非常理想的 SecOps 自動(dòng)化產(chǎn)品可能將是 Cortex XSIAM 和 Microsoft Secure Copilot 的結(jié)合，有強(qiáng)勁的安全能力、自動(dòng)化處理能力和簡(jiǎn)單易用的自然語(yǔ)言交互界面。Palo Alto Networks 能夠推出這一產(chǎn)品的重點(diǎn)在于它完整的安全堆棧 Portfolio，并且同時(shí)占住了防火墻和端點(diǎn)，通常擁有客戶超 85% 以上的安全數(shù)據(jù)。擁有類似完整產(chǎn)品線的對(duì)手似乎只有微軟。

API 仍是新興 Attack Surface

安全環(huán)節(jié)：API 安全；

機(jī)遇類型：滲透率提升；

機(jī)遇的可能捕獲者：Cequence、Traceable、Noname Security、Salt Security 等。

除了云安全之外，API 安全是過(guò)去 3 年 VC 在安全領(lǐng)域押注的重點(diǎn)，最核心的 thesis 只有一項(xiàng) —— 尋找下一個(gè)大的 Attack Surface，它曾經(jīng)是端點(diǎn)，隨著端點(diǎn)增多演變出了網(wǎng)絡(luò)和身份，而隨著 API 成為軟件之間交流的核心紐帶，它越來(lái)越有機(jī)會(huì)成為下一個(gè)誕生重要公司的 Attack Surface。

這是個(gè)非常新和快速崛起的領(lǐng)域，根據(jù) US Bancorp 開放銀行部門負(fù)責(zé)安全的 VP 回憶，18 年左右的 API 安全供應(yīng)商還幾乎是一片空白，OWSAP API top 10 到 2019 年才被單獨(dú)提出。而根據(jù) Future Market Insights 的調(diào)查，API 安全市場(chǎng)在 22 年價(jià)值大約 10 億美元，預(yù)計(jì)在未來(lái) 10 年能夠維持 25% 左右的復(fù)合增長(zhǎng)率。

LLM 當(dāng)前的情況再次驗(yàn)證了這個(gè) thesis，并為 API 安全增添了一些 upside，因?yàn)閺?OpenAI 到 Anthropic、Cohere 乃至 Google 的 PaLM，最強(qiáng)大的 LLM 都以 API 的方式交付能力。

OpenAI 的 Mira 在 Greylock 的活動(dòng)采訪中已經(jīng)將這種方式視作一個(gè)安全上的默認(rèn)最佳實(shí)踐，用于持續(xù)和可控地對(duì)外部署 LLM，比如 GPT-3 就是先通過(guò) API 部署到一小群用戶，然后逐步擴(kuò)大訪問(wèn)范圍，在過(guò)程中進(jìn)行黑灰產(chǎn)和濫用的治理。

具象來(lái)看，LLM 和 API 安全的結(jié)合有兩方面：

1. 對(duì)于 OpenAI、Anthropic 和 Google 這些模型和 API 的擁有者來(lái)說(shuō)，它們非常需要 API 安全公司提供的 Bot 防御能力。嘗試使用它們 API 的可不光是正常用戶，還有大量惡意編寫的機(jī)器人和被盜的賬戶會(huì)對(duì)它們進(jìn)行大規(guī)模的自動(dòng)攻擊，而 Cequence 等在這個(gè)方向領(lǐng)先的 API 安全供應(yīng)商可以通過(guò) AI/ML 的能力找到偏離基線的惡意行為從而幫助客戶對(duì) Bot 形成一定的治理和防御；
2. 對(duì)于這些 LLM 的 API 使用者來(lái)說(shuō)，Traceable、Noname 和 Salt 等典型的 API 安全供應(yīng)商可以讓企業(yè)管理者對(duì)內(nèi)部的 API 使用情況保持可見(jiàn)性（想象下你是一個(gè)小型獨(dú)角獸的 CEO，然后你希望盤點(diǎn)下多少員工正在使用 OpenAI 的 API key，治理這種 shadow IT 通常非常麻煩），并盡可能避免經(jīng)過(guò)身份驗(yàn)證的、無(wú)法防范的 API 使用威脅。

惡意使用為郵件安全帶來(lái)水花

安全環(huán)節(jié)：郵件安全

機(jī)遇類型：新技術(shù)代際產(chǎn)品

機(jī)遇的可能捕獲者：

• 下一代郵件安全網(wǎng)關(guān)玩家：Cloudflare（Area 1）、Abnormal Security 等；
• SSE 玩家：Netskope、Palo Alto Networks 等；
• 新興創(chuàng)業(yè)公司。

郵件安全是一個(gè) 20 多年來(lái)缺少創(chuàng)新的領(lǐng)域，Proofpoint 幾乎統(tǒng)治著市場(chǎng)。

這種情況在疫情之后有些變化，因?yàn)樵谝咔槠陂g釣魚郵件數(shù)量顯著上升，Proofpoint 的陳舊科技被打的千瘡百孔，那些沒(méi)用上 Proofpoint 和下一代防火墻的公司則迫切地尋找郵件安全供應(yīng)商。這導(dǎo)致了 Area 1 和 Abnormal Security 這些下一代郵件安全領(lǐng)域的公司崛起，它們非常易于部署，并且有更好的爬蟲技術(shù)、AI 能力，在疫情期間捕捉了大量用戶需求。

由于 ChatGPT 和用于文本生成的 LLM 能力過(guò)于強(qiáng)大，我們可以預(yù)見(jiàn)釣魚郵件和各種形式的 Social Engineering 繼續(xù)發(fā)生，這將持續(xù)助推疫情以來(lái)在郵件安全領(lǐng)域發(fā)生的創(chuàng)新。

Abnormal Security 演示

讓 ChatGPT 創(chuàng)建一封勾引收件人點(diǎn)擊鏈接的郵件

盡管這個(gè)方向有一定的門檻，但是其下一代郵件安全的解決方案本質(zhì)仍然是用 API 連接到 Gmail、Outlook 等郵箱上，然后分析異常行為和數(shù)據(jù)，這和 Out-of-Band CASB 的解決方案非常相似，理論上 Netskope 和 Palo Alto Networks 都可以隨時(shí)擴(kuò)大它們?cè)谶@個(gè)領(lǐng)域的影響力。

應(yīng)用程序安全可能變天

安全環(huán)節(jié)：應(yīng)用安全；

機(jī)遇類型：新產(chǎn)品形態(tài)；

機(jī)遇的可能捕獲者：GitHub、SourceGraph、Snyk、GitLab 等。

GitLab 本來(lái)也在 DevSecOps 的大道上走得正好，Snyk 也在這個(gè)藍(lán)海中快速崛起，但是突然間 GitHub Copilot 成了攪局者 —— 如果“代碼生成”和程序員寫代碼的過(guò)程繼續(xù)耦合，擁有 Copilot 和 OpenAI 下一代 Codex 深度綁定的 GitHub 將成為程序員和代碼的中樞性平臺(tái)，可以高打低把安全給兼容掉。

StrongDM 的安全 SVP 代表著一類典型客戶：

StrongDM 目前使用 Snyk 掃描代碼漏洞。GitHub 一直無(wú)法分析 IaC 或者其他第三方依賴，一旦 GitHub 提高它在安全方面的布局，將非常有動(dòng)力從 Snyk 切換到 GItHub。對(duì) GitHub 進(jìn)軍的信心來(lái)源于多個(gè)方面：

1. 這個(gè)世界上大部分的源碼存放在 GitHub，這讓它能了解和接觸到最豐富的漏洞；
2. 微軟內(nèi)部其實(shí)完整具備 Snyk 交付的這種安全能力；
3. Copilot 是很好的信號(hào)，先用 AI 寫代碼，下一步就可以使用 AI 讀取代碼并掃描漏洞，并且可以讓漏洞掃描不再是基于規(guī)則的，而是 LLM 驅(qū)動(dòng)的。

公司目前每個(gè)月給每個(gè)工程師支付 150 美元的 Snyk 費(fèi)用，而 GitHub 每個(gè)工程師每年也只有 250 美元。從成本和減少供應(yīng)商的角度，有非常強(qiáng)的遷移動(dòng)力。

波太金在他這篇《AI 如何顛覆軟件：你能為 AI 打工嗎？》中講了對(duì) GitHub 最 Bullish 的判斷：

代碼庫(kù)產(chǎn)品在過(guò)去主要承擔(dān)的是分類與存儲(chǔ)的功能，代碼及安全能力，以及與 CI/CD 其他產(chǎn)品的集成，在未來(lái)這些很可能都不是最重要的。在 AI 的影響下：

• 代碼庫(kù)將很快變成“寫代碼的工具”，而 GitHub Copilot 作為在 AI 浪潮至今，最讓人興奮的應(yīng)用級(jí)產(chǎn)品，將繼續(xù)保持對(duì)行業(yè)內(nèi)其他代碼庫(kù)公司的領(lǐng)先優(yōu)勢(shì)；
• 成為“寫代碼工具”的代碼庫(kù)將成為整個(gè) Dev 流程的核心中的核心，在未來(lái)渠道項(xiàng)目管理工具的核心地位，AI 未來(lái)將有開發(fā)流程的“派單權(quán)”。

現(xiàn)實(shí)點(diǎn)看，GitHub 切入安全環(huán)節(jié)已經(jīng)有一定的可能性了。微軟的架構(gòu)師 Jorge 展示了 Azure OpenAI Service 和 davinci-003 模型進(jìn)行代碼漏洞掃描的能力：davinci-003 能夠發(fā)現(xiàn) SQL 注入。

davinci-003 能夠識(shí)別出 CSRF。

davinci-003 能發(fā)現(xiàn)身份驗(yàn)證和會(huì)話管理失效。

不過(guò)，在我們見(jiàn)到 Codex 2.0 之前，GitHub 對(duì) GitLab 和 Synk 這些玩家目前還不是絕對(duì)碾壓級(jí)的優(yōu)勢(shì)。通過(guò) OpenAI 和 LangChain，客戶可以自行在 GitLab 的 CI pipeline 中創(chuàng)建自動(dòng)化的代碼檢測(cè)和修復(fù)能力，做到接近 Copilot 的體驗(yàn)，而 Snyk 也有一定的 AI 布局，在 20 年收購(gòu)了 DeepCode，在上個(gè)月還參投了使用 AI 來(lái)自動(dòng)化代碼測(cè)試的 CodiumAI。隨著 Copilot 的能力邊界繼續(xù)擴(kuò)張，Snyk 和 GitLab 如何演進(jìn)其產(chǎn)品是個(gè)非常值得觀察的課題。

04 小結(jié)

站在全球成長(zhǎng)期投資者的角度，我們花費(fèi)許多時(shí)間思考的問(wèn)題是：現(xiàn)在已經(jīng)進(jìn)入成長(zhǎng)期的公司是否會(huì)被更 LLM Native 且更靈活的早期公司顛覆？這個(gè)問(wèn)題的答案最終收斂到一個(gè)關(guān)鍵判斷和五個(gè)關(guān)鍵維度上。一個(gè)核心關(guān)鍵判斷在于 —— OpenAI 一家獨(dú)大的局面是否會(huì)持續(xù)維持，如果 LLM 今天這樣的格局維持下去，OpenAI 將有很強(qiáng)的動(dòng)力進(jìn)入許多自然的垂直場(chǎng)景，比如使用 ChatGPT 時(shí)的 DLP、Codex 和 GPT 能夠提供的代碼安全掃描能力等。安全公司對(duì)于 OpenAI 的市占率沒(méi)有干預(yù)的可能，所以更重要的是下面五個(gè)關(guān)鍵維度：

1. 在客戶預(yù)算和安全堆棧中，重要程度越高越安全。在應(yīng)用程序安全的 StrongDM 的案例中，我們可以看出 GitHub 和 Snyk 對(duì)于客戶的重要程度顯然不同。擁有更穩(wěn)固地位的安全公司通常是 SSE、EDR 和 CSPM 公司，LLM Native 的應(yīng)用很難找到足夠的價(jià)值主張來(lái)入侵這些領(lǐng)域；
2. 產(chǎn)品線越豐富越安全。微軟和 Palo Alto Networks 屬于此類，豐富的產(chǎn)品線意味著深厚的客戶關(guān)系，不光不容易被顛覆，還更有可能在 SecOps 和 SOC 自動(dòng)化的趨勢(shì)中受益；
3. 沒(méi)有技術(shù)債務(wù)并且能夠快速創(chuàng)新的公司越安全。Netskope 是這個(gè)維度的最好案例，它在 CASB 和 SSE 的競(jìng)爭(zhēng)中突圍主要就得益于持續(xù)的創(chuàng)新力以及盡可能少的技術(shù)債務(wù)，這對(duì)于 LLM 時(shí)代同樣重要；
4. 擁有“硬積累”的安全公司比只有“軟積累”的安全公司更安全。這一點(diǎn)非?！绊槼ＷR(shí)”，Cloudflare、Netskope 這樣的公司在全球建設(shè)了足夠多的 PoP 才能提供足夠低延時(shí)和高性能發(fā)服務(wù)，僅僅 LLM Native 并不能改變這種物理基礎(chǔ)設(shè)施建設(shè)層面的差距；
5. 擁有更豐富的無(wú)監(jiān)督學(xué)習(xí)使用經(jīng)驗(yàn)的公司更安全。一部分缺少 DD 和安全領(lǐng)域 Know-How 的投資者可能會(huì)判斷 CrowdStrike 等同樣有 AI 標(biāo)簽公司是 LLM 浪潮的受益者，但事實(shí)是它們往往使用了有監(jiān)督的、淺層的深度學(xué)習(xí)，和現(xiàn)在的無(wú)監(jiān)督的、深度學(xué)習(xí)不是同一個(gè)方向。考察一家安全公司使用機(jī)器學(xué)習(xí)和使用無(wú)監(jiān)督學(xué)習(xí)的具體年份應(yīng)該成為 DD 時(shí)的重要問(wèn)題。

Reference

• https://www.youtube.com/watch?v=wqXsCMc5lzQ
• https://www.cyberhaven.com/blog/4-2-of-workers-have-pasted-company-data-into-chatgpt/
• https://community.netskope.com/t5/Next-Gen-Secure-Web-Gateway-SWG/Netskope-Next-Gen-Secure-Web-Gateway-Controls-for-ChatGPT/td-p/3646
• https://www.cequence.ai/products/api-spartan/
• https://abnormalsecurity.com/blog/double-edged-sword-of-chatgpt
• https://www.crowdstrike.com/cybersecurity-101/machine-learning-cybersecurity/
• https://nocamels.com/2023/03/generative-ai-startup-helps-developers-test-code-logic/