雙10億:AI重塑搜索 | 一文看懂AI搜索現狀和未來
這篇文章,作者和360VP梁志輝一起聊了聊AI,保留了大量作者和360VP有關AI搜索的探討,目的是為了提供最深度的實踐認知給到各位!
兩個10億意味著AI要重塑搜索:
1.Perplexity截止4月,上線15個月訪問超過10億;
2.Google宣布年底要讓AI Overviews覆蓋10億用戶!
Google這個全球搜索巨頭對于AI融合的堅決推進,證明了AI搜索是一個極強的非共識了,本文會沿著這個趨勢去說幾個“暴論”,這幾個“暴論”是逐層遞進的,構成了本文的主線。
感謝360VP梁志輝毫無保留的分享,本文結合360AI搜索從傳統搜索到AI搜索的嘗試、總結和思考中獲得了很多啟發。
01 用戶搜索的目的從來都不是搜索本身
一個反常識的觀點是:用戶使用包括搜索在內的工具,僅僅是為了滿足自己的需求。
當搜索發生了變化,用戶的行為也隨之發生改變,這一點我們可以通過360AI搜索來觀察一下。為什么是他們呢?因為360之前就一直做搜索,現在又在全力做AI搜索!只有他們有最好的實踐,又同時愿意開源出自己的思考!
2019年,360搜索里,42%的用戶是尋址,21%在找各種資源,37%在提問題。
2024年,360AI搜索里,這個比例發生了很大的變化。尋址跌到了12%,找資源跌到了16%,剩下的72%在提問題!
其中整個大盤里12%的請求是寫“幫我寫一個xx文章”。
用戶的行為發生了極大的變化,這里有三個Case可以拿來展開寫:
第一. 因為AI搜索會直給答案,出現了一個按鈕:復制
這是AI搜索便利性極大提升的細微呈現!對于小學生來說,要在鍵盤上完成Ctrl+C、Ctrl+V,其實相對難理解,操作也不容易,一鍵復制按鈕的出現,就非常方便使用了,并且只有在AI搜索類,這個按鈕是常駐的:
第二. 在教學上,可以用小學生能聽得懂的例子去解釋復雜的科學概念
比如什么是量子糾纏:
第三,對于內容可以非常方便的進行改寫
(上圖中文字底部有一個“對上文進行改寫”的按鈕):
特別是這個寫的需求,是360自己過去的沒有想到的。
在大盤里面,你會發現有幾類人群是非常有意思的,他們會重度的使用AI搜索:學生(作業、報告)老師(教研)學術研究者(論文)職場人(匯報、研究)公務員(公文寫作)
特別是年輕的小學,中學用戶,他們有很強的求知欲,他們對什么問題都希望問一遍。對于這樣的用戶,AI搜索能給到的體驗是十倍于過去傳統搜索的。
也是受到這一點的啟發,老周準備做一個智能硬件,說讓小朋友贏在起跑線,AI兒童手表。這個硬件的背后,也是會調用AI搜索的能力。
也就是說,用戶搜索的目的并不是搜索本身,而是“雇傭”產品滿足自己的需求,一旦搜索的外延擴大,用戶的需求隨之變化。
02 AI搜索生成高質量的答案并不簡單
網上有很多開源的、套殼的AI搜索項目,一般人會認為只要去調用搜索的API,然后再用LLM基于Prompt做整理就行了,其實不然,這里面存在大量的工作,我們說幾個360在實踐的有意思的要點:
第一. 一次AI搜索,調用1次大模型?
錯!答案是會調用9次大模型,并且不同任務里會有不同大模型參與。
比如:用戶輸入Query并點擊搜索后,360會先調用一個2B-7B之間響應非常快的意圖識別模型,快速理解Query,并做關鍵詞識別、參數抽取、意圖識別、搜索詞改寫等工作。
比如:接下來會進行5次搜索,搜索完后對內容進行ReRank重排序,這里面排序、選擇哪些內容作為主答案,也需要LLM參與。
比如,基于生成的答案,要生成各種追問、延伸閱讀、相關事件、思維導圖,這里面360思維導圖的效果之所以好,就是360專門去訓練了一個模型,才能夠把結構化的信息比較準確和有結構的描述出來。
比如“帶40個集裝箱出海,日本為何對鯨魚再次下黑手?”里360AI搜索生成的腦圖,非常結構化和邏輯清晰。
360AI搜索模型的主力是14B的小尺寸大模型,16K的上下文窗口,再疊加其他模型的配合(比如對于寫作等高級任務會調用72B的大模型),才能完成一次AI搜索。
第二. 如何做好研究功能?
秘塔AI搜索有一個研究模式,能夠生成非常長的答案:
當我們仔細閱讀時,就會發現效果其實很差,我們拿一個case來舉例:
“說說AI搜索和傳統搜索的差異”
對應的搜索鏈接我放在文末的參考里面,大家可以自己感受。
很多內容其實和Query都關系不大,那為何會出現這樣的情況呢?
因為小參數量模型*上下文窗口很短,所以只能討巧:迭代調用,分批生成
什么意思呢?就是第一步先生成一個大綱,然后再基于大綱去做逐步的擴寫,整體拼湊下來就能夠得到很長的文章。
但是這里就會出現一些可能的內容重復,包括生產的質量很多時候不一定會太高等問題。360并沒有跟風去做同樣的功能,而在找更高質量的解法:
用中文搜一次、再用英文搜一次
比如研究型內容,比如AI信息,很多領域確實是英文環境下有更高質量的內容,用英文搜一次,把高質量內容翻譯成中文再整合到答案內,確實可以大幅提高答案質量。
這個策略聽起來很有意思:
巧婦難為無米之炊,信息源質量的高低,直接決定了最后答案質量的好壞。
第三. 做好搜索需要多少個Prompt?
這是一個很有意思的問題,360在這個問題上經歷過一些變化。
最開始的時候他們是用一個Prompt打天下,希望有一個萬能的Prompt能夠解決世界上的所有問題,結果發現這個事情不可行。
我和之前很火的閱讀摘要類產品創始人請教過,對于總結,他們確實可以用一個很短的Prompt(迭代了非常多的版本)獲得很好的總結結果,但是AI搜索用戶的意圖有很多,并不單純是內容總結。對于模型來說,對不同的搜索意圖,想要生成好的結果,是需要傳遞給大模型不同的價值取向的。
今天,360AI搜索已經把query的意圖識別分類做到了4000多種,每一種需求配對應的Prompt。工作做得已經相當精細了,但梁志輝告訴我,這仍然只是很粗顆粒度的匹配。
為何需要這么多Prompt呢?背后的原理,還是大模型的訓練是集合了網上所有的信息,所以你需要告訴他,在解決不同問題的時候得用不同的思路,包括所謂的few shot、CoT等等,簡單來說就是你要引導大模型,才能更好的完成不同的特定任務。
在很多的模型即應用型產品(幾乎每個大模型公司都會出的助手類產品)里,對于這個問題的解法,是給海量的機器人,比如:
(上圖從左到右是智譜清言、豆包、通義)
對于用戶的選擇來說是帶來很大困擾的,不光是太多了,用戶也完全不知道哪個Bot(背后對應著不同的Prompt)解決自己的問題更好。
簡單留給用戶,復雜留給自己:
360 AI搜索只給用戶一個統一的輸入框或者語音按鈕,背后用多角色、多模型和多API組合來滿足用戶需求。
從這幾點,我們能看出,AI搜索想要獲得高質量的答案,其實并不簡單。我們并沒有囊括市面上所有的技術原理,盡管這樣也已經可見一斑了!
AI搜索除了可以生成答案,AI搜索還可以干別的么?答案是顯然的:
03 AI搜索不僅僅是提供答案,更是一個全方位的用戶需求滿足工具
第一. AI搜索可以處理復雜問題,大大增強用戶需求的滿足
假設你在搜索“找到波士頓最受歡迎的瑜伽或普拉提工作室,并顯示其入門優惠和從Beacon Hill步行的時間”。
多步推理的AI會:
- 識別出你要找的是瑜伽或普拉提工作室。
- 找到波士頓地區的相關工作室。
- 篩選出那些在當地受歡迎的工作室。
- 檢查這些工作室是否提供新會員的入門優惠。
- 計算每個工作室從Beacon Hill步行的時間。
- 綜合以上信息,給出一個詳細的結果列表。
(注意,這個Case里,Google還整合了各種POI信息)
多步推理是指AI系統能夠處理復雜問題時,進行多個邏輯步驟的推理和分析。簡單來說,它不僅能根據輸入的問題給出直接答案,還能通過一系列推理步驟,綜合考慮多個因素和條件,提供更全面和精確的回答。
有了多步推理能力之后,用戶可以一次性提出復雜問題,AI系統通過多步推理來處理和回答,而不需要用戶進行多次搜索和整合信息。
第二. 可以為用戶進行規劃
比如,搜索“為一群人創建一個簡單準備的三天餐食計劃”:
對于計劃的結果,也可以進行調整:比如將晚餐換成素食菜肴,搜索將定制你的用餐計劃。
這個能力有幾個限制(略)
第三. 使用AI搜索來頭腦風暴
當你尋找新點子時,找到靈感并考慮所有選項可能需要花費很多精力。不久,當你尋找點子時,搜索將使用生成式 AI 來與你一起頭腦風暴,并創建一個由 AI 組織的結果頁面,使探索變得更加容易。
一樣,有限制(略)
第四. Take a video, get help from AI
也許你在舊貨店買了一個唱片機,但打開時它沒有工作,并且帶針的金屬部件意外地漂移。使用視頻搜索可以節省你找到正確詞語來描述這個問題的時間和麻煩,你將獲得一個帶有步驟和資源的 AI 概述來進行故障排除。
這個背后展示了多模態輸入的能力,原來Google Lens的定義就是智能鏡頭,現在有了Gemini的多模態大模型加持后,直接可以讀視頻,很強!
那以上幾點是Google在AI搜索上加持AI后的幾點核心能力展示,我們可以看出,Google對于AI搜索的理解,已經和目前市面上主流的AI搜索不一樣了,它把過去積累的實時搜索,地圖,圖搜,商品等整合到一起,從多個角度,用信息密度極高的信息呈現方式,聚合到用戶面前!
AI搜索的外延依舊可以擴大,從已知維度來看,完全可以進化成全方位的用戶需求滿足工具!
04 AI對搜索的范式改變
相信看了前面的內容,你也會理解AI對于搜索產生了大量的改變,這一章節,我們嘗試去總結,AI搜索到底出現了哪些很明確的范式改變呢?
在一開始,先看下搜索簡史:
第一. 搜索的起源和統治
從Archie鼻祖到Altavista進化,最后是Google爆發(略)
一直到現在,Google大部分時間里占據著搜索市場的龍頭地位:
當然,我們發現微軟的New Bing發布后,Google搜索的市場份額開始出現明顯下降!
那AI搜索到底帶來了哪些顛覆式改變?先別急,我們再快速看一下幾個有意思的AI搜索產品:
第二. 快速看幾個有意思的AI搜索產品
以下(略)
- Perplexity
- 360AI搜索
- 秘塔AI
- 搜索百小應
- Monica.im
- Google智能鏡頭
- 百度搜索整合
- AgentReportify
- Arc Search
- 微軟Copilot+PC
看完以上產品,我們來嘗試做一個總結:
第三. AI對搜索產生的范式變遷
搜索之所以能成為全世界人民的重要工具,很大程度上有這么幾點要素:
- 信息爆炸:海量的信息不再是黃頁能夠尋找的了
- 用戶需求:遇到問題需要尋找答案和解決方案
- 廣告市場:企業尋找用戶,搜索引擎有錢賺,用戶需要產品,三贏
- 技術進步:搜索結果更加精準和個性化,用戶體驗不斷提升
- 移動互聯網:隨時可以搜索
這里面最重要的還是羊毛出在羊身上:用戶有需求,搜索引擎能滿足!
那AI給搜索帶來了哪些范式變遷,使得本文開頭的雙10億出現了呢?
1 用戶行為范式的變化(略)
用戶的行為會隨著搜索能力邊界的拓展而改變!
2 輸入輸出范式的改變(略)
輸入變得更加豐富和自由…
輸出也會更多元…
兩者的邊界同時在擴充…
3 信息與服務整合的范式(略)
輸入輸出范式的改變,也會蔓延到AI提供更深度的信息與服務整合…
4 商業范式的改變(略)
這一塊有很大的想象空間,只要用戶用得多,AI搜索有一萬種更好變現的方法,比如…
還沒完,我們繼續:
05 創業公司干不了AI搜索?
為了更好講清楚,我們從幾個要點展開
第一. 索引庫的成本就已經勸退了?!
我們都知道為了提高AI搜索的答案質量,需要構建高質量的索引庫,這樣實時搜索的網頁結果,加上索引庫才能讓LLM整合出更好的答案。
但是索引庫的成本往往被忽略了。
360算過一筆賬,爬5000萬的網頁,大概需要一兩百萬RMB。并且對于通用搜索引擎,5000萬這看似很多的網頁其實也只是灑灑水,是的,這就是搜索帶來的強大壁壘:
大模型來了以后,我們讓“規則編程的蜘蛛”變成智能化爬蟲。
一方面現在越來越多的知識是以文檔、視頻、音頻、直播等方式存在,通過AI來理解 這些內容,讓搜索引擎對新一代的頭部網站,如bilibili 、douyin的檢索由淺(title、簡介)入深(字幕、語音、畫面)。
另一方面我們通過大模型來指揮爬蟲,可以更有效地將傳統網頁的正文提取和更準確、圖片支持多目標識別等等。
除了抓取以外,我們目前還構建了一個100億級別的多模態RAG索引庫,新的索引庫是專門為大模型而建的AI Native的索引庫。我們把現在最新的RAG的一些技術思路,在這里實現了重構了我們的信息提取的技術方案。更難得的是我們在百億級別的RAG數據庫上實現了200ms的P95提取速度。比很多開源的方案快很多。
梁志輝分享了360在AI搜索上面的一些實踐經驗(P95的意思是95%的查詢能夠在200毫秒內完成信息檢索)
所以我們會發現,Perplexity、秘塔AI搜索等新銳AI搜索,都是從某些垂類聚焦開始:
選擇學術論文里去搜索,效果最好,但到了全網搜索,效果就會弱很多,并且仍然會經常出現幻覺。
這就是因為索引庫的建立是一個花費時間和金錢的,創業公司 又不得不做的事情。先從冷啟動的用戶群體去切,可以降低索引庫成本,也能保證用戶的使用體驗。
第二. 流量的不可持續性
我們知道360AI搜索在AI產品榜上,4月是國內增速榜第一,所以,流量從哪來?怎么看待買量這種行為呢?以及流量要成為流量,有效的方式是什么?
逐一來看這幾個問題:
1 流量從哪來?
- 外部冷啟:周鴻祎的直播里口播介紹產品,有一部分流量。
- 內部資源:在2023年360財報里,顯示公司PC瀏覽器及導航的平均日活躍用戶數(DAU)近2億,平均月活躍用戶數(MAU)4.11億,市場占有率86.85%+,瀏覽器市場持續排名第一。這里面就有大量的資源可以導流給360AI搜索來做冷啟動。
除此之外,還有一個很有效的方式是AI SEO,這是360從海外創業者的操作中獲得的啟發:
過去很多用戶的搜索問題是沒答案的,所以國內誕生了百度知道,知乎,國外有Quora,Stackoverflow等,這種用人力組織的內容成本很高,特別是組織人去覆蓋一個長尾的事情是很困難的。
我記得馬蜂窩為了覆蓋小眾旅游場景就花了很長的時間,很多功夫。
現在有了AI,360每天會用晚上閑時調用GPU去預生成大量的答案,每到晚上,DashBoard上就能看到GPU使用率頂到100%。
這樣,每天生成數百萬個答案網頁,就可以覆蓋自己搜索內的流量:
過去沒有好答案,流量只能導給質量一般的網頁,
現在我生成答案,流量可以導給質量更好的自己。
2 流量的背后是留存!
過去360也做過買量的事,得到了一些思考:
網頁產品很難獲得留存(略)
ChatBot品類很難有高留存(略)
所以,留存的背后是什么?
3 留存的背后是載體
能看到360對于AI搜索留存的核心是要找到一個載體,這個載體就是AI瀏覽器。
所以不管是PC上還是手機上,瀏覽器都是一個好App,它是一個很好的容器,里面可以裝各種網頁內容/服務等等。
我們之前寫過360AI瀏覽器,從那會到現在,它迭代了很多個版本,上線了海量的AI能力,比如我現在經常用它來看YouTube視頻,因為可以免費做摘要總結不說,還能免費快速的完成字幕的翻譯,幫我快速瀏覽和定位視頻:
OK,我們小結一下:
- 對于流量,360是多管齊下,老周的網紅導流、內部的資源傾斜、AI SEO、包括AI瀏覽器相關產品的研發和推廣都是;
- 對于投放,360最為關心的是留存,并得出結論:單純的ChatBot留存是不行的;
- 對于留存,解法是AI瀏覽器,整合更多的AI能力,全量滿足用戶需求。
從上面可以看出,360在AI搜索這個戰場上想的和做的要比競品更清楚一些,并且明顯是更加持久的!短期或許不夠明顯,中長期看后續差異會逐漸凸顯。
第三. 技不如人
360對于成本和用戶需求,有一個挺巧妙的探索:本地大模型!
昆侖萬維的方漢在一次直播上透露,Google搜索單次的成本在0.2美分,大約是0.15元,目前看AI搜索的成本要比它高出一個數量級,怎么降低AI搜索的成本很重要!
360在探索本地大模型的邏輯:
在360AI瀏覽器內,用戶可以點擊開啟本地大模型,之后會先做硬件檢測,在硬件能力足夠的情況下會去下載一個幾GB的7B或14B的大模型,今后你就可以直接在本地做大模型的運算了。
這個看起來是能節約360云端運算的成本,那用戶什么情況下會打開本地大模型開關呢?
首先,有一些不太適合放到互聯網去分析的,包括錄音、商業文檔等內容,可以實現斷網下的AI處理。
其次,B端客戶也可以很低成本的在本地用服務器完成私有化的一些工作。
這種既降低了云端AI算力成本,也滿足了用戶需求的能力,非常的巧妙。
這是大廠在技術上面的快速突破帶來的新機遇,除此之外,答案整合很明顯只是AI搜索的一小部分。
Google現在做的:
多步推理/規劃/AI生成頁面/視頻搜索,背后吃的是很強的大模型能力,海量的實時索引庫以及大量的自有服務(地圖/Youtube/Gmail/Chrome/Google Lens等)(略)
當然,從輿論來說,Google現在也比較難,在海量用戶面前,極小比例的錯誤也會被極致放大,這也是需要警惕的。
第四. 搜索即服務
用戶的輸入是起點,搜索會成為一個巨大的入口,過去只是做分發,有了AI加持之后,很可能巨頭們會做得更加深入。
比如,交易撮合,把持了流量的搜索可以自由的在合作商內…(略)
小結
上次founder park直播,方漢和傅盛對“創業公司能做AI搜索么?”這個觀點都表達了反對:
靖宇:AI 搜索是創業者的好機會嗎?
傅盛:AI 搜索,我們叫大搜索創業,肯定不適合大部分創業者。競爭對手都是巨頭,壓力很大。其實 AI 出現對搜索大廠本身是增強的。
方漢:首先我認為 AI 搜索不是創業者一個好的方向。很簡單,AI 搜索,如果你要想做到成本最低,你一定要自建搜索引擎索引庫,這個成本是非常高的,我不覺得一個小創業者能解決這個問題。
研究了一番后,我的感覺也是,有機會,但不是大機會:做垂直搜索方向,后續深度整合進入用戶的工作流有機會;做海外市場,直接上付費,有流量獲取機制可以賺錢;
總結
本文從用戶搜索的目的開始,講了用戶、技術、趨勢,總結了AI對搜索的范式改變,最后以創業者如何避開巨頭不會放棄的賽道結束。
AI+搜索可能是最快被明確的賽道,也是一個大家都在關注的方向,這篇文章原本有1.5萬字左右,為了便于讀者的閱讀,保留核心精簡到一半,期間保留了大量作者和360VP有關AI搜索的探討,目的是為了提供最深度的實踐認知給到各位!
再次感謝360VP梁志輝的時間,也再次隆重推薦這一期播客,干貨滿滿,對于核心問題360也從不回避,敞開了聊,給這種開放的心態點贊!
參考
https://metaso.cn/s/gNcji7Z
秘塔AI搜索,“說說AI搜索和傳統搜索的差異”的研究模式結果
張鵬、傅盛&方漢:連谷歌都下場了,為什么OpenAI 沒有推 AI 搜索?https://mp.weixin.qq.com/s/uZlnCnbfjT6qr9jL-_oVXQ
ALTAVISTA,谷歌前最大搜索巨頭的沒落史
https://www.toutiao.com/article/6660772127794266632/?wid=1715412093996
AI 搜索,一次講透
https://mp.weixin.qq.com/s/NsvecuHT_h21d9po0c7UmQ
為什么 AI 搜索行不通?https://mp.weixin.qq.com/s/OKZsqgoP5LYu5FZppQN6sw
Generative AI in Search: Let Google do the searching for you
https://blog.google/products/search/generative-ai-google-search-may-2024/
本文由人人都是產品經理作者【Super黃】,微信公眾號:【AI產品黃叔】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
- 目前還沒評論,等你發揮!