誰能對Perplexity貼臉開大?
Perplexity以其獨特的RAG技術和顛覆性創新,打破了傳統搜索引擎的局限。那么,它是如何做到的呢?又是如何看待與其他AI搜索的競爭呢?讓我們一同揭開Perplexity的神秘面紗,探尋它的內核與未來。
我有一個小習慣,每次參加完活動,總會加一些新朋友,或被人加,為防止加完后忘記這人長啥樣;我會習慣性翻看一下對方朋友圈,找到一張照片,保存到備注里,下次見面,以防止認不出來的尷尬。
前兩天,活動結束,我加一位技術領域的專家,他在網上還算有名;當時,我從百度百科上保存一張他的照片,想著忙完再備注。
可回到家,怎么也想不起這人是誰,鑒于強迫癥人格,我總想弄清楚。很頭疼,怎么辦?于是,我把照片發給國內的幾個AI搜索軟件,結果都沒找到我想要的答案。
最后,把它發給了GPT-4,也沒有識別出來,在快要放棄時我尋思給Perplexity試試吧,沒想到,不到5秒時間,它幫我識別出了對方是誰。
我按照線索,在通訊錄里找到他的微信,趕緊把備注加上;真驚訝,沒想到Perplexity進步這么快,雖然Perplexity PRO版用Claude3.5、GPT4-4o和sonar三個模型,但不得不說,某些方面,它已經超過了GPT-4。
于是我在想,各家AI搜索都在對Perplexity貼臉開大,到底誰能做出Perplexity內核部分?Perplexity僅是問答產品嗎?創始人怎么看的?這些問題,有必要挖一挖。
01
每次要說這個名字,對不太擅長英語的人來說,都有點兒難為情。是的,Perplexity,聽起來挺拗口,用中文念出來要五個字,你可以這么讀:“佩爾-普萊克-斯提”。
什么意思呢?
簡單講,困惑的。創始人也許在想,如果你有什么困惑,就來問問我們的產品,它能為你解答。
產品是國外的,從生態位上看,介于Google搜索和ChatGPT聊天機器人之間,它不僅有提問窗口還有相關問題,還有發現功能,目前里面收集大量當日的新聞摘要,你可以瀏覽,還是隨時繼續追問。
發現的好處在于,它能讓你知道全球正在發生什么。
注意,是全球。我覺得比起ChatGPT或Gemini更便捷一些,更像國內AI版知乎,這么說,你也不用感到奇怪,因為它的創始團隊中,有不少人以前在Quora工作過,而知乎當年的創業靈感,就來自于Quora。
比如:
技術總監Denis Yarats,以前是Quora的機器學習工程師,創始設計師Henry Modisett在Quora工作超過了8年,做過很多產品設計。
Perplexity的創始人Aravind Srinivas,以前在OpenAI工作,主要研究語言和擴散生成模型,所以,通過幾個人的組合,不難看出,這家公司的基因深受其創始團隊的經歷影響。
知道初心就知道使命,那么,這個產品的設計初心是什么呢?Aravind Srinivas說過,決定做AI問答社區,首先第一點啟發來自于谷歌。
Aravind從谷歌兩位聯合創始人拉里·佩奇(Larry Page)和謝爾蓋·布林(Sergey Brin)身上學到一件事,即:
早些年,谷歌沒有通過模仿其他搜索引擎來競爭,而是選擇一種顛覆式創新的模式。
如何顛覆?他們注意到,答案引擎概念比現在用的搜索引擎歷史還要悠久,早在1970年代,信息檢索領域研究人員就開始用自然語言處理(NLP)來幫助人們從文本中獲取信息。
1990年代中期的Ask Jeeves(現在的Ask.com)也提供過類似的問答服務,但是,當時搜索引擎靠文本檢索信息效果不理想,后來沒辦法,谷歌才改變技術結構。
進而,采用了用網頁鏈接結構來提取信息,這種辦法后來被稱為“頁面排名”,非常巧妙的創新。
具體來說,兩位聯合創始人將搜索過程簡化成了冪次迭代,他們聘請大量工程師,來開發關于更多基于傳統信息提取技術的排名信息,谷歌與其他搜索引擎的根本區別在于獨特的排名信號。
Aravind還注意到,Google的創始人拉里·佩奇(Larry Page)和謝爾蓋·布林(Sergey Brin)都有深厚的學術背景,并且他們努力將學術研究與產品開發相結合。
這里有一個小事件:
Google在創業階段時,試圖將自己的搜索引擎基礎賣給Excite公司,拉里·佩奇做過一個展示,把Excite的搜索結果和Google的搜索結果進行對比。
這個過程中,Excite的首席執行官批評Google的搜索結果,但拉里·佩奇堅持認為,一個優秀的搜索引擎應該能夠在用戶輸入任何內容時都提供高質量的答案。
所以,拉里·佩奇認為,搜索軟件應在任何輸入下,都得給用戶提供高質量答案;但是,很不巧,后來谷歌走了一條與初心違背卻很賺錢的事情,即:賣廣告,廣告賺錢效率在當年要比文本生成賺錢。
因此,Aravind在谷歌學到兩點,一,要顛覆式創新,做文本搜索的事情,而非網頁檢索;二,最好文本和學術掛鉤,用戶想要一個實際答案,不是一堆有答案的網頁列表。
02
第二點來自于誰呢?投資人Marc Andresson。
Aravind在困惑要不要做垂直領域的搜索軟件時,Marc Andresson給他過兩個建議:
一,不管如何,都不要做搜索,是把業務拓展到像Quora社區這樣的有社交特性的領域。
為什么呢?
很多只做垂直領域搜索的公司最后都失敗了,相反,那些在特定領域提供全面服務的公司卻獲得了成功。
比如,Booking.com不只搜索酒店,還可以直接預訂;Airbnb也不僅僅是預訂住宿,而是提供了全套的旅行服務了;如果Perplexity只做得足夠深,競爭優勢不會只停留在技術和積累用戶上。
二,一個結合社交、AI問答的社區,比單純的搜索引擎更有價值。
傳統的搜索引擎在回答問題時往往反應慢,不能有效地獲取知識。如果Perplexity能提升回答的效率,并連接社區成員,那么,這件事會格外的性感。
所以,后來Aravind被說服了,他覺得Perplexity應該做這件事,眼前不止于有網頁產品,還有社區,未來還要與一切可穿戴設備連接。
比如,與Brilliant Labs合作(注:Brilliant Labs,是一家總部位在新加坡的科技公司,主要開發具有人工智能功能的開源眼鏡),讓人們通過AR眼睛進行搜索和查詢。
現在來看,Brilliant Labs的確在今年2月9日與Perplexity達成了合作,并且推出Frame眼鏡。因此,Perplexity超越了傳統搜索引擎的范疇。
第三個啟發來自于GitHub Copilot,這當中有個故事。
Aravind說過,像GitHub Copilot這樣的工具,很多人都在用,而且還有人為此付費,我自己也在用。(注:GitHub Copilot是由GitHub和OpenAI共同開發的AI編碼助手工具,他能輔助開發者更智能的寫代碼)。
擁有人工智能的公司,收集大量數據,但這些數據只是更大事物的一部分;我要找到一個問題,努力解決它,就能從人工智能的進步中受益。
也就是說:
通過人工智能技術,讓人使用技術解決具體問題,不僅能改善產品,吸引用戶,還能用用戶生成的數據持續迭代人工智能的能力,形成一個正向循環。
但是,大多數公司都沒有這種特性,這就是為什么他們都在努力找在哪里可以使用人工智能,并讓人用起來的原因。
Aravind覺得,有兩款產品做到了這一點。一個是谷歌搜索,任何人工智能、語義理解、自然語言處理的改進都會提升產品的質量,更多的數據會讓嵌入變得更好。
另一個是自動駕駛汽車,越來越多的人使用它,它為你提供了更多的數據。這使得模型更好,視覺系統更好,行為克隆也更好。
所以,我一直希望我做的產品有這種特定,它本身不是為消費者搜索行為所設計的,而是,從搜索的那一刻開始,產品才剛剛開始。
03
第四個啟發在數據庫上。
Aravind說,從技術層面,在如何改變用戶搜索體驗過程中,我意識到傳統的關系數據庫面臨很多限制,特別在處理復雜的自然語言查詢時。
比如:
如果你問數據庫,“埃隆·馬斯克關注了誰?”或者“萊克斯·弗里德曼關注的是誰?”這種問題,傳統數據庫是搞不定的。這樣的限制,讓查詢不夠靈活,用戶和數據的互動也就受限了。
怎么辦呢?隨著人工智能技術的進步,我們覺得可以破這個局。因為現在有些很棒的編程模型,能懂你說的話,我們就想用這些模型來幫忙。
我們的方法是這樣的:
先搜集一些數據,然后把數據放進表里,再根據需要生成SQL查詢。我們選擇用SQL,是因為它簡單明了,選擇的東西不多,不像Python那樣復雜。
你可以把這個過程想象成在一個大圖書館里找書。
比如:你想找所有關于“太空旅行”的書,但圖書館的索引系統只按作者名、出版年份排序,沒按主題來排。這就麻煩了,因為你知道這些書肯定在,但找起來就沒那么直接了。
所以,我們用了一種類似的外部助手(就是大模型),讓它從內部開始整理和處理信息,然后,把信息整理成表格,生成需要的SQL查詢。
雖然這方法聽起來很不錯,但其實在把自然語言轉換成SQL的過程中,我們遇到了很多問題,比如錯誤處理和系統穩定性問題。
怎么辦呢?
我們決定用一種更靈活、能自我調整的方式,來應對挑戰。如此一來,一方面,我們提升了自然語言處理系統的能力,讓它能更準確地理解和分析用戶的意圖。
另一方面,引進更高級的機器學習模型和算法,特別是能從大量雜亂無章的數據中,學習和提取有用信息的模型,就形成了技術迭代。
問題是,如何改進呢?我們認為關鍵點在RAG部分。
04
什么是RAG?為什么是RAG呢?
RAG,全稱Retrieval-Augmented Generation,中文叫檢索增強生成技術。
概念是帕特里克·劉易斯(Patrick Lewis)在2020年的一篇文章《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中首次提出,現在,他是Cohere RAG團隊的負責人。
Aravind認為,RAG技術能夠連接到任何外部數據源,讓用戶幾乎可以和任何數據存儲庫進行對話。
例如:在醫療領域,一個聊天機器人可以通過查詢醫院的數據來幫助醫生;在金融領域,分析師使用的機器人也可以通過訪問市場數據庫來提供更可靠的分析。
以OpenAI為代表的公司采用“微調”方式服務于特定行業客戶,即:利用企業自己的數據,來繼續訓練提供的基礎模型,從而開發出更懂該企業的專有模型。
比如:GPT-4在被訓練了更多關于法律和財務的知識后,相較于學得較少的GPT-3.5,更容易通過法律和財務方面的考試。
而使用RAG方法不同。
雖然Perplexity也使用了一些大型模型,但并沒有繼續讓這些模型深入學習特定領域的知識,而是,將數據作為隨時可查詢的資源供模型參考。
什么意思呢?
當OpenAI通過不斷喂養數據,讓大模型變得更聰明,使其能直接回答用戶問題時,這種做法像是在進行閉卷考試,需要憑借已有的記憶來回答問題。
而Perplexity利用RAG技術,則相當于開卷考試,你可以隨時查閱資料來找到答案。
也就是說,RAG技術讓Perplexity能夠利用即時的、廣泛的外部數據,為人們提供更精確、更相關的答案,這不僅提高了答案的質量,也極大地增強了系統的應用靈活性和實用性。
所以,讓Perplexity與Google不同的是其答案引擎,而與ChatGPT的區別則在于使用了RAG(Retrieval-Augmented Generation)技術。這種技術連接到外部知識庫,使得AI生成的內容更加準確和可靠。
雖然,最近Perplexity面臨一些技術倫理、版權爭議的問題,但我認為,這并沒有影響其在提供高質量搜索上的核心能力。
除了從谷歌、投資人、GitHub Copilot、數據庫以及RAG這六個方面得到啟發之外,國內的創業者可能更關注如何賺錢。
Perplexity并沒有像其他公司那樣,先做大規模再開始收費,而是一開始就推出了訂閱制付費模式,每月20美刀,的確不便宜。但它的模型能力確實很強。
我用它來搜索國內的信息,然后,和使用國內AI軟件搜索的結果,以及信息來源的抓取能力進行綜合比較,結果毋庸置疑,國內技術還有很長的路要走。
RAG已經成了開卷考試,到底誰更勝一籌呢?
也許用戶體驗是最好的評判標準,試一試就知道了;此外,國內AI搜索產品中,很多還不支持圖片搜索功能、視頻搜索功能,并且也面臨著如何商業化的挑戰。
盡管這個領域,一些企業不差錢,不急于賺錢,但,維持AI技術的開發和運營燒錢迅速,也不小。
我認為,用戶訴求會越來越多,先收費再迭代產品,并非是一件壞事。反之,錢都賺不到,額外需求又進一步增加,就會陷入一種怪圈,也許到時候,用戶的衡量標準會變得越來越琢磨不透。
05
總結
AI搜索,到了內卷時刻。
當產品、資源都在同質化時還能拼什么?答案可能只有兩個字:速度。誰能賺到錢,更快地迭代技術、誰就更有可能領先。
速度的硝煙,等不到明年,也許下半年,就見分曉。祝你,卷出成績。
本文由人人都是產品經理作者【王智遠】,微信公眾號:【王智遠】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Pixabay,基于 CC0 協議。
RAG產品隨處可見,但Perplexity到底在RAG技術中用了哪些創新的技術達到這樣高質量的輸出,也沒講
是的,懂RAG的人還是太少了,太多的RAG效果不好