大模型“聚會(huì)”:國內(nèi)卷價(jià)格,國外卷能力
GPT-4o和谷歌Gemini不斷宣傳現(xiàn)階段AI能力大幅度提高,那么這兩家,誰的大模型能力更強(qiáng)呢?這篇文章里,作者就展開了多維度的測試和體驗(yàn),想了解的同學(xué),可以來看一下。
在中美AI大模型的競爭上,正衍生出兩種不同的路徑。
繼北京時(shí)間5月14日凌晨OpenAI春季發(fā)布會(huì)上,OpenAI推出兼具聽、看、說能力的GPT-4o后。北京時(shí)間5月15日凌晨谷歌I/O開發(fā)者大會(huì)上,谷歌CEO桑達(dá)爾·皮查伊發(fā)布數(shù)十款Google和AI 結(jié)合產(chǎn)品,堪稱“全家桶”級(jí)別,全面圍剿Open AI。
其中包括支持200萬token長文本的Gemini 1.5 Pro和 Gemini 1.5 Flash,對(duì)標(biāo)Sora的Veo,開源模型Gemma 2,支持生成式搜索的AI Overviews、第六代TPU等。
整場開發(fā)者大會(huì)最大的看點(diǎn)為,谷歌推出的AI語音助手——Astra,它能夠通過攝像頭識(shí)別物體、代碼和各種東西?,F(xiàn)場演示視頻中,用戶要求Astra在看到發(fā)出聲音的東西時(shí)告訴她,助手回答說,它可以看到一個(gè)發(fā)出聲音的揚(yáng)聲器。對(duì)于一閃而過的蘋果,Astra居然也能夠準(zhǔn)確回答出在眼鏡旁邊。
除Astra外,谷歌還推出基于Gemini的多款通用AI Agent子系列產(chǎn)品。如音頻的NotebookLM、音樂的Music AI Sandbox、視頻的Veo、圖像的Imagen 3,直接對(duì)標(biāo)OpenAI發(fā)布的GPT-4o、Dall-E和Sora。
和谷歌、OpenAI圍繞技術(shù)之爭不同的是,國內(nèi)大模型或?qū)⒂瓉韮r(jià)格戰(zhàn)時(shí)代。在5月15日字節(jié)舉辦2024春季火山引擎Force原動(dòng)力大會(huì)上,字節(jié)推出3款A(yù)I產(chǎn)品,包括AI生圖產(chǎn)品 PicPic、AI 教育產(chǎn)品河馬愛學(xué)、AI 劇情互動(dòng)產(chǎn)品貓箱。
除這三款產(chǎn)品外,字節(jié)面向TOC端的產(chǎn)品還包括定位AI教育的Gauth,定位AI對(duì)話的豆包和CiCi;定位AI工具的小悟空ChitChop;定位Al Bot創(chuàng)建平臺(tái)的Coze和扣子;定位AI互動(dòng)劇情的BagelBel等。
但字節(jié)率先啟動(dòng)行業(yè)價(jià)格戰(zhàn),火山引擎總裁譚待表示,豆包大模型將開啟付費(fèi)商業(yè)化,且定價(jià)遠(yuǎn)低于行業(yè)價(jià)格。以豆包通用模pro-32k版為例,模型推理輸入價(jià)格僅為0.0008元/千Tokens。市面上同規(guī)格模型的定價(jià)一般為0.12元/千Tokens,是豆包模型價(jià)格的150倍。
字節(jié)本輪降價(jià)后,后續(xù)國內(nèi)其他大模型廠商或?qū)⒏S。但降價(jià)能否幫助國內(nèi)大模型廠商帶來更多新增用戶和付費(fèi)用戶,仍值得商榷。
GPT-4o和谷歌Gemini不斷宣傳現(xiàn)階段AI能力大幅度提高,兩家誰的大模型能力更強(qiáng)呢?基于此,我們也對(duì)GPT-4o和Gemini展開了多維度的測試。
01 文本輸出:Gemini和GPT-4o愈發(fā)接近,部分能力已趕超
因GPT-4o和Gemini均屬于世界TOP級(jí)的大模型,在測試兩家大模型的文本輸出能力上,我們直接將難度升級(jí)。
為什么很多國家仍以油車為主?你覺得影響新能源汽車海外滲透率提高的因素有哪些?我們將這一問題同時(shí)給到GPT-4o和Gemini,二者均指出充電基礎(chǔ)設(shè)施建設(shè)、購置成本、技術(shù)進(jìn)步、政策支持、消費(fèi)者文化習(xí)慣是很多國家仍以燃油車為主的原因。
但相較于GPT-4o,Gemini不僅識(shí)別到我們提問的是兩個(gè)問題,且均給出答案,也回答出GPT-4o沒有指出的車企方面、宣傳教育方面的問題。也就是說,Gemini的回答可能更為完整。
圖源:基于Gemini和GPT-4o生成內(nèi)容整理 DoNews制圖
我們繼續(xù)追問要求兩個(gè)大模型同時(shí)給我們撰寫一份10000字全球新能源汽車報(bào)告,并要求報(bào)告中需要包括行業(yè)價(jià)格戰(zhàn)、電池技術(shù)、未來發(fā)展方向、產(chǎn)業(yè)趨勢。
但此時(shí)兩個(gè)大模型的表現(xiàn)已經(jīng)出現(xiàn)明顯差異,GPT-4o給我們生成七大章節(jié)的框架,每個(gè)框架下也要對(duì)應(yīng)的小框架。但就是不輸出我們要求的內(nèi)容,這或許和當(dāng)前GPT-4o在長文本能力上的欠佳有關(guān)。
圖源:GPT-4o官網(wǎng)
Gemini雖給我們具體的文本內(nèi)容,但全文1679字和我們要求的萬字報(bào)告差距較大。內(nèi)容被大幅度壓縮后,整個(gè)內(nèi)容質(zhì)量也相對(duì)欠佳。
如在提到新能源汽車產(chǎn)業(yè)趨勢發(fā)展上,Gemini給出的內(nèi)容為產(chǎn)業(yè)鏈整合、跨界合作、國際化競爭,每條內(nèi)容僅有一句話進(jìn)行概括。換言之,在真正涉及行業(yè)專業(yè)性問題上,Gemini和GPT-4o均存在不同程度的短板。
圖源:Gemini官網(wǎng)
當(dāng)我們將難度繼續(xù)提高后,詢問為什么今年以來全球大宗商品價(jià)格持續(xù)上漲?這種漲幅帶來的影響有哪些?未來價(jià)格是否會(huì)回落?在首問中GPT-4o和Gemini給出的答案有所相同,均指出和供應(yīng)鏈、地緣沖突、全球經(jīng)濟(jì)等因素有關(guān)。且在未來價(jià)格走勢預(yù)測中,兩者給到的答案也基本相同。
但在漲幅所帶來的影響上,Gemini給出的答案可能更為完整。尤其是在金融、企業(yè)利潤、社會(huì)等方面的影響,GPT-4o并未指出。
圖源:基于Gemini和GPT-4o生成內(nèi)容整理 DoNews制圖
在文本內(nèi)容快速分析上,我們讓兩款大模型同時(shí)給我們分析安克創(chuàng)新2024年Q1財(cái)報(bào)中存在的風(fēng)險(xiǎn)點(diǎn),GPT-4o生成的風(fēng)險(xiǎn)點(diǎn)包括現(xiàn)金流減少、高額的銷售費(fèi)用和管理費(fèi)用、財(cái)務(wù)費(fèi)用大幅度波動(dòng)、公允價(jià)值帶來損失這四點(diǎn)。
圖源:GPT-4o官網(wǎng)
但Gemini給出的內(nèi)容卻包括營收增速放緩、經(jīng)營活動(dòng)大幅度下降、銷售費(fèi)用和管理費(fèi)用大幅度增加、存貨跌價(jià)損失增加、匯兌大幅度增加、對(duì)政府補(bǔ)助依賴這六點(diǎn)。這也不能看出,Gemini的回答更為完整。
圖源:Gemini官網(wǎng)
而當(dāng)我們要求兩款大模型同時(shí)以如何幫助失戀的人走出陰影,寫一篇2000字的文章。要求文章有觀點(diǎn),并且文章內(nèi)需要配上對(duì)應(yīng)的圖片和音頻,Gemini的表現(xiàn)可以說完全吊打GPT-4o。
在文章開頭,Gemini直接放入一曲舒緩的音樂,且這個(gè)音樂也支持播放。每個(gè)細(xì)分章節(jié)下,Gemini直接從網(wǎng)站上檢索到和內(nèi)容相關(guān)的圖片,實(shí)現(xiàn)OpenAI提到的文本、音頻、圖像的任意組合。
圖源:Gemini官網(wǎng)
對(duì)比之下,GPT-4o給到的內(nèi)容就有些遜色。除文章開始處能看到圖片外,其余正文處均未看到任何和內(nèi)容相關(guān)的圖片,且全文中也看不到音頻。
圖源:GPT-4o官網(wǎng)
整體測試下來后我們發(fā)現(xiàn),谷歌在生成式AI領(lǐng)域尤其在文本能力輸出上已經(jīng)從“落后”到追趕,甚至內(nèi)容質(zhì)量上、內(nèi)容組合等能力上已經(jīng)超過GPT-4o。
02 對(duì)比之下,Gemini綜合能力不容忽視
在測試過程中,我們發(fā)現(xiàn)Gemini不僅支持文本內(nèi)容提問,且也支持語音提問。但因國內(nèi)網(wǎng)絡(luò)受限,暫無法對(duì)語音功能進(jìn)行測試,也無法判斷這是否為谷歌發(fā)布會(huì)上提到的Astra。相較于谷歌的快速,GPT-4o目前仍是支持單一的文本內(nèi)容提問。
圖源:Gemini官網(wǎng)
圖源:GPT-4o官網(wǎng)
深耕搜索行業(yè)多年的谷歌,讓目前的Gemini也能實(shí)現(xiàn)AI檢索。且這種檢測不僅包括圖文網(wǎng)頁也包括視頻。當(dāng)我們要求Gemini以汽車安全為核心,生產(chǎn)一個(gè)20-30S的視頻時(shí),Gemini先是給出了我們具體的視頻腳本。
當(dāng)我們繼續(xù)追問你能我們直接生成視頻嗎?Gemini的回答有些超過我們的預(yù)期,直接給到我們幾個(gè)YouTube的相關(guān)鏈接。且這些鏈接居然也無須跳轉(zhuǎn)YouTube上觀看,在Gemini大模型內(nèi)也能實(shí)現(xiàn)自動(dòng)播放。
圖源:Gemini官網(wǎng)
圖源:Gemini官網(wǎng)
對(duì)比之下,GPT-4o雖也能根據(jù)我們的要求輸出對(duì)應(yīng)的視頻腳本,但卻并不具備Gemini的這些功能。
圖源:GPT-4o官網(wǎng)
值得注意的是,Gemini和GPT-4o目前均不支持音頻、視頻內(nèi)容識(shí)別,且Gemini目前也不支持圖片生成功能。支持圖片生成功能的GPT-4o,目前也存在部分問題。
如當(dāng)我們要求GPT-4o輸出一張同時(shí)包含中國傳統(tǒng)神話故事中四大神獸的照片時(shí),圖片內(nèi)容雖出現(xiàn)四大神獸,但除青龍稍微符合神話故事原型外,其他三大神獸均和神話故事中的原型相差極大,這可能也和OpenAI團(tuán)隊(duì)對(duì)中國傳統(tǒng)神話故事學(xué)習(xí)能力欠佳的有關(guān)。
圖源:GPT-4o官網(wǎng)
但在圖片的識(shí)別能力上,Gemini正以圖片識(shí)別為基礎(chǔ)場景,衍生出更多場景服務(wù)。我們選取網(wǎng)絡(luò)平臺(tái)常見的面條圖片,Gemini在識(shí)別出這張圖片為雞蛋面后,又給到我們雞蛋面、中國面條等關(guān)鍵詞方便我們二次檢索。更重要的是,Gemini還直接推薦各種雞蛋面的做法。
圖源:Gemini官網(wǎng)
對(duì)比之下,GPT-4o在識(shí)別出圖片內(nèi)容為拌面下,僅是簡單地對(duì)拌面進(jìn)行介紹,并未展開過多敘述。
圖源:GPT-4o官網(wǎng)
當(dāng)我們將識(shí)圖能力難度升級(jí)后,在網(wǎng)絡(luò)平臺(tái)上選取常見的竹林照片,并詢問Gemini圖片的拍攝地點(diǎn)時(shí),Gemini給出包括日本京都嵐山竹林、日本京都嵯峨野竹林、日本沖繩八重山竹林、中國四川毛竹林、中國安吉竹林、南美或東南亞等地點(diǎn),并指出竹林的重要性。
圖源:Gemini官網(wǎng)
GPT-4o僅指出,這樣的景色在中國、日本等東亞國家極其常見。如日本的京都嵐山竹林和中國的安吉竹海都是著名的竹林景區(qū)。不僅地點(diǎn)相對(duì)Gemini較少,還反問到你知道具體的拍攝地點(diǎn)嗎?
圖源:GPT-4o官網(wǎng)
在測試邏輯推理上,我們選取2023年全國卷數(shù)學(xué)高考真題中難度較大的壓軸題時(shí),GPT-4o給出的答案可以用失望來形容。
圖源:2023年全國卷數(shù)學(xué)真題
如在全國高考卷第20題的兩問中,GPT-4o僅是簡單地給出不完整的解題步驟,沒有輸出任何一個(gè)準(zhǔn)確答案。
圖源:GPT-4o官網(wǎng)
第21題的三問中,GPT-4o不僅將三小問變成兩小問,且前兩問求概率的問題上,本應(yīng)為具體數(shù)字的答案,在GPT-4o這里卻是帶有變量N的不確定答案。
但Gemini的表現(xiàn)同樣欠佳,如在第20題首問的求通項(xiàng)公式中,Gemini雖給出兩種解法,但兩種解法給出的答案完全不同。換言之,Gemini有可能僅是簡單地抓取國內(nèi)網(wǎng)站的相關(guān)鏈接,并未對(duì)信息內(nèi)容和準(zhǔn)確度進(jìn)行二次審核。
圖源:Gemini官網(wǎng)
整體來看,目前Gemini在很多方面的綜合能力,以及產(chǎn)品上線速度方面比GPT-4o更加能打。且在價(jià)格方面,谷歌的Gemini 1.5 Flash 的價(jià)格定為每100萬個(gè)token 35 美分,比GPT-4o的每100萬個(gè)token 5 美元的價(jià)格低很多。產(chǎn)品組合性能表現(xiàn)不輸GPT-4o疊加低價(jià),谷歌或許正在放出王炸。
但按照OpenAl在大模型上積累的強(qiáng)大技術(shù)能力來看,谷歌在某些方面稍微領(lǐng)先的優(yōu)勢能保持多久,仍有待商榷。谷歌和OpenAI在AI大模型技術(shù)上的持續(xù)博弈下,可能會(huì)將美國AI大模型的技術(shù)能力推向新高度。
03 國內(nèi)卷價(jià)格,或?qū)⑼苿?dòng)行業(yè)加速洗牌
對(duì)于字節(jié)率先發(fā)起行業(yè)價(jià)格戰(zhàn)也不能理解,目前國內(nèi)大模型在TOC端的商業(yè)化落地,正朝著當(dāng)年的移動(dòng)互聯(lián)網(wǎng)方向發(fā)展。
依靠價(jià)格戰(zhàn),移動(dòng)互聯(lián)網(wǎng)廠商(大模型廠商)不斷提高新增用戶和日活用戶的同時(shí),后續(xù)逐漸衍生出如廣告、電商、與核心業(yè)務(wù)場景高度契合的其他場景收入。這在保證平臺(tái)實(shí)現(xiàn)單個(gè)用戶價(jià)值最大化的同時(shí),也能幫助移動(dòng)互聯(lián)網(wǎng)廠商(大模型廠商)提高現(xiàn)金流,持續(xù)減少企業(yè)虧損。
后續(xù)移動(dòng)互聯(lián)網(wǎng)廠商(大模型廠商)繼續(xù)發(fā)動(dòng)行業(yè)價(jià)格戰(zhàn),資金能力不足的中小廠商被洗牌出清,行業(yè)份額繼續(xù)朝著頭部廠商集中。頭部廠商獲得高話語下,對(duì)供需兩側(cè)衍生更多商業(yè)化,最終讓行業(yè)形成強(qiáng)者愈強(qiáng)的馬太效應(yīng)。
不僅僅是TOC端,大模型價(jià)格戰(zhàn)未來也將同樣出現(xiàn)在TOB端。對(duì)標(biāo)SaaS產(chǎn)業(yè)來看,價(jià)格仍是國內(nèi)SaaS企業(yè)的核心優(yōu)勢之一,尤其在SaaS產(chǎn)業(yè)產(chǎn)品和場景同質(zhì)化嚴(yán)重、國內(nèi)企業(yè)主付費(fèi)意識(shí)不強(qiáng)、中小客群存在流失率高、合規(guī)性差、決策集中一人等現(xiàn)狀下,頭部SaaS廠商想要從價(jià)格戰(zhàn)的泥潭中走出,面臨著不小的阻力。
但需指出的是,互聯(lián)網(wǎng)時(shí)代面向TOC端的價(jià)格戰(zhàn),更多是建立在細(xì)分場景下的服務(wù)上。這種服務(wù)下,消費(fèi)者真正關(guān)注的也就是服務(wù)好壞。剛需場景下,這種服務(wù)好壞更是被淡化。
但AI大模型時(shí)代,類似于美圖這種圖片場景類的服務(wù),消費(fèi)者的要求可能不高。但其他場景下,本質(zhì)是用戶愿意為大模型的高質(zhì)量內(nèi)容進(jìn)行付費(fèi)。
換言之,消費(fèi)者真正看重的仍是大模型的處理能力以及能否高效完成任務(wù),而非價(jià)格。若在完成任務(wù)能力上表現(xiàn)欠佳,價(jià)格再低實(shí)則也是無用。
尤其是對(duì)于金融類、研投類對(duì)大模型輸出的內(nèi)容質(zhì)量要求高、數(shù)據(jù)質(zhì)量生成快且專業(yè)的行業(yè)來說,更是如此。更別提企業(yè)端定制大模型,更不允許大模型的生產(chǎn)內(nèi)容和數(shù)據(jù)存在絲毫偏差了。
或許國內(nèi)大模型廠商是想借助價(jià)格戰(zhàn),盡快讓大模型幫助企業(yè)帶動(dòng)營收增長,進(jìn)而對(duì)沖大模型前期高昂的研發(fā)成本投入,以及相關(guān)硬件方面的投入。
但隨著國內(nèi)大模型廠商在價(jià)格上持續(xù)內(nèi)卷,或?qū)⒂绊懙讲簧偌夹g(shù)能力優(yōu)越但資金實(shí)力不足的初創(chuàng)企業(yè),這又是否會(huì)讓中美在大模型方面的技術(shù)能力差距被拉開得更高呢?
撰文:曹雙濤;編輯:楊博丞;本文由人人都是產(chǎn)品經(jīng)理作者【DoNews】,微信公眾號(hào):【DoNews】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于 CC0 協(xié)議。
- 目前還沒評(píng)論,等你發(fā)揮!