國內大模型在局部能力上,已超ChatGPT

0 評論 1962 瀏覽 2 收藏 10 分鐘

AI浪潮已經席卷國內外,在國內,許多廠商或互聯網大廠更是爭相布局大模型。那么時間到了現在,國內大模型的產品能力是否有所突破?在這篇文章里,作者就對中文大模型的發展進行了解讀,一起來看看吧。

從GPT3.5徹底出圈后,大模型的影響力開始蜚聲國際。一段時間內,國內科技公司可謂被ChatGPT按在地上打,毫無還手之力。

彼時,很多企業還不知大模型為何物,GPT3.5就已夠生成諸如營銷文案、小說、詩歌等高質量的中文文本。一時間,買課小販和相關開發者大行其道。

現如今,在國內廠商嚴肅對待OpenAI后,情況發生了變化。

在公開資料中,就有360、復旦大學、科大訊飛等企業表達了在中文能力上超越ChatGPT的消息?,F在,時間進入2023年8月份,號稱超越國外競品的公司變得越來越多。

一、中文模型進擊:ChatGPT“不香”了

客觀地說,在GPT-3推出后,OpenAI曾經在中文文本輸出中占得先機。其一經推出,便可覆蓋諸如營銷文案、小說和詩歌等領域的文生文需求。幾個月前,這種先手優勢養活了國內一眾賣課達人以及相關產品。

不過,很快,這些功能便被國內眾多廠商超越,變成了大模型的“標配”功能。

根據第三方監測機構SimilarWeb的數據顯示,ChatGPT從4月開始就呈現出了明顯放緩的趨勢。以至于在2023年的第二季度,人們的朋友圈內幾乎沒有了OpenAI的蹤影。在科技圈,這被歸結為競爭對手大批量涌入、垂直模型興起和新技術迭代所導致。

8月初,中文大模型的“千模大戰”已進入白熱化階段。以數科星球團隊所掌握的信息來看,越來越多的企業開始關注下沉市場、并致力于推進具體行業和大模型產品的結合。

這種趨勢的結果是,可能會有更多的企業和機構選擇使用本土產品,同時也對國外模型的市場份額造成一定影響。在數科星球團隊體驗二十余款中文大模型后,所得到的觀感和上述言論趨同:即中文大模型正在變得越來越好用,并變得越來越聰明。

更為關鍵的是,政策層面對國內產品的扶植力度正在加強,而出于安全和自主可控等因素,ChatGPT的“沒落”(至少在國內)似乎已成板上釘釘。

但國內廠商的野心還遠不止“內卷”國內市場——一些公司已然將目光瞄準了海外。

科大訊飛董事長劉慶峰此前表示,其星火大模型中文已超越ChatGPT,在英文中也已接近,雖還有細微差別,但目前在進一步優化中。

二、中文大模型變聰明的背后

為了探求國內中文大模型的發展情況,在過去的幾個月中,數科星球團隊與幾十家公司進行了百余次溝通。結果是,科技圈的大佬和創業新星們對待OpenAI的態度嚴肅且認真。

除了在產品上進行了洗心革面式的改進,還對模型的評價體系進行了優化。

為了彌補中文大模型在評測領域的缺失,日前由清華大學、上海交通大學和愛丁堡大學合作構建的面向中文語言模型的綜合性考試評測集于不久前推出,該評測名為C-Eval,受到了行業內的廣泛關注。

在一些專業人士看來,此評測的初衷是用“錙銖必較”的方式找出中文大模型的比較優勢。和以往由第三方咨詢公司所主導的、帶有傾向性甚至定制化的行業評比所不同的是,無論在過程和結果上,C-Eval更加透明和公開。

據了解,全套測驗包含13948道多項選擇題,涵蓋52個不同學科和四個難度級別。其中前四名包括為清華智譜的ChatGLM2、OpenAI的GPT-4、商湯的SenseChat,APUS的AiLMe-100Bv1。

對比由微軟亞洲研究院(Microsoft Research Asia)開發的基準測試AGIEval,C-Eval覆蓋的領域更廣。APUS技術專家張旭稱:“AGIEval只覆蓋了中國高考題、公務員考試題等幾個類別,而C-Eval覆蓋了注冊電氣工程師、注冊計量師……等領域”,覆蓋范圍的拓寬意味著,除高考、公務員考試等場景外,在其他特定職業領域也可以測定大模型的能力。

從另一個角度說,C-Eval是一個對大模型從人文到社科到理工多個大類的綜合知識能力進行測評的競賽。通常,高階難度測試是考驗大模型性能的關鍵動作,面對復雜且有挑戰性的任務,大多大模型性能會大幅下降。在C-Eval公布的評比結果中,APUS的AiLMe-100Bv1除了在平均分上進入四強,還在難題處理方面超越GPT-4*,排名第一。

據悉,C-Eval Hard(難題)類別是首個提供中文復雜推理能力的測試,“即便是GPT-4來做這個題也會很吃力,”張旭提及,“這是‘閉卷考試’,而以往如AGIEval和MMLU是‘開卷考試’,也就是說,AGIEval和MMLU是各公司自己測試、自己打分、自己公布成績,而C-Eval Hard的評比顯然更加客觀、可信?!?/p>

的確,C-Eval測評難度比其他測評更高且更嚴格。在打分流程上,C-Eval更像是學校中為學生準備的大考模式,各個公司參加統一考試并由系統自動打分、C-Eval團隊人工審核成績并公布,所以,就結果上看,其測評所公布的成績真實性更高。

三、國內大模型的未來

放眼行業,大模型對于國內人工智能產業的意義非凡。

在NLP行業出現范式變革后,Transformer為主導的新一代通用大模型產品大行其道,讓人們看到了AGI的曙光。甚至可以說,中國版的ChatGPT3.5/4.0的問世是我國正式邁向人工智能時代的重要標志。

在過去,一、二級資本市場對國內大模型產業意見頗多。討論最多的是,國內公司沒有在前沿技術投入太多,反而將精力側重于“蹭”數字人、AIGC等概念之上。

客觀地說,上述評價不無道理,其中不乏因大環境不好,企業對前沿投入審慎和相關技術積累薄弱等問題所導致。

但近期,隨著對大模型行業認識的深入,以上問題正在得到改變:首先,以智源研究院、百度文心一言、商湯和APUS等企業的持續投入,我國已有多家企業具備大模型制作和運營能力(此前大多為小模型);其次,隨著上半年密集的模型發布大會逐漸落幕,新模型開始迭代積累,并向著ChatGPT能力靠攏。

在我們所知的大模型產業上下游企業中,針對數據處理、清洗、標注、模型訓練、推理加速等方面的技術也正在加速追趕之中;最后,政策層面已注意到發展大模型和ChatGPT的必要性,開始著手調集更多資源應對,相關生態和創新土壤也正在完備的過程中。

可以肯定的是,本次人工智能革命的核心就是通用大模型。目前,我國眾多企業正在加速追趕。

現在,超越ChatGPT已成為國內AI從業者們心中的圖騰。想必若假以時日,這個目標將有機會實現。而到那時,一個屬于人工智能時代的大幕才徹底拉開。

作者:苑晶,編輯:大兔;公眾號:數科星球(ID:digital-planet)

本文由 @數科星球 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!