大模型落地,痛并堅持著

0 評論 5507 瀏覽 8 收藏 22 分鐘

大模型在這些月的發展中逐漸走向應用實踐,國內首批大模型的落地進展也逐漸浮出水面。而在大模型的落地過程中,許多企業的態度和策略發生了變化。具體如何解讀大模型落地過程中的變數?一起來看看作者的解讀。

在經歷數個月的探索后,國內首批大模型的行業落地進展浮出水面,而這些代表性企業的動作引發業界關注。

大模型已給一些行業帶去質變,但也并不像當初憧憬的那樣豐富多彩,而開源大模型給市場界格局帶來變數,產業界暗流涌動。

一、浮出水面的行業實踐

8月15日,在北京舉辦的百度WAVE SUMMIT 2023峰會期間,國家電網智研院知識計算技術主管張強分享了大模型在國網電力設備運檢上的落地探索。

“整個電網的設備規模超過了4萬億,而與設備相關的標準、產品資料、故障案例等,是國網公司重要的數據資產和生產要素?!睆垙娬f。目前大模型實踐以設備為核心切入點。會后,張強打開手機上的工作App為數智前線演示,相關業務模塊已接入大模型,基層班組可獲得設備運檢中的相關判據和依據來源。

區別于互聯網行業,工業的專業知識樣本稀缺,積累困難,大模型的訓練過程,也是對這些數字資產的系統化梳理和重構過程,這期間有很多挑戰。現在,國網智研院的行業預訓練語言模型參數超過70億,正在進行150億參數的電力認知大模型全量精調訓練。

一位物聯網技術專家告訴數智前線,類似國網,他們落地中進度較好的也是面向內部員工的文檔知識問答。此前,員工檢索企業內部文獻文檔很費勁。原先知識圖譜技術手段,成本高,需要標注很多數據,訓練很多小模型,而回答問題的覆蓋度還較低。有了大模型,只要把文檔做簡單預處理,“丟給”大模型,大模型學習后就能直接回答問題,還能提供知識溯源出處,回答的覆蓋度也較高,“這是對原來知識管理賽道很大的顛覆”。

除了能源企業,在7月華為開發者大會HDC期間,工商銀行人工智能和大數據實驗室副總經理黃炳也介紹了大模型的初步實踐,例如輔助客服人員,能將專業知識轉化為“大白話”的知識運營助手,為投研團隊提供晨報的生成服務,以及工行辦公系統中的文案創作、網訊編寫、會議摘要等。有趣的是,網訊編寫經過模型訓練,會有“工行文風”。

黃炳介紹,這些場景都是人機協作,對員工和管理層有感知。比如,投研團隊用的晨報生成服務,過去雇傭實習生花費1個小時,現在只需5分鐘。

在能源、金融之外,上市公司中康科技首席技術官唐珂軻在WAVE SUMMIT期間告訴數智前線,基于通用大模型訓練的行業模型,在三類醫藥相關場景中最先落地。

其中一類是與幾家連鎖藥店做的藥事服務,可提升店員的專業度;一類是輔助醫生的臨床科研,比如文獻整理和自動總結、醫療領域專業的Meta分析?!耙郧白鲆黄狹eta分析至少3~6個月,現在只需花10分鐘。唐珂軻說,自己之前做過科研,能感知到大模型對臨床科研效率上質的改變。第三類是患者出院后的健康管理,這部分此前基本是缺失的。他們目前在廣東、湖南等地,與不同醫院落地了針對不同腫瘤的模型,支撐乳腺癌、肝癌、肺癌等患者出院后的服務,這是腫瘤患者非常需要的。

唐珂軻稱,醫療數據相對的封閉性,會給行業模型訓練帶來挑戰。但他看好大模型對行業的前景改變?!叭ツ暝诖罱ɑ颊呋卦L系統時,技術實施復雜度“令人頭疼”,但今年在大模型基礎上投喂幾千條數據,效果就不錯”。

上海南洋萬邦智能物聯部經理曾佑軒告訴數智前線,在落地實踐中,大模型在AI助手、知識管理兩大方向上落地較多。該公司是上海儀電下屬的數科公司。談到大模型成本,曾佑軒介紹,目前AI助手的費用已做到每月每人10元。這并不像大家想象中那么高昂。

大模型已在為企業降本增效。一位云計算資深人士告訴數智前線,他了解原來某大型家具企業,外包客服要請數百人,現在已縮減到小幾十人。“像這種項目,企業幾十萬可以搞定,又能節約成本,是比較好的落地?!?/p>

二、“大家都冷靜理性了”

在大模型的落地實踐中,行業對大模型有了更深入的認知,很多企業調整了預期,“大家冷靜理性了?!?/p>

“我們從今年初開始重點關注大模型,當時的想法是要把大模型更好地用起來。”一位能源大企業人工智能專家近日告訴數智前線,“但在逐漸用的過程中,我們發現不是那么理想,也不會那么快?!?/p>

他們現在偏向于先支撐內部人員,因為“大模型的回答,尤其是事實類的還不是太好”,直接開放給客戶還有一定風險。而面向內部,會經過大家的過濾、判斷和把關。內部人員再結合他們的理解,對外來服務。“我們會灰度地去過渡,逐步開放一些功能。”

無獨有偶,工行目前的應用也先從內部開始,優先面向金融文本和金融圖像分析創作,且“場景肯定有錯誤容忍度”。

實際上,大模型的實際落地與當初的預期存在一定落差。“大模型能解決的問題,比一開始想象的要少很多。”一位行業資深人士告訴數智前線。

造成這個落差的原因有多方面。從場景上說,ChatGPT剛出來時,大家對大模型有很多憧憬,一位云計算人士舉例,曾有企業找他咨詢,AI能不能替代采購,因為采購環節最易滋生腐敗,老板都想把這塊監管或考慮用技術取代。但采購不是一個簡單決策,需要綜合考量。

“很多企業要么完全不知道怎么用,要么就是天馬行空,但因為提出的場景復雜、決策鏈太長,實際做不到?!彼f。而另一些人士認為,大家可能把大模型與通用人工智能混為一談。

從技術角度看,在醫療、教育等一些專業度、準確度要求高的客服場景,大語言模型的幻覺是個問題。當他們把行業數據注入到基礎大模型時,不管是微調,還是其他手段,模型能吸納并能轉化成正確輸出的,大概有70%到80%。這就要求不得不用更多辦法,去處理那20%到30%的錯誤率。

但目前沒有特別低成本和快速的辦法。”上述人士反饋,很多東西需要去做強化學習和復雜的人工標定,所花的成本可能是現在成本基礎再乘以10甚至更多,這讓很多企業難以接受。

針對上述兩個問題,聚焦領域大模型開發的中關村科金技術副總裁張杰告訴數智前線,在場景選擇上,他覺得接下來適合大模型進一步落地的較好賽道,是專業性較高,且容錯性較高的場景,如企業知識問答、營銷機器人、坐席助手。而通用性太高或容錯性又比較低的場景,如自動駕駛,不是特別好的商業賽道。

從技術層面,張杰認為不是某一套大模型的應用技術路線,就可以非常完美地解決問題,他介紹了三種由淺入深的應用技術路線。

大模型落地,痛并堅持著

從落地實踐看,目前,前兩種接受度高?!斑@三種方法不是3選1,在具體場景下,肯定是一套組合拳。”他補充道。

“大家其實看到iPhone在2006就出來了,但整個移動互聯網時代的開啟是在2012年?!敝行沤ㄍ蹲C券研究所所長、武超則在不久前的行業會議上稱,“這個過程才剛剛開始”。

她認為大模型有幾個階段的演進,從能聽會說、能看會認開始,到能夠像人一樣去組合使用工具,從而讓每個人配一個“斯坦福畢業的助理”,再到通用人工智能中的會規劃、會決策。

行業在不斷深入探索。一位行業資深人士告訴數智前線,他們在做教育等行業,客戶數量較大,在將大模型融入業務工作流的過程中,遇到很多問題,“還在去尋找有沒有更能解決問題的方式”。

三、企業紛紛涌向開源大模型

在大模型落地的過程中,越來越多的國內企業開始采用開源大模型。

一位南方電網人士告訴數智前線,內部現在進行大模型嘗試時,“都是基于Llama吧”。Meta公司在今年7月發布了開源可商用大模型Llama 2,包含了70億、130億和700億參數3個版本。另一位南方電網人士稱,內部對不同開閉源模型正進行測試賽馬。

8月,金蝶發布的財務大模型,也基于開源大模型訓練而來。金蝶CTO趙燕錫告訴數智前線,就像手機操作系統有iOS、安卓一樣,開源模型要打造生成式AI的安卓系統,國內有像清華ChatGLM,國際上有MPT、Llama,未來是一個多模型合作的想法。

在金融領域落地中,有資深人士告訴數智前線,開源、閉源大模型都有,因為各金融機構體量不一,策略也不一樣。很多公司先在一個具體場景下用開源模型做出實際效果,再考慮復制推廣,也有幾個大行對平臺做一些戰略性投入,在閉源基礎大模型上,建了一個類似于中臺的平臺,期望將來同時對接多個場景?!安贿^,這種想法的客戶數量較少,而且就現在他們測試的結果而言,也沒有達到預期。”

“之前我們自己訓練了兩個不同參數的模型,最近我們也在用開源?!敝锌粕钪荂TO宋健告訴數智前線。他認為,目前絕大部分文本寫作、上下文匹配,130億參數的模型已夠用,而三四百億參數的模型,在解決很多垂類問題上已經足夠,無論國內百川,還是國外的Llama,效果都不錯。

一家物聯網公司技術高管告訴數智前線,目前開源大模型發展較快,開源社區也發布了很多模型,大部分基于Llama 2微調而來。“我們也測試過很多開源和閉源模型,由于我們的目標市場需要多語言支持,會更多考慮Llama 2。如果是面向國內市場,一些國內的模型也很優秀。”

“選擇開源和閉源,實際上各有優缺點。使用開源模型的好處主要是較為自由,包括部署、微調、升級和免費。閉源的好處是有質量保證,免自己部署和應用門檻較低。”上述資深人士介紹。

他選擇開源的一個重要原因是認為,目前開源模型的繁榮和水平提高呈現一個明顯趨勢。他打了一個比喻,開源大模型的水平就好比海平面,閉源大模型相當于一個個島嶼。目前這些島嶼上漲的速度,跟不上海平面上漲的速度,大部分島嶼將會被海水淹沒,可能世界上最后就剩下幾座上漲比較快的島嶼。

模型本身現在可選的很多,多位業內人士也贊同,開源和閉源不是客戶會關心的問題,“極少客戶會去指定用哪一款模型”。因為客戶并不直接使用基礎大模型,最終客戶是沒有感知的?!翱蛻舾P心的是精度、速度和價格。當然最終保證無害性、合法性,這是應用開發商必須解決的問題。”上述物聯網行業專家說。

張杰告訴數智前線,因為開源可商用大模型,每一款可能都有自己的優缺點,比如說有些適合做一些分類型的任務,有些性能比較好,有些可能就生成式的任務表現比較好,還是要根據具體場景,一些ROI的需求,選擇不同的模型。

“總體來講,我們覺得接下來大模型非常重要的趨勢,就是開源?!敝行沤ㄍ蹲C券武超則稱,非標準化的場景,非標準化的算力,這種架構決定開源可能會是一個比較趨同的方向。

四、大廠態度發生變化

開源世界的迅速繁榮,也正導致大模型生態鏈企業甚至底層芯片廠商的態度和策略發生一些微妙變化。

一家國內主流AI芯片企業人士告訴數智前線,Meta推出Llama 2開源模型后,呈現出的效果較好,這對目前市場上一些大模型來說是個絕殺。為此,他們已暫緩了對一些大模型的適配工作,觀望一下再說。

國內外大模型大廠也已迅速在策略上做出改變,普遍朝著“左手閉源,右手開源”的方向走。

在國外,微軟除了投資OpenAI閉源大模型,也和Meta實現牽手,宣布在其Azure云和Windows內上線開源的Llama 2。亞馬遜AWS、谷歌云也都在自研大模型基礎上,支持第三方和開源模型。

在國內,8月初,百度先宣布升級千帆大模型平臺,接入Llama2全系列、清華ChatGLM2、RWKV等33個大模型,并對這些模型進行性能增強、推理優化等工作;之后,阿里開源通義千問70億參數模型,包括通用模型Qwen-7B和對話模型Qwen-7B-Chat,稱“開源、免費、可商用”;而在8月16日,騰訊亦亮出新動作,宣布騰訊云TI平臺已接入Llama 2、Falcon、Dolly等20多個主流模型,旨在打造行業大模型精選商店。

大模型落地,痛并堅持著

大廠們何以會有如此“整齊劃一”的動作?

市場需求變化是一個因素。百度智能云AI與大數據平臺總經理忻舟告訴數智前線,他們發現市場需求已逐漸進入深水區,僅文心一言一個模型,不能滿足客戶多樣化需求,而如果能把一個平臺做好,“會有更多的流量”。

業界觀察,7月下旬,百度在對外表述中,已將原來的“文心千帆大模型平臺”轉變為“千帆大模型平臺”,在做“去文心化”。

另一個現實因素是,大廠們單個項目報價普遍在千萬元級別,閉源大模型暫時還沒能有足夠多的大項目落地。

此外,清華ChatGLM建立了有策略的、組合的商業模式,把小模型開源出去,吸引商機和生態,它的閉源大模型也可以為企業提供定制化服務。大模型廠商提供一個開源的但規模較小的大模型供大家使用,也是一種營銷模式。

一位熟悉阿里云的資深人士也表示,他猜測,上述這些因素也是阿里開源兩款大模型的重要原因之一?!白吡硗庖粭l路試試看?!?/p>

而大模型變現的通路,并不只是模型本身。

數智前線獲悉,華為在大模型上的考量,算力是重頭之一。7月底到8月初,任正非就大模型有兩次講話,均與算力相關。

先是成立AI算力先遣隊,由原煤礦軍團團長鄒志磊負責。任正非說,有4000個客戶想要用華為昇騰平臺去訓練大模型。華為也將可能在10月成立15個小組去分別服務15個客戶。之后,針對華為在《自然》雜志上發表的華為云盤古氣象大模型的論文,任正非也談及要“在新的淘金時代賣鏟子”。

無獨有偶,忻舟介紹,百度在大模型上的商業模式可分為兩個層面。從文心一言這個大模型的角度講,百度賺的是AI的錢。但千帆同時還是一個支持其他第三方模型的平臺,本質上“還是云的思路,賺云的錢”。

此外,開源對生態建設也是百利而無一害。畢竟大模型被認為是智能時代的操作系統,而操作系統比拼的是生態,百度智能云AI平臺副總經理李景秋認為,好的開源模型會極大吸引市場上創新公司關注大模型并參與其中,進而帶來整個上下游服務生態的完善。

今年7月,阿里云也對外喊出“將促進中國大模型生態的繁榮作為首要目標”的口號。“這就類似于原來開源軟件的模式,通過開源來吸引客戶,建立產品的社區?!币晃淮竽P皖I域資深人士表示。

該人士認為,無論國內國外、開源閉源,大模型的發布可能還會更多,具有通用基礎能力的大模型,可能會集中到少數幾個廠商,但具有行業細分的大模型,比較典型的像醫療、法律、教育,會有更多廠商去做。另外,基于大模型的能力做出來的應用級產品,會逐漸繁榮,形成一個新的生態和軟件開發模式,“比如最近比較火的MetaGPT和ToolLLM”。

作者:趙艷秋,周享玥????????????????????????????????????????????????????????;編輯:?;??????????????????????????????????????????????????????????????????????

來源公眾號:數智前線(ID:szqx1991),關注數字化和智能化。

本文由人人都是產品經理合作媒體 @數智前線 授權發布,未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!