【大模型】企業(yè)內(nèi)部如何快速應(yīng)用GPT為我們提效——產(chǎn)品經(jīng)理視角
大模型出現(xiàn)之后,許多企業(yè)看到了提效的新方向。那么,企業(yè)內(nèi)部可以如何快速應(yīng)用大模型、Agent等技術(shù)來實現(xiàn)提效?這篇文章里,作者結(jié)合自己的思考做出了一定梳理,一起來看。
企業(yè)內(nèi)部使用大模型,底線是在安全允許的范圍內(nèi),……
模型本身是不直接產(chǎn)生價值的,基于基礎(chǔ)大模型開發(fā)出來的應(yīng)用才是模型存在的意義。本文作者從8個方面簡析企業(yè)內(nèi)部如何快速應(yīng)用大模型、Agent等技術(shù)來提效,希望對你有所幫助。
一、如何用好大模型,讓它發(fā)揮最大價值?
兩條路子,finetune、prompt。代理傳統(tǒng)Bert類模型的微調(diào)訓(xùn)練的方式,使用更為高效的Prompt來指導(dǎo)LLM(即Prompt Engineer 又稱為 In-Context Prompt),使其產(chǎn)生出期望的結(jié)果,無需改變模型的權(quán)重。
二、大模型應(yīng)用領(lǐng)域
當(dāng)前看大模型冷啟動成本較低,泛化能力強(qiáng),而小模型的可解釋性和準(zhǔn)確性勝出(行業(yè)發(fā)展非常之快,這一點在某些領(lǐng)域可以已經(jīng)反轉(zhuǎn),受限于筆者的學(xué)識,難免局限,還望批評指正)。
各應(yīng)用場景對可解釋性,準(zhǔn)確性要求較高,現(xiàn)階段大、小模型結(jié)合落地的主流方式有兩種。
第一種為將大模型與小模型進(jìn)行級聯(lián)。例如使用大模型從復(fù)雜數(shù)據(jù)源中抓取客戶歷史交易記錄,溝通信息等,對數(shù)據(jù)進(jìn)行自動打標(biāo),并輸出結(jié)構(gòu)化數(shù)據(jù),用以豐富小模型數(shù)據(jù)集,提高小模型預(yù)測效果。
第二種為使用大模型作為小模型解決問題的中樞大腦。例如,利用大模型將復(fù)雜問題拆解為解決步驟,并在各步驟調(diào)用小模型能力,最后通過大模型進(jìn)行總結(jié)性輸出。
應(yīng)用場景:匯集智慧、喚醒沉睡知識、眾創(chuàng)數(shù)據(jù)價值、數(shù)字分身等。
三、在什么條件下,大模型才能更好地發(fā)揮價值?
大模型應(yīng)用走得較快的企業(yè),有三個共同點:
其一,是技術(shù)上的積累達(dá)標(biāo)(可以讓大模型run起來)。
其二,數(shù)字化建設(shè)方面做得比較扎實。在數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)服務(wù)、數(shù)據(jù)安全管控、數(shù)智融合架構(gòu)等方面,有較為扎實的基礎(chǔ)。
大模型訓(xùn)練80%的時間都花在數(shù)據(jù)準(zhǔn)備上。如果能打通數(shù)據(jù)和AI孤島,讓大模型直接在數(shù)據(jù)/信息(結(jié)構(gòu)化、非結(jié)構(gòu)化or半結(jié)構(gòu)化)所在的集群上運行,無需搬運,就可以節(jié)省大量的時間和資源。其次,是業(yè)務(wù)流程清晰、明確。已經(jīng)梳理、甚至是優(yōu)化成標(biāo)準(zhǔn)的業(yè)務(wù)流程、規(guī)范。如果再有可衡量的指標(biāo)作為check標(biāo)尺,就更為加分。
其三,也是最關(guān)鍵的,需要有一群先驅(qū),能起到帶領(lǐng)、試驗、示范的作用,快速試錯、探路子,進(jìn)而帶動企業(yè)內(nèi)部更多的人參與進(jìn)來。實現(xiàn)從點、到線、到面、到空間的立體式多渠道的突破。
當(dāng)一個新事物出現(xiàn)時,往往有下圖的5類人出現(xiàn)。他們會依次接受新技術(shù)的變更。當(dāng)灰色的謹(jǐn)慎派、遲鈍派群體過大時,想推進(jìn)下去是非常難得。特別是當(dāng)反對派的聲音占據(jù)優(yōu)勢時,甚至?xí)⒌粝闰?qū)創(chuàng)造的一點點領(lǐng)先優(yōu)勢~。面對大模型,我們自問,我是誰?
四、大模型固有的問題/短板有哪些?
- 信息高效過濾。
- 抑制幻覺問題,準(zhǔn)確性問題,絕對不能出錯。
- 專業(yè)任務(wù)適配。
- 交互定制。
- 推理答案需要一定時間,而語音通話場景對延時要求較小,大模型無法滿足。
- 工業(yè)、金融領(lǐng)域大模型還面臨著關(guān)鍵性任務(wù)和動態(tài)適應(yīng)性、個性化要求和隱私保護(hù)、群體智能與安全可信和基礎(chǔ)設(shè)施的能力四大難題待解決。
相信隨著大模型領(lǐng)域的高速發(fā)展,如上這些問題正在日新月異的被突破,每天的晨報都能給我們帶來令人欣喜的消息。
五、在哪些場景下,更適合讓大模型發(fā)揮作用?
六、企業(yè)應(yīng)用大模型的五個階段
企業(yè)用戶對大模型的應(yīng)用,可以分為5個層級:
- 簡單對話;
- PROMT做角色定向問答;
- 基于公司內(nèi)的知識做專業(yè)問答;
- 拓展GPT,使用插件,讓大模型反饋更精準(zhǔn)的信息、做推理,做簡單的Agent;
- Agent簇,讓Agent組成一支隊伍,完全代替人執(zhí)行。
七、使用大模型的工作流程
1. 業(yè)務(wù)痛點梳理。
2. 明確模型、知識等基礎(chǔ)組件。
3. 安全評估。
4. 搭建Agent,以查詢(Query)模式為例:
- Step1.自然語言提問(ChatBot)
- Step 2.Al智能實時查詢(Text to Query)
- Step3.數(shù)據(jù)處理(Data Format)
- Step 4.數(shù)據(jù)組合(Template Render)生成報告(Data to Report Agent)
- Step 5.生成回答(ChatBot)
- Step 6.追問(LangChain ->Function Chaining)
5. 灰度上線運營。
6. 上線后效果評估(AB),持續(xù)優(yōu)化。
八、企業(yè)內(nèi)部要建設(shè)LLM應(yīng)用平臺嗎?
如何讓企業(yè)內(nèi)部快速的把大模型用起來呢?有三條路子可以走:
- 針對有一定資源(技術(shù)儲備、人才儲備、現(xiàn)金儲備等),可以企業(yè)內(nèi)部快速搭建GPT應(yīng)用平臺。賦能業(yè)務(wù)和運營,全員擁抱大模型時代,尋找應(yīng)用突破口,類似紅衣教主、類似百度內(nèi)部的做法。
- 或者購買第三方的服務(wù),比如百度、字節(jié)、阿里、科大訊飛、商湯等產(chǎn)品。
- 再小范圍的,買微軟的Copilot賬號(包月),最小范圍的讓研發(fā)同學(xué)用起來,讓聽得到炮火的人,先跑起來。
關(guān)鍵詞:Agent、Chat GPT、生成式AI、AIGC、LLM、AGI、SQL、大模型應(yīng)用。
作者:楊姝,黃帥,岑錦超
本文由@shucay 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!