大語言模型:LLM的高階應用「工具和插件」
在AI大模型如火如荼的今天,如何充分發(fā)揮LLM的潛力,成為業(yè)界關注的焦點。本文將帶你深入探索LLM的高階應用——工具和插件,揭秘它們如何擴展LLM的能力邊界,解決實際應用中的痛點。正如工匠需借助精良工具方能打造傳世之作,LLM亦需借助工具和插件,才能在職場中發(fā)揮出最大的價值。
之前有段時間,網上對于AI大模型比較9.9和9.11那個大的問題,引發(fā)了一波大眾對AI大模型的質疑。
當你了解LLM的原理后,就知道背后的原因是因為LLM本身不具備數學能力而導致的,它只能進行文本預測。
那么當在使用LLM構建應用程序時,LLM本身又不具備某些能力時,該怎么辦呢?
這時候,就涉及到工具的使用了。例如用戶和你的智能客服進行訂單狀態(tài)咨詢時,你需要LLM能夠借助sql語句來查詢你的數據庫,然后回復用戶等。
目前市場上大部分的LLM提供的工具服務,主要分2種類型:工具函數,和插件工具。工具函數:用戶根據自己項目的需要,通過自定義函數來實現一系列能力的擴展。
插件:開發(fā)者可以基于自己的API服務構建插件,可上架到GPTSstore中,供第三方使用。
雖然這2種方式有很多地方很像,但是終歸是不同的發(fā)展定位。工具函數,更像是LLM平臺提供的一種擴展,而這個擴展能力僅得使用方自己來開發(fā)且無法向外推廣。
而類似于GPTs的插件工具,則是一種生態(tài)的構建,插件開發(fā)好之后即可以自己用,也可以上架到GPTstore中供第三方使用。在國內,雖然沒有插件市場,但是卻形成了類似于扣子的智能體市場,提倡Agent即服務的思想。
不管是工具函數、插件、還是智能體平臺,都是在不斷擴大LLM的能力邊界,雖然目前GPTs發(fā)展的并不理想,但是從長遠發(fā)展來看,這3個因其定位不同,都有很大的市場空間。
目前GPT Store僅對Plus會員開放,因其中智能體的同質化嚴重,用戶槽點較多,可能短時間很難發(fā)展起來,所以這里我們就先不考慮插件這種方式
我們以kimi為例,來介紹它的函數工具。如果不嫌麻煩的話,可以直接查看官方的API文檔:https://platform.moonshot.cn/docs/api/tool_use
在工具的使用上,kimi一方面支持自定義函數工具,另一方面也提供了最常用,聯網搜索的內置工具($web_search),不過這個內置的聯網搜索工具函數除了額外的Tokens消耗外,還需再收取一次調用費用,價格為 ¥0.03/次。
我們這里主要介紹一下,Kimi的自定義函數工具,國內其他的LLM所提供的函數工具,基本上也都差不多。整體流程如下
上圖是官方給的一個時序圖,如果不懂技術的伙伴,可以直接看下面這張圖,邏輯都是一樣的。
那么工具的使用(Tool Use)具體是怎么實現的呢?這里放一個官方示例,來感以下:
雖然代碼有點兒長,不過還是比較好理解,在kimi中使用工具,需要先定義好tools,包括:
函數名:即調用的函數名;
函數描述:即函數的作用,以及什么情況下LLM出發(fā)此函數,這部分需要不斷的調整和測試,盡可能的覆蓋所有的函數調用場景。函數參數:即函數的入參,LLM可以從用戶的提問中,來提取入參。
在tools中定義好函數后,后面就是具體的函數代碼實現,以及函數的調用了。
以上便是LLM的工具使用,由于篇幅限制,感興趣的伙伴可以直接閱讀官方文檔,學習更細節(jié)的內容。
另外就是,有沒有一種開箱即用的工具箱呢?可以根據我們的需求來進行調用,當然有。在LangChain框架中,內置了很多工具,如下圖所示:
使用這些工具的前提是,你必須得使用LangChain框架,而LangChain框架,也是目前基于AI大模型進行應用開發(fā)最強大的框架,不過需要注意的是,LangChain目前迭代的速度非??欤@意味著不太穩(wěn)定性,在真實的業(yè)務中,如果不是極度依賴LLM那么還是建議基于LLM平臺的API來構建應用即可。
好了今天的分享就先到這,感謝觀看。
撰文: 長弓PM
本文由人人都是產品經理作者【長弓PM】,微信公眾號:【AI產品經理社】,原創(chuàng)/授權 發(fā)布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
- 目前還沒評論,等你發(fā)揮!