怎么讓AI大模型連接外部世界，擴展其需要的能力，也可以讓大模型和系統可以更好地集成，增強確定性？這篇文章里，作者就拆解了GPT連接外部世界的三種方式，不妨來看一下。

上文簡單介紹了RAG的基本原理，RAG可以通過擴展大模型的知識庫，讓AI大模型變得更加“懂”我們。

今天我們來一起學習一下如何讓AI大模型連接外部世界。

一、為什么要讓大模型連接外部世界？

我們在上文中已經列舉了大模型的局限性：沒有實時性、無法獲取私有知識等。

在此基礎上，我們可以把大模型的局限性細化成以下幾條：

• 大模型獲取不到實時信息，完全不清楚所謂的新聞熱點，這一點很不像人類。
• 大模型掌握的知識是有限的，遇到不懂的問題，就會開始胡編亂造，令人頭痛。
• 大模型還沒掌握足夠的推理能力（至少目前還不夠），在處理較為復雜的問題時，準確性是存疑的，比如解決復雜的數學問題等。
• 大模型無法獲取企業的私有文檔（RAG可以一定程度上解決該問題）。
• 大模型無法獲取外部系統數據庫中的業務數據，比如地圖相關信息、張三在某平臺的消費記錄等。

我們會發現，不管大模型再怎么訓練，這些局限性依然會存在，并不會隨著大模型的繼續訓練而解決。

把大模型當人看的話，再聰明的人也不可能實時接收消化新知識、不可能拿到所有的私有數據、也就不可能獨自解決所有的問題，那么怎么才能讓大模型變得可靠又強大呢？

答案就是：找可靠的人一起協作，解決各種復雜問題。

大模型將復雜任務拆解成一個個子任務，遇到搞不定的子任務（或者有更可靠的小伙伴）時，就把問題拋給更專業的小伙伴，小伙伴把處理結果反饋給大模型，最終所有子任務都得到了更好的解決，大模型再根據子任務的處理結果，生成更加可靠的答案。

比如，大模型接收到一個任務“明天中午的天氣怎么樣？如果天氣好的話，想去國貿附近的麻六記吃飯，不知道人多不多”，首先把任務拆解為如下子任務：

1. 查詢明天中午的天氣。
2. 需要查詢國貿的位置。
3. 再查詢國貿附近麻六記的具體位置，確認該飯店是否存在。
4. 查詢麻六記的商家信息，方便打電話詢問或預約。

大模型看了看自己團隊里的人（接口），開始分配任務：

1. 任務1交給天氣接口，得到詳細的天氣信息。
2. 任務2交給地圖接口，得到國貿的位置。
3. 再拿著任務2的結果繼續讓地圖接口完成任務3，找到國貿附近的麻六記。
4. 最后再調用大眾點評接口完成任務4，查詢麻六記的商家信息。

一切搞定，交作業：“明天中午是個大晴天，這么好的天氣當然要出去耍啦。國貿附近的麻六記具體位置在xxxx，評分4.8分，一定非常美味，商家電話xxxx，您可以聯系商家預約位置。”

是不是靠譜多了？這個協作的模式其實就有些智能體Agent的意思了，我們下篇文章再細說Agent。

總之，連接外部世界后的大模型，可以擴展各種需要的能力，比較靠譜的完成各種復雜任務，也讓大模型和系統可以更好的集成，增強確定性。

接下來，我們來介紹一下GPT連接外部世界的三種方式。

二、GPTs：自定義版本的ChatGPT

GPTs是一個自定義版本的ChatGPT，允許用戶直接在界面上調整ChatGPT的功能以適應特定任務或者指令。

除了基本的GPT配置之外，GPTs還提供了三種能力：

1. 可以直接上傳私有知識庫文檔，自動實現RAG。
2. 內置了幾個通用能力（capability）：允許網絡瀏覽（遇到不懂的問題會自動搜索之后再生成內容）、允許使用DALL-E生成圖片（比如可以讓它根據輸入生成一張圖片）、代碼解釋器（可以使用python的大部分功能）。
3. 通過配置Actions來執行外部的動作，actions本質上就是一些我們可以執行的工具，類似于function calling，可以通過接口定義去調用其他應用的能力，這就相當于打通了GPT和其他應用的橋梁，可以互相協作，只需要配置接口定義信息即可。

看起來，GPTs既強大又方便，但是它卻又很多的限制：

• 只有ChatGPT Plus用戶才能訪問。
• 界面不可定制，不能集成進自己的產品。
• RAG功能，最多只能傳10個文件。

也就是說，GPTs相當于自己用提示詞和Actions擴展出一個定制功能的ChatGPT，但始終還是個ChatGPT。

GPTs雖然無法集成到自己的系統中，但比較適合作為功能演示的demo，和用戶解釋清楚系統的能力邊界。

三、Assistant API：將GPT集成到系統中的開發者接口

OpenAI的Assistant API是一個允許開發者在應用中集成GPT功能的接口。

簡單來說，GPTs是界面化的操作，Assistant API則是針對開發者提供的接口。

目前，Asssistant API支持三種工具：文件RAG、代碼解釋器和Function Calling。

Asssistant API有如下特點：

• 可以把GPT的功能集成到自己的系統中。
• 可以傳比GPTs更多的文件。
• 國內無法訪問，只能服務國外用戶（國產大模型或開源大模型也會陸續開放自己的Assistant API）。
• 數據保密需求不高時才適合使用。
• 收費，不便宜。

如果想擴展chatgpt的能力，讓它可以指揮其他的軟件去工作，那么就選擇GPTs。

如果想讓自己的軟件獲得ChatGPT的能力，得到AI加持，那么就適合Assistant API。

四、Function Calling機制：AI大模型連接外部世界的通道

Function Calling指的是在模型中集成外部功能或API的調用能力，可以看作是大模型連接外部世界的通道。

這意味著大模型可以在完成任務的過程中，調用外部函數或服務，以獲取額外的數據或執行特定的任務。

例如，大模型可以調用天氣API來獲取最新的天氣信息，或者調用翻譯服務來提供多語言支持。通過這種方式，大模型可以更加靈活地與外部系統進行交互，實現更豐富的功能和更高的實用性。

Function Calling通常涉及到插件（Plugins）、OpenAI的Actions或各大模型平臺提供的工具集（tools）等技術的使用。這些工具和技術可以幫助開發者更方便地實現Function Calling，提高模型的擴展性和可用性。

相比GPTs和Assistant API，Function Calling的核心優勢：

• 可以讓大模型與其它業務系統的集成更加靈活和方便。
• 可以針對業務需求做極致調優。

Function Calling的限制：

• 目前只有部分大模型支持Function Calling，但一定會陸續開放，沒有Function Calling的大模型無法和其他系統連接，幾乎沒有可用性。
• 接口定義會消耗額外的token，費錢。
• 即便使用了Function Calling，仍然要注意結果永遠不是永遠正確的，產品經理需要建立在這個假設基礎上，去推敲功能的可行性。
• 需要評估Bad Case的影響范圍，并做好系統兼容和用戶預期管理。

Function Calling機制的重要意義

• 理論上來說，通過Function Calling，任何功能都可以和大模型結合，提供更好的用戶體驗。
• Function Calling機制是AI Agent化的重要組成部分。
• Function Calling給大模型的應用提供了無數的可能性，長期來看，落地過程中的各種幻覺問題一定會得到優化和解決，路途只會越來越平坦，前方只會越來越光明。

五、總結

本文主要介紹了AI大模型連接外部世界的重大意義，下篇文章，我會介紹本文示例中提到的AI Agent（智能體），敬請期待。