ChatGPT是OpenAI研發的一款基于GPT-3.5架構的聊天機器人程序，能夠基于預訓練模式和統計規律，生成回答和互動，還能完成各種文本任務，但大家了解ChatGPT實際上是如何工作的嗎？下面這篇文章筆者講述關于這個的內容，大家一起來看看吧！

我們深入研究了廣受歡迎的人工智能聊天機器人 ChatGPT 的內部工作原理，才能更好的去開發和使用它。

Google、Wolfram Alpha 和ChatGPT都通過單行文本輸入字段與用戶交互并提供文本結果。谷歌返回搜索結果、網頁和文章列表（希望）提供與搜索查詢相關的信息。Wolfram Alpha 通常提供與數學和數據分析相關的答案。

相比之下，ChatGPT 根據用戶問題背后的上下文和意圖提供響應。例如，你不能要求 Google 寫一個故事或要求 Wolfram Alpha 編寫一個代碼模塊，但 ChatGPT 可以做這些事情。

從根本上來說，Google 的強大之處在于能夠進行大量數據庫查找并提供一系列匹配。Wolfram Alpha 的強大之處在于能夠解析與數據相關的問題并根據這些問題執行計算。

ChatGPT 的強大之處在于能夠根據世界上大多數可數字訪問的基于文本的信息（至少是 2021 年之前訓練時存在的信息）解析查詢并生成完全充實的答案和結果。

在本文中，我們將了解 ChatGPT 操作的主要階段。

一、ChatGPT 操作的兩個主要階段

我們再用谷歌來打個比方。當你要求谷歌查找某些內容時，它不會在你提出要求的那一刻去搜索整個網絡來尋找答案。它只會會在其數據庫中搜索與該請求匹配的頁面。Google 實際上有兩個主要階段：蜘蛛抓取和數據收集階段，以及用戶交互/查找階段。

粗略地說，ChatGPT 的工作原理是相同的。數據收集階段稱為預訓練，而用戶響應階段稱為推理。生成式人工智能背后的魔力及其突然爆發的原因是預訓練的工作方式突然被證明具有巨大的可擴展性。這種可擴展性是通過最近在經濟實惠的硬件技術和云計算方面的創新而實現的。

二、人工智能預訓練的工作原理

一般來說，人工智能使用兩種主要方法進行預訓練：監督和非監督。對于大多數人工智能項目，直到當前的生成式人工智能系統（如 ChatGPT），都使用了監督方法。

監督預訓練是在標記數據集上訓練模型的過程，其中每個輸入都與相應的輸出相關聯。

例如，人工智能可以在客戶服務對話數據集上進行訓練，其中用戶的問題和投訴被標記為客戶服務代表的適當答復。為了訓練人工智能，需要提出諸如“如何重置密碼？”之類的問題。將作為用戶輸入提供，并且諸如“你可以通過訪問我們網站上的帳戶設置頁面并按照提示操作來重置密碼”之類的答案將作為輸出提供。

在監督訓練方法中，整個模型被訓練以學習可以準確地將輸入映射到輸出的映射函數。該過程通常用于監督學習任務，例如分類、回歸和序列標記。

但是其擴展方式是有限的。人類培訓師必須花很大力氣來預測所有的輸入和輸出。培訓可能需要很長時間，并且主題專業知識有限。

但正如我們所知，ChatGPT 在主題專業知識方面幾乎沒有限制。你可以讓它為《星際迷航》中的邁爾斯·奧布萊恩酋長寫一份簡歷，讓它解釋量子物理，寫一段代碼，寫一篇短篇小說，并比較美國前總統的執政風格狀態。

不可能預測所有會被問到的問題，因此 ChatGPT 確實不可能用監督模型進行訓練。相反，ChatGPT 使用無監督預訓練——這就是游戲規則的改變者。

無監督預訓練是根據數據訓練模型的過程，其中每個輸入都沒有關聯特定的輸出。相反，模型經過訓練來學習輸入數據中的底層結構和模式，而無需考慮任何特定任務。該過程通常用于無監督學習任務，例如聚類、異常檢測和降維。在語言建模的背景下，無監督預訓練可用于訓練模型理解自然語言的語法和語義，使其能夠在會話上下文中生成連貫且有意義的文本。

在這里，ChatGPT 看似無限的知識成為可能。因為開發人員不需要知道輸入的輸出，所以他們所要做的就是將越來越多的信息轉儲到 ChatGPT 預訓練機制中，這稱為基于 Transformer 的語言建模。

三、Transformer架構

Transformer架構是一種用于處理自然語言數據的神經網絡。神經網絡通過互連節點層處理信息來模擬人腦的工作方式。將神經網絡想象成一個曲棍球隊：每個球員都有一個角色，但他們在具有特定角色的球員之間來回傳遞冰球，所有人一起努力得分。

Transformer 架構在進行預測時，通過使用“自注意力”來權衡序列中不同單詞的重要性來處理單詞序列。自我注意力類似于讀者回顧前一個句子或段落以了解理解書中新單詞所需的上下文的方式。轉換器查看序列中的所有單詞，以了解上下文以及單詞之間的關系。

在訓練期間，Transformer會獲得輸入數據（例如句子），并被要求根據該輸入進行預測。該模型根據其預測與實際輸出的匹配程度進行更新。通過這個過程，Transformer學習理解序列中單詞之間的上下文和關系，使其成為自然語言處理任務（例如語言翻譯和文本生成）的強大工具。

但是這些模型可能會生成有害或有偏見的內容，因為它們可能會學習訓練數據中存在的模式和偏見。實施這些模型的公司正在嘗試提供“護欄”，但這些護欄本身可能會引起問題。這是因為不同的人有不同的觀點，而試圖防止基于一種思想流派的偏見可能會被另一種思想流派聲稱為偏見?？紤]到整個社會的復雜性，這使得通用聊天機器人的設計變得困難。

我們首先討論輸入 ChatGPT 的數據，然后看看 ChatGPT 和自然語言的用戶交互階段。

四、ChatGPT 的訓練數據集

用于訓練 ChatGPT 的數據集非常龐大。ChatGPT 基于GPT-3（生成式預訓練 Transformer 3）架構。ChatGPT 的免費版本是在 CPT-3 上進行訓練的。如果你每月支付 20 美元購買 ChatGPT Plus，可以選擇使用GPT-3 訓練數據集或更廣泛的 GPT-4 數據集。

如此大量的數據使 ChatGPT 能夠以前所未有的規模學習自然語言中單詞和短語之間的模式和關系，這也是它能夠如此有效地為用戶查詢生成連貫且上下文相關的響應的原因之一。

雖然 ChatGPT 基于 GPT-3 架構，但它已在不同的數據集上進行了微調，并針對對話用例進行了優化。這使得它能夠為通過聊天界面與其交互的用戶提供更加個性化和引人入勝的體驗。

例如，OpenAI發布了一個名為Persona-Chat 的數據集，專門用于訓練 ChatGPT 等會話式 AI 模型。該數據集由兩個人類參與者之間的超過 160,000 條對話組成，每個參與者都被分配了一個獨特的角色來描述他們的背景、興趣和個性。這使得 ChatGPT 能夠學習如何生成個性化且與對話的特定上下文相關的響應。

除了 Persona-Chat 之外，還有許多其他對話數據集用于微調 ChatGPT：

• 康奈爾電影對話語料庫：包含電影腳本中角色之間對話的數據集。它包含 10,000 多個電影角色對之間的 200,000 多次對話，涵蓋各種主題和類型。
• Ubuntu 對話語料庫：尋求技術支持的用戶與 Ubuntu 社區支持團隊之間多輪對話的集合。它包含超過 100 萬個對話，使其成為用于對話系統研究的最大的公開數據集之一。
• DailyDialog：各種主題的人與人對話的集合，從日常生活對話到有關社會問題的討論。數據集中的每個對話都由幾個回合組成，并標有一組情感、情緒和主題信息。

除了這些數據集之外，ChatGPT 還接受了互聯網上大量非結構化數據的訓練，包括網站、書籍和其他文本源。這使得 ChatGPT 能夠從更一般的意義上了解語言的結構和模式，然后可以針對對話管理或情感分析等特定應用進行微調。

總體而言，用于微調 ChatGPT 的訓練數據本質上通常是對話性的，并且專門包含人類之間的對話，這使得 ChatGPT 能夠學習如何以對話格式生成自然且引人入勝的響應。

以這種方式思考 ChatGPT 的無監督訓練：它被輸入大量數據，并留給自己的設備來尋找模式并理解這一切。這就是新的生成式人工智能系統能夠如此迅速擴展的機制。

雖然 ChatGPT 生成式人工智能的繁重工作是通過預訓練完成的，但它還必須能夠理解問題并從所有數據中構建答案。這是由自然語言處理和對話管理組成的推理階段完成的。

五、自然語言處理

自然語言處理（NLP）專注于使計算機能夠理解、解釋和生成人類語言。隨著數字數據的指數級增長和自然語言界面的日益使用，NLP 已成為許多企業的關鍵技術。

NLP 技術可用于廣泛的應用，包括情感分析、聊天機器人、語音識別和翻譯。通過利用 NLP，企業可以自動化任務、改善客戶服務，并從客戶反饋和社交媒體帖子中獲得有價值的見解。

實施 NLP 的關鍵挑戰之一是處理人類語言的復雜性和歧義性。NLP 算法需要接受大量數據的訓練，才能識別模式并學習語言的細微差別。它們還需要不斷完善和更新，以跟上語言使用和上下文的變化。

該技術的工作原理是將語言輸入（例如句子或段落）分解為更小的組件，并分析它們的含義和關系以生成見解或響應。NLP 技術結合使用統計建模、機器學習和深度學習等技術來識別模式并從大量數據中學習，以便準確地解釋和生成語言。

六、對話管理

ChatGPT 可以提出后續問題來更好地了解你的需求，并提供對于整個對話歷史記錄的個性化響應。

這就是 ChatGPT 能夠以自然且有吸引力的方式與用戶進行多輪對話的方式。它涉及使用算法和機器學習技術來理解對話的上下文并在與用戶的多次交流中維護它。

對話管理是自然語言處理的一個重要方面，因為它允許計算機程序以一種感覺更像對話而不是一系列一次性交互的方式與人交互。這有助于與用戶建立信任和互動，并最終為用戶和使用該程序的組織帶來更好的結果。

當然，營銷人員希望擴大信任的建立方式，但這也是一個可能令人恐懼的領域，因為這是人工智能可能操縱其使用者的一種方式。