本文將深入探討增強檢索技術的關鍵步驟、應用領域及其優勢與局限性，揭示如何通過這項技術提升模型輸出的可信度和專業性，同時確保對最新數據的訪問。

一、什么是增強檢索

LLMs 外掛一個“LLMs 外掛一個“實時更新的知識庫”，使用外部數據提高LLMs的準確性專業性。

二、解決了什么問題

模型誤導輸出/知識缺乏實效性/垂直領域知識不足

三、應用領域

很通用，問答系統/內容摘要/對話系統/文本生成等

四、關鍵步驟

1. 在接到輸入時，檢索一組與之相關的文檔或信息片段

• 對于于這個輸入構建一個或多個查詢。
• 這些查詢從一個大型的數據存儲（如文本數據庫或知識庫）中檢索相關信息。

2. 將這些檢索到的信息與輸入結合起來，作為生成模型的輸入

• 模型通過一個檢索系統（通常是預先訓練好的檢索模型或者是簡單的基于關鍵詞的檢索系統）在數據存儲中搜索相關的文檔/信息片段
• 返回一組與查詢最相關的文檔/信息片段，隨后被編碼為向量形式。通常使用預訓練的語言模型（如BERT、RoBERTa等）來完成。
• 融編碼后的文檔向量與原始查詢的表示被融合，作為生成模型的輸入。生成模型（如GPT）然后根據這些信息生成最終的輸出文本。
• 生成模型不僅考慮了原始輸入的信息，也考慮了檢索到的相關信息。

3. 生成更加準確和信息豐富的文本

• 生成模型輸出的文本被呈現給用戶，作為對原始查詢的回答或補充信息。

五、優勢

1. 成本低，無需模型訓練

通過檢索現有的知識庫，增強模型的回復質量，相比fine-tune的微調模型而言，成本更低，無需對模型進行重新訓練。

2. 增強模型輸出的可信度

Reg生成的回答可以附帶對應的引用來源，用戶點擊引用來源后，可以查看對應的引用內容，可以隨時驗證模型回答的準確性，從而增加對模型輸出的信任。

3. 增強模型輸出的專業性

通過檢索知識庫中的信息，可以有效減少模型作出錯誤判斷的可能性，并且通過檢索知識庫加上提示詞的優化可以滿足不同行業或者客群的定制話需求

4. 能夠始終訪問最新的數據

知識庫可以實時更新便于調用最新的信息和數據，對于實時需要獲取信息的領域尤為重要，比如教育醫療和金融領域。

六、局限性

不能根治LLM的本質局限。

不會改變推理能力，模型參數不變，模型固有能力不變，如果模型本身參數不足，在理解和推理上存在固有的缺陷，單純用Rag技術，也無法提高模型的輸出質量。