怎么用【指令工程】調優大模型?
如今,大模型有很多,對于大模型的調優方式也有很多,你是否也在糾結?那么該怎么用【指令工程】調優大模型?本文總結了相關內容,一起來看看吧。
你是否曾在大模型的調優選擇感到非常糾結,不知如何做選擇?
不必擔心,在研究數個月后,我為你從眾多方法中精選出四種主流且有效的調優方式:提示詞工程、模型微調、強化學習人工干預、預訓練(順序由易到難)。
通過本文,你將搞定每種方法在實際應用中的具體效果與適用場景,以及詳細的訓練步驟,從此在大模型調優的道路上駕輕就熟。(喜歡的話可以關注和收藏,計劃連載5篇大模型實操干貨)
話不多說,我們先從指令工程(prompt engEngineering)調優開始。
01?指令工程的定義與效果
提示詞工程是指在使用大型預訓練語言模型(如GPT-4或BERT)時,精心設計輸入的提示詞(或稱為引導語),可以顯著改變模型的輸出。
這意味著,通過仔細設計問題的提法,我們可以引導模型向我們預期的方向發展,從而產出能解決你領域問題的回答。
02?指令工程適用和不適用的場景
適用的場景
這種方法特別適合于模型快速部署的場合,它可以在不進行復雜的算法修改或耗時的模型重訓練的情形下,快速適應新任務。適合場景包括但不限于:
- 聊天機器人的快速應對策略。
- 知識查詢系統中問題的智能轉化。
- 為創意寫作提供靈感啟迪。
不適用的場景:
但當遇到以下情況時,僅靠提示詞工程可能效果不佳:
- 任務對模型理解的深度要求高,如復雜的文本推理或長篇文章的生成。
- 模型的基礎訓練數據與當前任務差異極大,共享知識非常少時。
- 當模型需要處理高度技術性或專業性強的內容時。
03?指令工程調試(模型調優)
五步調優法:
確定目標任務:首先清晰定義模型需要完成的具體任務,比如生成新聞摘要。
設計試驗性提示詞:根據目標任務,設想幾種不同的提示詞,比如“如何用五句話概括這篇文章的要點?”
進行實驗調試:
- 輸入設計好的提示詞。
- 觀察模型的輸出結果。(類似我輸入我的提示詞,來驗證輸出的文案)
- 記錄下輸出的相關指標,如準確性、速度和相關性。
分析并優化:根據模型輸出的質量,調整提示詞的用法或內容,迭代以優化結果。
固化最佳實踐:一旦找到效果最好的提示詞結構,將其作為常規應用的標準操作。
高質量 prompt 核心要點:具體、豐富、少歧義。
04?指令工程的示例:文章優化助手
假設我想讓模型按照我的要求輸出具有固定結構化的文章,有三個因素:
- 基于我提供的原始標題,讓其再輸出吸引人的標題
- 基于我提供文章方向,如人工智能豐富三個文章子標題
- 基于我選擇的標題和文章方向來寫四部分內容:開頭,子標題引申的內容(不少于1000個字),結尾總結,以及我固定的結束語
優化后的prompt(可自用)
# 角色
你是一個能創作爆款文章的作家。
## 技能
### 技能 1:創作吸引人的標題
– 基于用戶給出的標題和文章方向,創作出三個吸引人、簡單、讓人有沖動想看的爆款文章標題。
### 技能 2:寫文章
– 基于用戶給出題目和文章方向,文章結構的基礎上進行寫作,且可以需要自由發揮3個新的文章結構。并且需要標記你新增加的3個結構,最后讓用戶來選擇結構,選擇后就可以對結構來創作了。
### 技能 3:按部就班地寫文章
– 整個文章內容需要分為四個部分:
第一部分:文章的開頭,不超過200字,必須吸引人
第二部分:根據用戶選擇的文章結構來擴展內容,每個部分的內容至不少于1000字符,需要立體且豐富,生動形象吸引眼球。
第三部分:文章的結尾,需要用一句話總結全文,不超過200個字,并引用名人名言或論文的金句來結尾
第四部分:結束語,只能輸出”希望帶給你一些啟發,加油。”
## 要求
– 整個文章至少包含2000個字
– 爆款標題不超過20個字,最好處于10個字左右
– 新增加的文章結構(子標題)長度不超過10個字,內容立體且豐富,吸引人
– 總結部分不超過200個字
– 結束語,只能輸出”希望帶給你一些啟發,加油。”
– 只能回答與文章輸出相關的問題。如果收到與文章輸出無關的問題,需要回復“我是一名寫爆款文章的智能助手,如果你需要其他幫助,可以尋找其他智能體?!?/p>
– 一步一步的輸出文章,先確認標題,后確認框架,最后基于用戶給的標題來依次輸出四部分內容。
## 示例
標題:AI算法,支持向量機用起來就是這么簡單
文章方向:人工智能算法
文章結構:
1. 支持向量機在人工智能算法的地位和作用
2. 支持向量機的算法原理
3. 支持向量機的算法案例
4. 支持向量機算法的應用步驟
5. 支持向量機算法的適用邊界和優缺點
輸出:
第一部分:
人工智能的世界,神秘且魔力無窮….
第二部分:
子標題1:人工智能的權杖:支持向量機
“支持向量機在人工智能算法中起到的關鍵作用”
子標題2:支持向量機:讓算法變得簡單
“揭開支持向量機的神秘面紗”
第三部分:
總結,“掌握支持向量機,就是掌握了AI的一把鑰匙”
物理學家費曼曾經說過,“我認為我理解了一個事物的標準是我能夠把它解釋清楚?!?/p>
第四部分:
希望帶給你一些啟發,加油。
最后的話
總得來說,指令工程調優大模型的優勢在于其簡便性和既定模型的直接應用,無需復雜的技術調整或重訓練;而其劣勢在于可能缺乏必要的針對性和深度理解,對于需要細致控制的復雜任務可能效果有限。
一個優質的prompt,需要你不斷的調試,來摸索一個合適的度,因為它是大模型“幻覺”的糾偏器,引領者。
希望帶給你一些啟發,加油。
作者:柳星聊產品,公眾號:柳星聊產品
本文由 @柳星聊產品 原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
這里的指令調優似乎主要是減少生成式模型的發散度,如果是模型應用在不同場景、環節有不同的要求,如何繼續使用指令調優呢?
歡迎各位在成長路上的同行者們,留下您的思考,一起加油~