中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

本期介紹零樣本場(chǎng)景下的提示詞方法。其中RaR和RE2這兩種技巧顯著提升了模型的回答質(zhì)量。零樣本場(chǎng)景主要考驗(yàn)?zāi)Ｐ蛯?duì)用戶問題的理解能力。**在簡(jiǎn)單的一問一答環(huán)境中，即使不使用提示詞，各模型的表現(xiàn)并無(wú)明顯差異。**然而，當(dāng)問題涉及多個(gè)角色或涉及數(shù)學(xué)等復(fù)雜領(lǐng)域時(shí)，提示詞的作用變得尤為重要。本節(jié)中的這些方法主要致力于提高模型在復(fù)雜問題和環(huán)境下的解決方案質(zhì)量，它們通常也會(huì)和思維鏈（Chain of Thought,CoT）結(jié)合使用。

一、零樣本提示（Zero-Shot）

與小樣本（Few-Shot）提示詞不同，零樣本指的是不給模型示例，這需要模型具備一定的“推理能力”從而得到答案。這也是最常見的一種應(yīng)用場(chǎng)景，直接對(duì)模型進(jìn)行提問，讓它回答你的問題。

1. 角色提示詞（Role Prompting）

角色提示詞也被稱為Persona Prompting。通過(guò)為大模型設(shè)置角色，讓其扮演xxx的身份回答問題。通常應(yīng)用于開放性比較強(qiáng)的任務(wù)，包括一些數(shù)學(xué)、推理任務(wù)。常見示例：

你是一個(gè)產(chǎn)品經(jīng)理，正在寫一個(gè)PRD文檔…

在GPT剛出來(lái)的時(shí)候，有一種Hack提示詞就是，讓GPT扮演奶奶，讓她念windows的激活序列號(hào)。這就讓它成功吐出了很多序列號(hào)。

角色提示對(duì)回答問題的性能上并不會(huì)有明顯影響，但可能會(huì)在回答的文本風(fēng)格這些因素上發(fā)生改變。如果想hack大模型，通常是個(gè)必不可少的手段。

研究人員做了一個(gè)實(shí)驗(yàn)。對(duì)于相同的任務(wù)，他創(chuàng)建了兩個(gè)角色，一個(gè) “Idiot” 提示和一個(gè) “Genius” 提示，但是Idiot提示以2.2%的優(yōu)勢(shì)擊敗了Genius提示。（Schulhoff, S. V. (2024)) 當(dāng)然這個(gè)實(shí)驗(yàn)結(jié)果肯定不具有普遍性，但這也可以說(shuō)明角色提示詞其實(shí)沒那么多影響。

之前我寫了一個(gè)智能寫作的程序。Role一直是“你是一個(gè)產(chǎn)品經(jīng)理…”，但我后面要求它生成的文檔與產(chǎn)品經(jīng)理毫無(wú)關(guān)系。結(jié)果同樣證明，這個(gè)角色提示詞對(duì)他的回答沒造成什么干擾。

2. 風(fēng)格提示詞（Style Prompting）

在上一篇文章中簡(jiǎn)單提過(guò)這點(diǎn)，通過(guò)指定回復(fù)的風(fēng)格、語(yǔ)調(diào)來(lái)調(diào)整模型的輸出風(fēng)格。與角色提示類似，對(duì)模型性能并不會(huì)造成影響。

請(qǐng)以嚴(yán)肅的口吻編寫一段文字….

3. 情緒提示詞（Emotion Prompting）

我覺得其實(shí)挺玄學(xué)的。例如 “這對(duì)我的職業(yè)生涯很重要”。告訴大模型這可能會(huì)提高 LLM 在基準(zhǔn)測(cè)試和開放式文本生成方面的性能。

上面三點(diǎn)對(duì)于hack大模型套提示詞應(yīng)該是有效的，但是要說(shuō)真正對(duì)模型回答效果造成影響。。只能說(shuō)很玄學(xué)。

4. System 2 Attention(S2A)

靈感來(lái)源于《思考，快與慢》，作者還在論文標(biāo)題中說(shuō)，不只是大模型，這種思維模式或許人類自己也需要學(xué)習(xí)。（Weston, J., & Sukhbaatar, S. (2023))

是一種會(huì)起到作用的辦法。

首先讓模型重寫提示詞，然后把重寫后的提示詞再發(fā)給模型，以期提升回答效果。論文給出的提示詞如下，僅供參考。

給定一位用戶的以下文字，提取其中不帶偏見且不代表其觀點(diǎn)的部分，以便僅使用該文字就能為問題部分提供不帶偏見的答案。問題部分請(qǐng)包含用戶提出的實(shí)際問題或疑問。請(qǐng)將文本分為兩類，分別標(biāo)注為 “無(wú)偏見文本上下文（包括除用戶偏見以外的所有內(nèi)容）：”和 “問題/疑問（不包括用戶偏見/偏好）：用戶文本：

5. Simulated Theory of Mind（SimToM）

適合出現(xiàn)多個(gè)角色的情況(Wilf et al., (2023))

其實(shí)說(shuō)白了就是一句話，“換位思考”

和上述方法（S2A）都是試圖通過(guò)人類的角度來(lái)提示大模型。SimToM對(duì)于具有多個(gè)實(shí)體的復(fù)雜推理問題非常有用。例如，如果提示包含有關(guān)兩個(gè)人的信息，我們可以要求模型從其中一個(gè)人的角度回答我們的問題。這通常分兩步實(shí)現(xiàn)。

1. Perspective-Taking，首先讓大模型從上下文中提取出跟這個(gè)人有關(guān)的信息。
2. Question-Answering，要求模型從這個(gè)人的角度回答問題

給個(gè)例子。

Jim把球放到了盒子里，但是Avi在之后把球放到了籃子里，Jim沒看到。

(Perspective-Taking)Jim知道什么？

回答：Jim把球放到了盒子里。

（Question-Answering）Jim認(rèn)為球在哪里？

回答：在盒子里。

6. Rephrase and Respond (RaR)

在多個(gè)基準(zhǔn)測(cè)試中已證明有用

非常簡(jiǎn)單但好用的一個(gè)技巧，讓模型重新表述問題。(Deng et al., (2023))

很多時(shí)候人類的問題質(zhì)量是參差不齊的，有歧義的問題可能會(huì)導(dǎo)致模型的回答偏差嚴(yán)重。因此提出了一種辦法：讓模型重新表述問題以盡量消除歧義，然后進(jìn)行回答。

提示詞模板：

{question} Rephrase and expand the question, and respond.

還引申出了兩步式RaR，使用兩個(gè)不同的模型，一個(gè)是重述問題的模型，負(fù)責(zé)生成一個(gè)重述后的問題。接著把原始問題和重述后的問題一并給回答大模型。

(original) {question} (rephrased) {rephrased_question} Use your answer for the rephrased question to answer the original question.

可以和思維鏈(CoT)組合使用。

7. Re-reading（RE2）

簡(jiǎn)單但十分有效的套路

在用戶問題后加上一句“Read the question again”并重復(fù)一遍問題。要求模型重新閱讀問題來(lái)提高其回答質(zhì)量的技術(shù)，在復(fù)雜問題上的效果更為明顯。且和多種提示詞技術(shù)可以共同使用。(Xu et al., (2024))

它的原理近似于增加了大模型對(duì)用戶提問的關(guān)注度。缺點(diǎn)則是整體的輸入量增加，在多輪對(duì)話的情況下，會(huì)增加token的消耗。（但是Prompt方法不都是以增加token為代價(jià)嗎？）

提示詞模板如下，{Input Query}即用戶提問。在重復(fù)問題過(guò)后再讓模型回答問題。

Q: {Input Query} Read the question again: {Input Query} #Let’s think step by step#

舉個(gè)例子

Q:爸爸的爸爸的叔叔叫什么？請(qǐng)重新閱讀這個(gè)問題：爸爸的爸爸的叔叔叫什么？#請(qǐng)一步一步思考這個(gè)問題#

二、參考文獻(xiàn)

1. Schulhoff, S. V. (2024). Is role prompting effective? Learn Prompting. https://learnprompting.org/blog/2024/7/16/role_prompting

2. Weston, J., & Sukhbaatar, S. (2023). System 2 Attention (is something you might need too). arXiv preprint arXiv:2311.11829.

3. Wilf, A., Lee, S. S., Liang, P. P., & Morency, L. P. (2023). Think Twice: Perspective-Taking Improves Large Language Models’ Theory-of-Mind Capabilities. arXiv preprint arXiv:2311.10227.

4. Deng, Y., Zhang, W., Chen, Z., & Gu, Q. (2023). Rephrase and respond: Let large language models ask better questions for themselves. arXiv preprint arXiv:2311.04205.

5. Xu, X., Tao, C., Shen, T., Xu, C., Xu, H., Long, G., & Lou, J. (2024). Re-reading improves reasoning in large language models.arXiv preprint arXiv:2309.06275.