中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

就在近日，OpenAI內(nèi)部發(fā)生了人事變動(dòng)，而在這場(chǎng)變動(dòng)背后，我們或許忽略了一個(gè)部分，即“AI對(duì)齊”。怎么理解“AI對(duì)齊”？這篇文章里，作者做了拆解與分析，一起來(lái)看看，或許想了解AI行業(yè)更多內(nèi)容的同學(xué)會(huì)感興趣。

OpenAI公司與它的大模型產(chǎn)品ChatGPT最大的共同點(diǎn)是什么？

人們知道它們每天發(fā)生了什么，但是不知道是如何發(fā)生的。

我們使用 AI 大模型，驚喜于它給出的每一個(gè)回復(fù)，但還沒(méi)有誰(shuí)弄清楚 AI 的智能是如何起作用的。為了確保大模型能夠按照人類(lèi)的意愿工作， 幾乎每個(gè)大模型產(chǎn)品內(nèi)部都會(huì)被注入一段算法，這段算法保證 AI 工作與人類(lèi)意愿對(duì)齊。不同的力量都在試圖對(duì)齊這家公司，Ilya Sutskever 成為「執(zhí)劍者」，Sam Altman 給出了反擊，雙方的兩種立場(chǎng)讓這家 AI 大模型公司內(nèi)部的分歧浮出水面。

這種分歧會(huì)體現(xiàn)在理念、公司方向、利益和資源分配，以及產(chǎn)品的市場(chǎng)表現(xiàn)等方面。把目光聚焦在分歧之上，對(duì)于大模型創(chuàng)業(yè)公司來(lái)說(shuō)更有意義。

技術(shù)追求和商業(yè)擴(kuò)張主導(dǎo)著商業(yè)體成長(zhǎng)，OpenAI 和大多數(shù)商業(yè)公司一樣，長(zhǎng)期以來(lái)保持著兩股力量的微妙平衡，直到 11 月 17 日，天平發(fā)生了傾斜。

這種平衡是如何保持的？圍繞 AI 有哪些分歧？裂縫又是如何擴(kuò)大的？ChatGPT 現(xiàn)象讓全世界知道了大模型、Transformer 等新事物，但另一個(gè)起關(guān)鍵作用的力量 —— AI 對(duì)齊被忽視了。

一、被忽視的算法

OpenAI 的在初代 GPT-3 上投喂了 3000 億單詞的語(yǔ)料，其中擁有 1750 億參數(shù)。這樣訓(xùn)練出來(lái)的模型就像掌握了世界知識(shí)的兒童，懂得很多，但交流困難。

讓 OpenAI 在全世界范圍破圈的 ChatGPT 來(lái)自于 GPT-3 的變體，它比 GPT-3 的表現(xiàn)更穩(wěn)定，更能夠模擬人與人之間的正常對(duì)話(huà)。

ChatGPT 一發(fā)布就成為現(xiàn)象級(jí)產(chǎn)品，在此之前，GPT-3 的 API 已經(jīng)推向市場(chǎng)很長(zhǎng)時(shí)間，但僅在小范圍引發(fā)討論。

成就 ChatGPT 的關(guān)鍵技術(shù)是 RLHF 算法 —— 基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)。

GPT-3 在與人的交流中給出的回答質(zhì)量參差不齊，OpenAI 通過(guò)人工干預(yù)的方式，對(duì)高質(zhì)量回答標(biāo)記正反饋，從而強(qiáng)化 GPT 做出更多高質(zhì)量的回答。這樣的工作得到了出乎意料的效果，ChatGPT 因此有了建模對(duì)話(huà)歷史、增加對(duì)話(huà)信息量，以及拒絕回答超綱問(wèn)題等能力。RLHF 算法就像是家長(zhǎng)的角色，幫助掌握了知識(shí)的兒童學(xué)會(huì)順暢地溝通表達(dá)。可需要強(qiáng)調(diào)的是，RLHF 并沒(méi)有額外注入能力，而是幫助大模型解鎖了能力。

比如，ChatGPT 拒絕回答問(wèn)題時(shí)會(huì)回復(fù)統(tǒng)一的開(kāi)頭：「作為 OpenAI 訓(xùn)練的語(yǔ)言模型」。這句話(huà)因?yàn)樵?RLHF 訓(xùn)練中得到了更多的正反饋，因此被 ChatGPT 拿來(lái)當(dāng)做標(biāo)準(zhǔn)模板。事實(shí)上，并沒(méi)有一個(gè)命令讓 ChatGPT 必須使用這句話(huà)。

OpenAI 認(rèn)為，ChatGPT 的突破之所以可能，離不開(kāi) RLHF。而 RLHF 算法的工作就叫做 AI 對(duì)齊。

AI 對(duì)齊是為了保證 AI 按照人類(lèi)的意圖和價(jià)值觀做事，給出人類(lèi)有用的、誠(chéng)實(shí)的和無(wú)害的結(jié)果。在今天運(yùn)行的大模型訓(xùn)練當(dāng)中，對(duì)齊已經(jīng)成為最為必要的部分之一。

除了上面提到的 ChatGPT 的例子，AI 對(duì)齊還要解決 AI 在交流中會(huì)給出錯(cuò)誤信息和算法歧視等問(wèn)題，被人類(lèi)濫用、「越獄」等問(wèn)題，以及應(yīng)對(duì)未來(lái)隨著 AI 能力「涌現(xiàn)」而可能出現(xiàn)的失控風(fēng)險(xiǎn)。因此可以把 AI 對(duì)齊比作是一場(chǎng)人類(lèi)跟 AI 進(jìn)化的賽跑，更強(qiáng)的 AI 系統(tǒng)需要更多的對(duì)齊工作，也面臨更高等級(jí)的風(fēng)險(xiǎn)。

但 AI 大模型內(nèi)部原理對(duì)于前沿的 AI 實(shí)驗(yàn)室來(lái)說(shuō)仍然是個(gè)「黑箱」，這就要求 AI 對(duì)齊要盡量跑在大模型的前面，并要求大模型是一個(gè)穩(wěn)定的研究對(duì)象。

OpenAI 超級(jí)對(duì)齊負(fù)責(zé)人 Jan Leike 做過(guò)一個(gè)預(yù)判，構(gòu)建高性能的強(qiáng) AI 系統(tǒng)需要兩個(gè)因素：能力和對(duì)齊。但在當(dāng)前的弱 AI 時(shí)期，大模型沒(méi)有能力帶來(lái)災(zāi)難性后果，與 GPT 給人類(lèi)帶來(lái)的驚喜相比，AI 對(duì)齊的重要性存在被輕視的情況。對(duì)齊算法會(huì)在大模型運(yùn)行過(guò)程中分走部分算力資源，也會(huì)影響大模型輸出的結(jié)果，人們常把這種影響叫做「性能閹割」，把對(duì)齊分走的算力稱(chēng)為「對(duì)齊稅」。

二、CEO和首席科學(xué)家的分歧

回到 OpenAI 的這場(chǎng)鬧劇，如果把 OpenAI 看作一個(gè) AI 大模型，Sam Altman 主張?zhí)嵘芰?，通過(guò)融資和商業(yè)化等操作吞噬巨量資源，追求變快變強(qiáng)。Ilya Sutskever 領(lǐng)導(dǎo)的部分則像 AI 對(duì)齊一樣的存在，主張小心翼翼地把車(chē)開(kāi)穩(wěn)。

隨著 AI 大模型發(fā)展加速，OpenAI 意識(shí)到要把對(duì)齊工作提升到新的高度。今年 7 月，OpenAI 宣布成立超級(jí)對(duì)齊團(tuán)隊(duì)（Superalignment），由 Ilya Sutskever 和 Jan Leike 兩位科學(xué)家領(lǐng)導(dǎo)，他們將帶著公司 20% 的算力資源，在 4 年內(nèi)解決超智能 AI 系統(tǒng)的價(jià)值對(duì)齊和安全問(wèn)題。

與此同時(shí)，Sam Altman 帶著 GPT 進(jìn)化，連續(xù)推動(dòng)發(fā)布性能更強(qiáng)的 GPT 版本。

可以看到，兩個(gè)工作團(tuán)隊(duì)即使不存在分歧，至少也存在張力，裂縫可能從這里開(kāi)始產(chǎn)生。

Ilya Sutskever 指責(zé) Sam Altman 在與董事會(huì)的溝通中始終不坦誠(chéng)，阻礙了董事會(huì)履行職責(zé)的能力。而董事會(huì)的職責(zé)是確保 OpenAI 作為一家非營(yíng)利組織能夠開(kāi)發(fā)造福全人類(lèi)的「通用人工智能 AGI」。

在今年僅剩 6 人的董事會(huì)中，有 4 人更認(rèn)可 AI 安全的重要性，Ilya Sutskever 因此能夠使用投票權(quán)開(kāi)除 Sam Altman。

Ilya Sutskever 曾提到，他參與創(chuàng)建 OpenAI 的動(dòng)機(jī)之一，是為了探討和解決 AGI 可能帶來(lái)的問(wèn)題，包括技術(shù)和道德方面的挑戰(zhàn)。當(dāng)他看到或者被告知這種挑戰(zhàn)首先出現(xiàn)在公司內(nèi)部而不是 AI 當(dāng)中時(shí)，他有理由為了自己的信念行使權(quán)力，裂縫由此擴(kuò)大。

可他始終沒(méi)有給出具體的例證說(shuō)明 Sam Altman 不坦誠(chéng)在哪里，會(huì)帶來(lái)哪些后果。Ilya Sutskever 挑起的風(fēng)波就像 AI 對(duì)齊工作中被拿走的「對(duì)齊稅」，他暫時(shí)限制了 OpenAI 的能力，又無(wú)法說(shuō)明在他眼中這種限制的必要性。

房間里有一頭大象，有少數(shù)人看到了，但只有更少數(shù)人行動(dòng)。人們要做出符合自身角色和價(jià)值觀的選擇，因此分歧總是會(huì)不可避免地出現(xiàn)。

即便 Sam Altman 在很多時(shí)候是 OpenAI 安全政策的倡導(dǎo)者，但人們無(wú)法追問(wèn)他的倡導(dǎo)是出于應(yīng)對(duì)監(jiān)管的需要，還是他真的看到了那頭大象。即便 Ilya Sutskever 深知算力對(duì) AI 的重要性，看到 AI 更遠(yuǎn)的未來(lái)的他只能把這種重要性放在價(jià)值排序的次席。

事件最后的焦點(diǎn)指向 OpenAI 的董事會(huì)，在復(fù)雜的矛盾中，董事會(huì)只支持做出 0 和 1 的選擇，在功能上沒(méi)有與這家公司的價(jià)值對(duì)齊。

鬧劇以 Sam Altman 回歸暫時(shí)結(jié)束，五天前罷免他的董事會(huì)解散，新的董事會(huì)雛形將由三人組成，Quora 首席執(zhí)行官 Adam D’Angelo，F(xiàn)acebook 和 Salesforce 前高管 Bret Taylor，以及前美國(guó)財(cái)政部長(zhǎng) Lawrence H. Summers。

OpenAI 完成了它的對(duì)齊。

三、隱藏的模型

AI 對(duì)齊被大模型的聲量遮蓋，但暗暗決定著大模型的命運(yùn)。

GPT 的發(fā)展和人類(lèi)的反應(yīng)一度超出了 OpenAI 的預(yù)料，在很多研究人員眼中，市面上的模型仍然遠(yuǎn)非完美，甚至只是半成品。他們對(duì)生成式人工智能推向市場(chǎng)的速度和規(guī)模感到擔(dān)憂(yōu)。

與之對(duì)應(yīng)的，AI 對(duì)齊的重要性已經(jīng)成為 OpenAI、DeepMind、Anthropic 等前沿 AI 實(shí)驗(yàn)室的共識(shí)。

按照 OpenAI 超級(jí)對(duì)齊工作負(fù)責(zé)人 Jan Leike 的說(shuō)法，各家公司會(huì)很快擁有能力水平相當(dāng)?shù)念A(yù)訓(xùn)練語(yǔ)言模型，AI 對(duì)齊將決定產(chǎn)品的競(jìng)爭(zhēng)力。

而影響競(jìng)爭(zhēng)力的關(guān)鍵是「對(duì)齊稅」。

Jan Leike 把「對(duì)齊稅」總結(jié)為三類(lèi)：性能稅、研發(fā)稅、上線(xiàn)時(shí)間稅。

• 性能稅（Performance taxes）：對(duì)齊模型相比未對(duì)齊模型在某些能力上表現(xiàn)下降，需要更多計(jì)算資源來(lái)彌補(bǔ)性能。
• 研發(fā)稅（Development taxes）：對(duì)齊模型研發(fā)工作消耗的成本，如研究人員時(shí)間、計(jì)算資源、人工成本等。
• 上線(xiàn)時(shí)間稅（Time-to-deployment taxes）：從預(yù)訓(xùn)練模型到可用的對(duì)齊模型上線(xiàn)所需要的時(shí)間成本。

以性能稅為例，由于對(duì)齊模型在輸出結(jié)果上更「保守」，用戶(hù)想用它得到滿(mǎn)意的結(jié)果，需要更多的算力，也需要調(diào)用更多次 API，性能稅因此影響到產(chǎn)品的定價(jià)，進(jìn)一步影響到用戶(hù)規(guī)模。

Jan Leike 用一個(gè)例子說(shuō)明了這種相關(guān)性：OpenAI 的 DALL·E 2 模型在市場(chǎng)規(guī)模上不如 Stable Diffusion 和 Midjourney，因?yàn)楹竺鎯蓚€(gè)模型采取了較少的對(duì)齊限制。

另外，隨著大模型能力不斷增強(qiáng)，原來(lái)的對(duì)齊技術(shù)可能被 AI 繞過(guò)，需要不斷更新對(duì)齊技術(shù)來(lái)跟上大模型迭代，這也可能導(dǎo)致研發(fā)稅和上線(xiàn)時(shí)間稅的增加。

AI 對(duì)齊在大模型訓(xùn)練中的存在感遠(yuǎn)非只有「對(duì)齊稅」，存在于 OpenAI 的裂縫有更多延伸。

訓(xùn)練 ChatGPT 的 RLHF 算法證明了對(duì)齊的價(jià)值，但它依賴(lài)大量人工參與，只能作為初階的對(duì)齊工具使用。更復(fù)雜的 AI 運(yùn)行會(huì)涉及巨量的需要干預(yù)的環(huán)節(jié)，這樣的對(duì)齊工作只能交給另一個(gè)或者一些 AI 來(lái)完成。即，用 AI 對(duì)齊模型幫助 AI 大模型對(duì)齊。

可以把 OpenAI 超級(jí)對(duì)齊團(tuán)隊(duì)的工作看作是研發(fā) AI 對(duì)齊模型，在擁有最強(qiáng)大 AI 的實(shí)驗(yàn)室內(nèi)部隱藏著一個(gè)將用來(lái)管理 AI 的 AI。其中涉及到「解剖」 AI 大模型、AI 對(duì)抗訓(xùn)練、以及這個(gè) AI 對(duì)齊模型的對(duì)齊。

GPT 等大模型被設(shè)計(jì)用來(lái)處理自然語(yǔ)言，它的輸出結(jié)果可以被用戶(hù)部分地分辨真假。而 AI 對(duì)齊模型的輸出結(jié)果會(huì)更難驗(yàn)證，越獄行為更隱蔽，因此需要更嚴(yán)格地對(duì)齊。

吊詭的地方就在于此，認(rèn)為大模型發(fā)展太快，存在安全問(wèn)題的 Ilya Sutskever，做著比 Sam Altman 更激進(jìn)的工作。

四、低垂的果實(shí)

AI 能力的「涌現(xiàn)」來(lái)自于訓(xùn)練量，擴(kuò)大訓(xùn)練規(guī)模成了玩家們堅(jiān)信的方向，結(jié)果是天文數(shù)字的訓(xùn)練成本投入。

GPT-3 把大模型訓(xùn)練參數(shù)提高到千億規(guī)模，開(kāi)啟了大模型訓(xùn)練的規(guī)模競(jìng)賽。百度文心、阿里通義、華為盤(pán)古等頭部公司的大模型訓(xùn)練量都同步來(lái)到千億。而最新的 GPT-4 的參數(shù)規(guī)模又上一個(gè)臺(tái)階，到達(dá)了百萬(wàn)億。

卻有觀點(diǎn)認(rèn)為，訓(xùn)練規(guī)模給大模型帶來(lái)的邊際效益呈遞減趨勢(shì)，有人稱(chēng)為「數(shù)字泡沫」或者「AI 版摩爾定律」，在一定程度，AI 對(duì)齊工作成果支持了這種觀點(diǎn)。

OpenAI 在博客中提到：安全與大模型能力息息相關(guān)。一方面強(qiáng)調(diào)在 AI 進(jìn)化過(guò)程中安全問(wèn)題的重要性。另一方面也指出，AI 對(duì)齊訓(xùn)練是提升 AI 能力的隱藏路徑。

后一種情況在InstructGPT 當(dāng)中得到了驗(yàn)證。與 GPT-3 相比，經(jīng)過(guò)對(duì)齊的InstructGPT 在輸出結(jié)果時(shí)更符合人類(lèi)要求，InstructGPT 減少了生成有害內(nèi)容的情況，也能給出更多真實(shí)可靠性的信息。

不僅如此，InstructGPT 比 GPT-3 使用更少的算力，它的訓(xùn)練參數(shù)減少了 100 多倍，僅 13 億規(guī)模。

經(jīng)歷 OpenAI 的鬧劇，賽道上的玩家或許會(huì)認(rèn)識(shí)到，把所有的成本放在算力和規(guī)模之上過(guò)于奢侈，在追求超大規(guī)模、超高算力的路上存在未被發(fā)現(xiàn)的低垂的果實(shí)。

而面對(duì)將到來(lái)的淘汰賽，不同玩家將必須在 Ilya Sutskever 和 Sam Altman 之間選邊站。