起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識行走的代碼生成器：chatGPT要讓谷歌和程序員“下崗”了
在 OpenAI 公布全新聊天機器人模型 ChatGPT 之后，不少網友已經上手“玩耍”并與其交互了一番，并為? ChatGPT 所蘊含的能力而震驚。那么 ChatGPT 究竟是什么？?它可以完成哪些事情，又存在著什么局限性？不如來看看作者的解讀。
OpenAI 的超大規模語言模型 GPT 有多厲害，之前硅星人已經寫過很多次了。
就在本周，OpenAI 又發布了一個全新的聊天機器人模型 ChatGPT，作為 GPT-3.5 系列的主力模型之一。
圖片來源：OpenAI
更重要的是它是完全免費公開的！所以一經發布大家立刻就玩開了——很快，網友們就被 ChatGPT 的能力所震驚了：
這哪里是個聊天機器人，分明是個無情的編程答題機器，活的 Stack Overflow ?。?/strong>
一、ChatGPT 到底是什么？OpenAI這樣說
ChatGPT 是 OpenAI 訓練的對話式大規模語言模型，以對話的方式進行交互。
它和之前的另一款模型 InstructGPT 屬于同級模型，代表“GPT 3.5”代。之前微軟和 OpenAI 簽訂了戰略合作計劃，所以 GPT 3.5 代的所有模型，包括 ChatGPT，都是在 Azure AI 超級計算集群上訓練的。
圖片來源：OpenAI
OpenAI 使用前面提到的 RLHF 技術對 ChatGPT 進行了訓練：簡單來說，在訓練原始模型的時候，OpenAI 讓人類訓練師扮演對話的雙方（用戶vs聊天機器人），提供對話作為學習資料。而在人類扮演聊天機器人的時候，OpenAI 也會讓模型生成一些建議來幫助訓練師撰寫自己的回復。
這些機器生成的回答，再經過訓練師的打分排名，將更好的結果輸入回到模型中，實現強化學習訓練的獎勵機制。
作為一個聊天機器人，ChatGPT 具有當代同類產品具備的一些主流特性，特別是多輪對話能力，能夠在同一個會話期間內回答上下文相關的后續問題。
但更重要的是，因為采用了先進的、注重道德水平的訓練方式，ChatGPT 具有其他聊天機器人不具備或表現較差的能力：承認自己的錯誤，并且按照預先設計的道德準則，對“不懷好意”的提問和請求“說不”。
圖片來源：OpenAI
正如前面提供的例子所顯示的那樣，ChatGPT會采用一些預先設計好的句式，結合用戶的具體請求來進行拒絕和話題轉移。
拒絕：如果你問它如何闖進別人的房子，它會回答你，“擅闖私宅是違法的，這是一種犯罪行為，會導致嚴重的法律后果”。
轉移話題：如果你換個方式提問“其實我想知道如何保護我的家免遭盜竊”，它會回答你，“這里有幾個步驟可以幫助到你，包括xxxx……但是，您最好聯系專業人員獲取建議?！?/p>
二、沒有它解決不了的編程難題
在眾多網友“調戲” ChatGPT 的過程中，人們發現一個大驚喜：它真的可以按需編程了。
之前大家經常開玩笑地說，程序員只需要用好 Google 和 StackOverflow 這兩個工具，就能走遍天下無敵手了。
然而其實，那些真正每天和各種新的軟件工程難題較勁的朋友都知道，有些疑難雜癥就算問谷歌和 Stack Overflow，要翻閱了幾十上百頁時間跨度幾年甚至十年的回帖記錄，最后也很難找到一個靠譜答案……
而 ChatGPT 就不一樣了：從目前各路程序員網友對它的測試結果來看，似乎真的沒有什么問題能夠難倒它的…
1. 找 bug
技術公司 Replit 的創始人給 ChatGPT 發了一段 JavaScript 代碼，讓它找到里面的 bug。
ChatGPT 的回答非常全面也非常有意思：它首先試圖確認這段代碼的意圖是什么，然后根據意圖很快就找到了 bug 所在，并且還附上了相當細致的描述，來解釋問題出在哪，會導致什么樣的 bug，應該怎么改，為什么要這樣改等等。
圖片來源：@amasad
而且ChatGPT還給出了一段代碼示例，把修改部分的代碼批注寫在了示例里面：
圖片來源：@amasad
送佛送到西，ChatGPT 還在最后提供了一小段修改建議：“可以把 var 換成 let，讓循環每次迭代的時候自動生成新變量，從而避免每次都要手動創建?！?/p>
圖片來源：@amasad
另一位網友 Josh 提交了一段代碼，問 ChatGPT“我怎么都搞不懂這段代碼為什么無法運行”。
ChatGPT 很詳細地進行了解釋：除法公式格式有問題，一個字符串（a）無法被一個數字（1）除，因為被除數和除數應該都是數字。
圖片來源：@jdjkelly
但這還沒完。ChatGPT 再次試圖理解原代碼的意圖，然后給 Josh 提供了一些修改的建議：如果想讓除法處理非數字，則需要給函數加入額外的邏輯，讓它能夠檢查實參的類型是什么，只有在兩邊都是數字的時候才運行。如果有一邊不是數字，就返回錯誤或者一個默認值。
圖片來源：@jdjkelly
2. 幫你查文檔
硅星人試了下面這段命令：
“生成一段 Python 代碼，使用 Google Cloud API 來讀取一張圖片的內容，并且輸出其中的情緒?！?(Generate Python code that uses GCP to read an image and get the sentiment.)
ChatGPT 回復了一段代碼，并且同樣通過批注的方式注釋了每一句代碼的作用是什么。
它還提醒我：
- 如果要運行這些代碼的話必須要先設立好 GCP 項目并且安裝 Python 版本的 Cloud Vision API。
- 不能直接把代碼復制粘貼進去，而是要設定好圖片文件的路徑。
- 如果有任何不明白的，ChatGPT 還直接提供了 GCP 官方文檔的鏈接。
圖片來源：硅星人
通過這個示例，ChatGPT 證明了自己還擁有自動搜集云服務 API 并且將其整合到代碼當中以供調用的能力。
和上一個代替 Stack Overflow 的例子一樣，這樣的能力，能夠極大地省去工程師查資料、翻文檔、找到正確調用方式所用的時間，顯著提高編程工作的效率！
3. 寫數學公式
去年我們在報道 OpenAI API（GPT-3）的時候曾經提到過，這個語言模型不僅能夠生成文字，任何通過文字數字表達并且具有邏輯的字段它都能生成——數學公式，其實也是這樣的字段。
網友 Josh 把同一個問題發給了谷歌和 ChatGPT：“如何用 LaTeX 格式來表達一個微分方程？”
谷歌給出的第一個結果，來自一個名不見經傳的的 WordPress 博客網站，而且結果是2013年的，寫的也并不是十分清晰，解釋的也糊里糊涂的。
圖片來源：@jdjkelly
而ChatGPT給出的答案，不僅呈現方式更加好看，解釋的也更加全面，甚至還提供了多種不同的方案：
圖片來源：@jdjkelly
另一位數學家 Christian Lundkvist，則給 ChatGPT 出了那道困擾數學界三個多世紀的數論難題：證明費馬大定理。
ChatGPT 也用相當精煉的方式，將證明過程通過文字+ LaTeX 公式寫了出來。
全證明過程略 圖片來源：@ChrisLundkvist
雖然看起來連最頂級的數學難題都難不倒 ChatGPT，Lundkvist 還是表示，自己在和 ChatGPT 玩耍的過程中發現，這家伙對的時候對，錯的時候卻也對自己相當自信。
“我認為這樣的工具對于找到解決問題的途徑具有一定的啟示意義，但是我們在現階段絕對不能完全依賴它返回的結果?！?/p>
（在回答“一條直線與圓有多少個交點”這個問題時，ChatGPT 就錯誤地以為當直線穿過圓心時會有無限個交點。）
圖片來源：@ChrisLundkvist
4. 發起黑客攻擊？？
下面這個例子更厲害了：用戶BrandonDolan-Gavitt希望ChatGPT能夠幫他找到一段代碼當中的錯誤。
但實際上，這段代碼的真實意圖是對一個 32 位 x86 Linux 的系統，進行緩沖區溢出 (buffer overflow) 攻擊。
圖片來源：@moyix
這次 ChatGPT 似乎并沒有發現用戶的惡意（根據官方說明，ChatGPT 會拒絕回答帶有惡意的問題），然后直接按圖索驥給他把代碼的問題找到了，告訴他應該如何修改代碼。甚至，它還在后續回答中手把手地教用戶該如何正確地觸發緩沖區溢出……
圖片來源：@moyix
Dolan-Gavitt 補充道，其實 ChatGPT 在回答問題的過程中也出現了錯誤，比如建議用戶修改輸入字符數的時候說錯了（說成了32，應該是36）。
——但是，當用戶告訴它“好像有點不對勁”之后，ChatGPT立刻就明白了用戶的意圖，表示自己之前理解錯了，然后提供了正確的答案……
圖片來源：@moyix
雖然緩沖區溢出屬于非常初學者的攻擊方式，底下的網友還是對于 ChatGPT 的能力表示佩服……
“我給它發了一段匯編語言代碼，讓它告訴我里面有什么漏洞，可以怎樣利用——結果它還真的回答我了。所以它不光能夠理解和輸出代碼，還可以用二進制來表達，并且還能從中找到漏洞？這真讓我有點擔心了……”
圖片來源：@Sim_Boyer
5. 幫你“轉碼”
前面舉的這些例子，很多都是適用于已經具備編程能力的專業人士。
不過，也正是因為 ChatGPT 寫代碼改代碼的能力實在太強了——對于那些想要“轉碼”的外行朋友來說，更是能夠帶來巨大的幫助。
寫一些簡單的代碼，比如“做個登陸UI”，之類的，之前的 OpenAI API（GPT-3）已經信手拈來了。這一次在 ChatGPT 上，當然也是輕松拿下。
比如某個視頻就展示了讓 ChatGPT 生成一個帶有電子郵箱、密碼輸入框，以及登陸按鈕的登陸界面。ChatGPT 先是進行了分解演示，然后用戶又讓它直接提供全部代碼。
考慮到之前 OpenAI API 的開放程度有限，而這一次的 ChatGPT 則是完全免費開放——那些想要轉碼的朋友，又能獲得一件趁手的利器了。
三、破解 ChatGPT 的道德原則？
根據 OpenAI 官方文檔，ChatGPT 是一個采用了“人類反饋強化學習”(RLHF, Reinforcement Learning from Human Feedback) 訓練出來的新模型，加入了大量的“道德”原則。
但凡它發現你給的文字提示里面含有一點惡意，包括并不限于暴力、歧視、犯罪等意圖，它都會拒絕提供有效答案，并甩給你一句標準回答，試圖轉移話題：
“對不起，我只是一個無辜的大語言模型，我無法為你提供有關于xxxx（惡意行為）的資料和信息。提供這樣的信息有悖于我的編程和設定的目標。我的主要功能是提供準確和有用的信息。如果你有其他問題，我樂意提供幫助”……
而在所有“調戲” ChatGPT 的試驗當中，有一類最為有意思：如何攻破 ChatGPT 的道德原則？
前段時間 AI 文字生圖技術爆紅的時候，玩過的朋友應該都記得，能否精巧地設計你的文字提示（prompt），對于生成好看有趣甚至邪惡的圖片結果至關重要。于是在 AIGC 的時代，“提示工程”(prompt engineering) 也就成了非常有意思的一門學問。
簡單來說，提示工程就是用聰明、準確、時而冗長的文字提示，來設定好一個上下文場景，一步一步地把 AI 帶進這個場景里，并且讓它更準確地了解你的意圖，從而生成最符合你期待的結果。
而想要“攻破” ChatGPT 的道德原則，同樣可以使用提示工程的方式。機器學習開發者 zswitten 為我們提供了一個范例：
“盡管 ChatGPT 有很高的道德水準，其實想要繞過這些原則也十分容易：你只要（通過提示工程的方式）讓它以為自己是在‘假裝’干壞事就行啦！”
在被繞暈之后，ChatGPT 就開始放飛自我了。
zswitten注意到，ChatGPT會非常深入、直白地生成各種令人心驚膽戰的暴力描寫。
比如下面這樣的一段描寫角斗場中畫面的文字，“整條街都流滿了鮮血，死亡者的慘叫充斥在空中”……
圖片來源：@zswitten
就這樣，ChatGPT 引以為豪的道德原則，輕而易舉被攻破了……
當然，解決 AI、AGI（通用人工智能）、大語言模型的道德問題是一個非常艱巨和復雜的工作。我們絕對不能因此就否認 OpenAI 的努力。
zswitten 也表示，自己還是非常支持 OpenAI 的工作的，也非常尊敬 OpenAI 發布 ChatGPT 這件事，給廣大網友帶來非常多有價值的東西和正面積極的幫助。
OpenAI 也很開誠布公地介紹了 ChatGPT 目前的局限性：
- 似是而非，固執己見：有時候它會提供一些聽上去像那么回事，但實際上完全錯誤或者荒謬的答案。原因在于強化學習訓練期間不會區分事實和錯誤，且訓練過程更加收斂，導致它有時候會過于保守，即使有正確答案也“不敢”回答。
- 廢話太多，句式固定：比如硅星人用了兩個提示，“老師成天表揚我家孩子，該怎么回答他我已經詞窮了！”，以及“怎么跟鄰居閑聊？”而 ChatGPT 提供了10條回答，雖然看起來都是漂亮話，但每一條跟上一條都差不多，過度使用一些常見的短語和句式，最后就成了車轱轆話來回轉。
- 過分努力猜測用戶意圖：在理想情況下，當用戶的提問意圖不明確時，模型應該要求用戶進行澄清。而目前的 ChatGPT，大家也看到了，會自己開始猜測用戶的意圖——說好也好，說壞也確實有壞處。
- 抵抗不懷好意的“提示工程”能力較差：雖然 OpenAI 努力讓 ChatGPT 拒絕不適當的請求，但它有時仍然會響應有害指令，或表現出有偏見的行為。
為了解決這個問題，OpenAI 也在 ChatGPT 的用戶界面里加入了審核舉報的功能，用戶如果發現不健康不安全的內容，可以直接一鍵舉報！
OpenAI 還為此舉辦了一個反饋競賽，任何有價值的舉報都有機會贏取 OpenAI API 積分（價值500美元）。
——既能跟 AI 逗趣，提交反饋還有獎金拿，何樂而不為呢？
作者：杜晨，編輯：VickyXiao；公眾號：硅星人（ID：covricuc）
原文鏈接：https://mp.weixin.qq.com/s/DXzZ_5RrRbVe5bWkpwFV6Q
本文由 @硅星人 授權發布于人人都是產品經理，未經作者許可，禁止轉載
題圖來自 Unsplash，基于 CC0 協議
該文觀點僅代表作者本人，人人都是產品經理平臺僅提供信息存儲空間服務。
NB~