試著和 ChatGPT 聊了幾句，它把我的問題解決了。

當(dāng)每個人都在苦苦等待 GPT-4 發(fā)布時，OpenAI 卻一直遲遲沒有消息，仍在修復(fù)其前身。這家總部位于舊金山的公司于昨日發(fā)布了一個名為 ChatGPT 的新模型，它是 GPT-3 的衍生產(chǎn)品，它以對話的方式進(jìn)行交互。

這種對話允許 ChatGPT 回答后續(xù)問題，承認(rèn)錯誤，挑戰(zhàn)不正確的前提，并拒絕不適當(dāng)?shù)恼埱?。不同于別的語言模型胡編亂造，例如 Meta 的語言模型 Galactica 因為不負(fù)責(zé)任的胡編亂造，上線幾天就下架了。ChatGPT 的不同之處在于，當(dāng)它不知道自己在說什么時，它承認(rèn)不知道。此外，ChatGPT 拒絕回答它沒有受過訓(xùn)練的問題，例如，它不會試圖回答有關(guān) 2022 年之后發(fā)生的事件的問題。它也不會回答關(guān)于個人的問題。

這個模型到底有多智能？以前調(diào)試代碼的腦力活都得程序員親自動手，現(xiàn)在 ChatGPT 可以攬下這個苦差事。

用戶表示：這段代碼沒有像我期望的那樣運行，我該如何修改？

ChatGPT：你給的上下文信息太少了，很難說出代碼的問題。你能否提供更多關(guān)于代碼的信息，比如代碼用來干什么的，這是整個代碼還是其中的一部分?

用戶：這是代碼的一部分。我認(rèn)為 channel 出現(xiàn)了問題。

ChatGPT：如果沒有更多信息來說明代碼應(yīng)該做什么、執(zhí)行時發(fā)生了什么，這個問題就很難說了。從你提供的信息可以看出，代碼的一個潛在問題是 resultWorkerErr channel 從未關(guān)閉，這意味著如果從未寫入 resultWorkerErr channel，代碼可能會掛起。如果 b.resultWorker 沒有返回錯誤或者它在有機(jī)會返回錯誤之前被取消，就會發(fā)生這種情況。

要解決此問題，你可以在寫入 resultWorkerErr channel 后將其關(guān)閉。例如，你可以在向 channel 發(fā)送錯誤的行之后添加以下代碼行：

這將確保 resultWorkerErr channel 總是關(guān)閉的，即使 b.c retworker 從未返回錯誤。同樣，如果沒有更多關(guān)于你所看到的問題的信息，很難判斷這是否是你正在經(jīng)歷的問題。你能提供更多關(guān)于運行代碼時發(fā)生的細(xì)節(jié)嗎?

以上就是 ChatGPT 修改 Bug 的一個過程，可以說是刨根問底了。

在下面的示例中，ChatGPT 提供了對后續(xù)指令的響應(yīng)。下圖大概意思是說，用戶要求 ChatGPT 幫自己寫個簡短的介紹，好與鄰居認(rèn)識一下；ChatGPT 給出了一篇簡短文字介紹，但用戶嫌棄不夠正式，好脾氣的 ChatGPT 又來了一版正式一點的；之后用戶又提了一個要求，讓 ChatGPT 幫忙寄出去。最后 ChatGPT 回答：「很抱歉，我是一個基于文本的 AI 助手，沒有能力為你發(fā)送一封實體信件。我只能提供關(guān)于寫什么的建議。你可以接受該建議并自己發(fā)送這封信?！?/p>

看到這，你是不是也想嘗試一番。不錯，這個模型一經(jīng)發(fā)布，讓很多人沉迷而無法自拔，就連馬斯克都來了一句：「很多人陷入了該死瘋狂的 ChatGPT 循環(huán)中?！?/p>

ChatGPT新玩法：扮演Linux虛擬機(jī)，能管理文件&編程&開瀏覽器；ChatGPT的智能回答堪比雅思口語滿分案例、讓AI生成AI繪畫提示詞......有人喊出“ChatGPT出世，“谷歌要完蛋了？” 。OpenAI最新成果ChatGPT被網(wǎng)友玩壞了！

一時間，大家仿佛找到了一個新的樂子，紛紛和 ChatGPT 打開了對話模式?！敢笏忉屢粋€沒有上下文的復(fù)雜的正則表達(dá)式……」這個問題真是夠難為人的，但是難不倒 ChatGPT?？催@解釋的篇幅，應(yīng)該是解釋清楚了。

「ChatGPT 是一個很好的 debugging 伙伴，它不僅能解釋 bug，還能修復(fù) bug 并解釋修復(fù) bug 的方法?！咕W(wǎng)友表示。

更有網(wǎng)友不可思議道：「天吶，ChatGPT 竟然知道 AWS IAM 策略。」

「ChatGPT 可以生成數(shù)百行 Python 代碼，將 100 GB 的文件上傳到 AWS S3 bucket 中，只需編寫這樣一句話即可「Write Python code to upload a file to an AWS S3 bucket（編寫 Python 代碼，將文件上傳到 AWS S3 bucket 中）?！?/p>

由于大家太過熱情，試用網(wǎng)站已經(jīng)崩了：「我們的需求異常旺盛。請稍等，我們正在擴(kuò)充我們的系統(tǒng)?！?/p>

試用地址：chat.openai.com

方法

ChatGPT 使用與 InstructGPT 相同的方法——用人類反饋強(qiáng)化學(xué)習(xí) (RLHF) 訓(xùn)練模型，但數(shù)據(jù)收集設(shè)置略有不同。ChatGPT 使用監(jiān)督微調(diào)訓(xùn)練了一個初始模型：人類 AI 訓(xùn)練員提供對話，他們在對話中扮演雙方——用戶和 AI 助手，AI 訓(xùn)練員可以訪問模型編寫的對話回復(fù)，以幫助 AI 調(diào)整回復(fù)內(nèi)容。

為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎勵模型，該研究需要收集比較數(shù)據(jù)，其中包含兩個或多個按質(zhì)量排序的模型回復(fù)。該研究收集了 AI 訓(xùn)練員與聊天機(jī)器人的對話，并隨機(jī)選擇一條模型編寫的消息，抽取幾個備選回復(fù)，讓 AI 訓(xùn)練員對這些回復(fù)進(jìn)行排名。此外，該研究還使用近端策略優(yōu)化算法（PPO）微調(diào)模型，并對整個過程進(jìn)行了幾次迭代。

ChatGPT 對 GPT-3.5 系列中的某個模型進(jìn)行了微調(diào)，該模型于 2022 年初完成訓(xùn)練。ChatGPT 和 GPT 3.5 在 Azure AI 超級計算基礎(chǔ)設(shè)施上進(jìn)行了訓(xùn)練。

局限性

1. ChatGPT 有時會寫出看似合理但不正確或荒謬的答案。解決這個問題非常具有挑戰(zhàn)性，因為：

RL 訓(xùn)練期間需要現(xiàn)實世界的數(shù)據(jù)，但目前沒有來源；

模型被訓(xùn)練得過于謹(jǐn)慎導(dǎo)致它拒絕回答可以正確回答的問題；(3) 監(jiān)督訓(xùn)練會影響模型的性能，因為理想情況是模型知道正確答案是什么，而不是人類演示者知道是什么。

ChatGPT 對調(diào)整輸入措辭或多次嘗試相同的 prompt 很敏感。例如，給定一個問題，模型可以聲稱不知道答案，但只要對問題稍作改寫，模型就就可以正確回答。

模型的回答通常過于冗長并過度使用某些短語，例如重申它是 OpenAI 訓(xùn)練的語言模型。這些問題源于訓(xùn)練數(shù)據(jù)（訓(xùn)練者喜歡看起來更全面的長答案）和過度優(yōu)化。

理想情況下，當(dāng)用戶提供模棱兩可的查詢時，模型會提出質(zhì)疑，然而 ChatGPT 目前是自行猜測用戶的意圖。

雖然該研究已努力使模型拒絕不當(dāng)請求，但它有時會回復(fù)有害指令或給出有偏見的回答。研究團(tuán)隊正在使用 Moderation API 來警告模型或阻止某些類型的不安全內(nèi)容，并試圖收集用戶反饋來進(jìn)一步改進(jìn)該系統(tǒng)的工作。

相比于 GPT-3 和 Codex，ChatGPT 作為 OpenAI 最新發(fā)布的模型，已經(jīng)在安全性和可用性方面做出了諸多改進(jìn)，汲取了先前模型的經(jīng)驗教訓(xùn)，并通過使用人類反饋強(qiáng)化學(xué)習(xí) (RLHF) 大幅減少了模型的有害和不真實輸出。

審核編輯 ：李倩