Auto-GPT 究竟是一個(gè)開創(chuàng)性的項(xiàng)目,還是一個(gè)被過度炒作的 AI 實(shí)驗(yàn)?本文為我們揭開了喧囂背后的真相,并揭示了 Auto-GPT 不適合實(shí)際應(yīng)用的生產(chǎn)局限性。
背景介紹
這兩天,Auto-GPT,一款讓最強(qiáng)語言模型 GPT-4 能夠自主完成任務(wù)的模型,一夜成名,讓整個(gè) AI 圈瘋了。短短八天時(shí)間,它就在 GitHub 上獲得了驚人 Star 數(shù)量,目前已經(jīng)突破 8 萬,并吸引了無數(shù)開源社區(qū)的關(guān)注。
此前爆火的 ChatGPT,唯一不太好用的地方,就是需要人類輸入 Prompt。而 Auto-GPT 的一大突破是,可以讓 AI 自我提示,換句話說,AI 都完全不需要咱們?nèi)祟惲耍?/p>
在為 Auto-GPT 狂歡的同時(shí),我們也有必要退一步審視其潛在的不足之處,探討這個(gè)「AI 神童」所面臨的局限和挑戰(zhàn)。
接下來,肖涵博士將和我們深入探討Auto-GPT 究竟是一個(gè)開創(chuàng)性的項(xiàng)目,還是另一個(gè)被過度炒作的人工智能實(shí)驗(yàn)。
Auto-GPT 是如何工作的?
不得不說,Auto-GPT 在 AI 領(lǐng)域掀起了巨大的波瀾,它就像是賦予了 GPT-4 記憶和實(shí)體一樣,讓它能夠獨(dú)立應(yīng)對任務(wù),甚至從經(jīng)驗(yàn)中學(xué)習(xí),不斷提高自己的性能。
為了便于理解 Auto-GPT 是如何工作的,讓我們可以用一些簡單的比喻來分解它。
首先,想象 Auto-GPT 是一個(gè)足智多謀的機(jī)器人。
我們每分配一個(gè)任務(wù),Auto-GPT 都會給出一個(gè)相應(yīng)的解決計(jì)劃。比如,需要瀏覽互聯(lián)網(wǎng)或使用新數(shù)據(jù),它便會調(diào)整其策略,直到任務(wù)完成。這就像擁有一個(gè)能處理各種任務(wù)的私人助手,如市場分析、客戶服務(wù)、市場營銷、財(cái)務(wù)等。
具體來說,想讓 Auto-GPT 運(yùn)行起來,就需要依靠以下 4 個(gè)組件:
1. 架構(gòu)
Auto-GPT 是使用強(qiáng)大的 GPT-4 和 GPT-3.5 大型語言模型構(gòu)建的,它們充當(dāng)機(jī)器人的大腦,幫助它思考和推理。
2. 自主迭代
這就像機(jī)器人從錯(cuò)誤中學(xué)習(xí)的能力。Auto-GPT 可以回顧它的工作,在以前的努力的基礎(chǔ)上再接再厲,并利用它的歷史來產(chǎn)生更準(zhǔn)確的結(jié)果。
3. 內(nèi)存管理
與向量數(shù)據(jù)庫(一種內(nèi)存存儲解決方案)集成,使 Auto-GPT 能夠保留上下文并做出更好的決策。這就像給機(jī)器人配備了長時(shí)記憶,可以記住過去的經(jīng)歷。
4. 多功能性
Auto-GPT 的文件操作、網(wǎng)頁瀏覽和數(shù)據(jù)檢索等功能使其用途廣泛。這就像賦予機(jī)器人多種技能來處理更廣泛的任務(wù)。
然而,這些誘人的前景可能還尚未轉(zhuǎn)化為 Auto-GPT 真正可以實(shí)現(xiàn)的能力。
天價(jià)成本
想要在現(xiàn)實(shí)的生產(chǎn)環(huán)境中使用 Auto-GPT,首先面臨的障礙便是其高昂的成本。
由于任務(wù)需要通過一系列的思維迭代來完成,為了提供最好的推理和提示,模型每一步通常都會用盡所有 token。
然而,GPT-4 的 token 并不便宜。根據(jù) OpenAI 的定價(jià),具有 8K 上下文窗口的 GPT-4 模型,對于提示部分,每 1000 個(gè) token 收費(fèi) 0.03 美元;而對于結(jié)果部分,每 1000 個(gè) token 收費(fèi) 0.06 美元。而 1000 個(gè) token 大概可以換算成 750 個(gè)英文單詞。
讓我們分解思維鏈中每一步的成本,假設(shè)每個(gè)動作都用盡了 8000 個(gè) token 的上下文窗口,其中 80% 是提示(6400 個(gè) token),20% 是結(jié)果(1600 個(gè) token)。
提示成本:6400 個(gè) token x 0.03 美元/1000 個(gè) token = 0.192 美元
結(jié)果成本:1600 個(gè) token x 0.06 美元/1000 個(gè) token = 0.096 美元
因此,每個(gè) Step 的成本就是:0.192 美元 + 0.096 美元 = 0.288 美元
平均而言,Auto-GPT 完成一項(xiàng)小任務(wù)需要 50 個(gè) step。
因此,完成單個(gè)任務(wù)的成本就是:50 個(gè) step x 0.288 美元/step = 14.4 美元
VUEGPTTHOUGHTS:Let'sstartbycheckingifthereareanyupdatestoVueJS.Ifthereare,wecanupdatetothelatestversionandproceed.Otherwise,wecanmoveontocreatingtheTODOlistwebsiteapplication. REASONING:Startingwiththemostupdatedandstableversionoftheframeworkwillensureourprojecthasthelatestfeatures,bugfixesandisproperlysupported.CreatingtheTODOlistwebsiteapplicationisourprimarygoal,sowecanmoveontothatiftherearenoupdates. PLAN: -CheckforVueJSupdates -Updatetolatestversionifthereareupdates -Ifnoupdates,moveontocreatingtheTODOlistwebsiteapplication CRITICISM:None NEXTACTION:COMMAND=googleARGUMENTS={'input':'VueJSlatestversionupdate'} Enter'y'toauthorisecommand,'y-N'torunNcontinuouscommands,'n'toexitprogram,orenterfeedbackforVueGPT...
以 VueGPT 為例:這是一個(gè) Auto-GPT 創(chuàng)建的 AI,旨在使用 Vue JS 創(chuàng)建網(wǎng)站應(yīng)用程序,我們來看看它在思維鏈中的一個(gè)步驟,而且這還是一次就能出結(jié)果的情況,如果需要重新生成,成本會更高。
從這個(gè)角度來看,Auto-GPT 目前對大部分用戶和組織來說,都是不現(xiàn)實(shí)的。
開發(fā)到生產(chǎn)的難題
乍一看,花 14.4 美元來完成一項(xiàng)復(fù)雜的任務(wù),好像并無不妥。
舉個(gè)例子,我們首先讓 Auto-GPT 制作一份圣誕節(jié)食譜。然后,再找它要一份感恩節(jié)食譜的話,猜猜會發(fā)生什么?
沒錯(cuò),Auto-GPT 會按照相同的思維鏈從頭再做一遍,也就是說,我們需要再花 14.4 美元才行。
但實(shí)際上,這兩個(gè)任務(wù)在「參數(shù)」的區(qū)別應(yīng)該只有一個(gè):節(jié)日。
既然我們已經(jīng)花了 14.4 美元開發(fā)了一種創(chuàng)建食譜的方法,那么再用花相同的錢來調(diào)整參數(shù),顯然是不符合邏輯的。
想象一下,在玩《我的世界》(Minecraft),每次都要從頭開始建造一切。顯然,這會讓游戲變得非常無趣。
而這便暴露了Auto-GPT 的一個(gè)根本問題:它無法區(qū)分開發(fā)和生產(chǎn)。
當(dāng) Auto-GPT 完成目標(biāo)時(shí),開發(fā)階段就完成了。不幸的是,我們并沒有辦法將這一系列操作「序列化」為一個(gè)可重用的函數(shù),從而投入生產(chǎn)。
因此,用戶每次想要解決問題時(shí)都必須從開發(fā)的起點(diǎn)開始,不僅費(fèi)時(shí)費(fèi)力,而且還費(fèi)錢。
這種低下的效率,引發(fā)了關(guān)于 Auto-GPT 在現(xiàn)實(shí)世界生產(chǎn)環(huán)境中實(shí)用性的質(zhì)疑,也突顯了 Auto-GPT 在為大型問題解決提供可持續(xù)、經(jīng)濟(jì)有效的解決方案方面的局限性。
循環(huán)泥潭
不過,如果 14.4 美元真的能解決問題,那么它仍然是值得的。
但問題在于,Auto-GPT 在實(shí)際使用時(shí),經(jīng)常會陷入到死循環(huán)里……
那么,為什么 Auto-GPT 會陷入這些循環(huán)?
要理解這一點(diǎn),我們可以把 Auto-GPT 看作是依賴 GPT 來使用一種非常簡單的編程語言來解決任務(wù)。
解決任務(wù)的成功取決于兩個(gè)因素:編程語言中可用的函數(shù)范圍和GPT 的分治法能力(divide and conquer),即 GPT 能夠多好地將任務(wù)分解成預(yù)定義的編程語言。遺憾的是,GPT 在這兩點(diǎn)上都是不足的。
Auto-GPT 提供的有限功能可以在其源代碼中觀察到。例如,它提供了用于搜索網(wǎng)絡(luò)、管理內(nèi)存、與文件交互、執(zhí)行代碼和生成圖像的功能。然而,這種受限的功能集縮小了 Auto-GPT 能夠有效執(zhí)行的任務(wù)范圍。
此外,GPT 的分解和推理能力仍然受到限制。盡管 GPT-4 相較于 GPT-3.5 有了顯著的改進(jìn),但其推理能力遠(yuǎn)非完美,進(jìn)一步限制了 Auto-GPT 的解決問題的能力。
這種情況類似于嘗試使用 Python 構(gòu)建像《星際爭霸》這樣復(fù)雜的游戲。雖然 Python 是一種強(qiáng)大的語言,但將《星際爭霸》分解為 Python 函數(shù)極具挑戰(zhàn)性。
本質(zhì)上,有限功能集和 GPT-4 受限的推理能力的結(jié)合,最終造成了這個(gè)循環(huán)的泥潭,使 Auto-GPT 在許多情況下無法實(shí)現(xiàn)預(yù)期的結(jié)果。
人類與 GPT 的區(qū)別
分治法是 Auto-GPT 的關(guān)鍵。盡管 GPT-3.5/4 在前任基礎(chǔ)上有了顯著的進(jìn)步,但在使用分治法時(shí),其推理能力仍然無法達(dá)到人類水平。
1. 問題分解不充分
分治法的有效性在很大程度上取決于將復(fù)雜問題分解為較小、易于管理的子問題的能力。人類推理通??梢哉业蕉喾N分解問題的方法,而 GPT-3.5/4 可能沒有同樣程度的適應(yīng)性或創(chuàng)造力。
2. 識別合適基本案例的難度
人類可以直觀地選擇適當(dāng)?shù)幕景咐缘玫接行У慕鉀Q方案。相比之下,GPT-3.5/4 可能難以確定給定問題的最有效基本案例,這會顯著影響分治過程的整體效率和準(zhǔn)確性。
3. 問題背景理解不充分
雖然人類可以利用其領(lǐng)域知識和背景理解來更好地應(yīng)對復(fù)雜問題,但 GPT-3.5/4 受其預(yù)先訓(xùn)練的知識所限,可能缺乏用分治法有效解決某些問題所需的背景信息。
4. 處理重疊子問題
人類通常可以識別出解決重疊子問題時(shí),并有策略地重用先前計(jì)算過的解決方案。而 GPT-3.5/4 可能沒有同樣程度的意識,可能會多次冗余地解決相同的子問題,從而導(dǎo)致解決方案的效率降低。
向量數(shù)據(jù)庫:過度的解決方案
Auto-GPT 依賴向量數(shù)據(jù)庫進(jìn)行更快的 k-最近鄰(kNN)搜索。這些數(shù)據(jù)庫檢索先前的思維鏈,并將它們?nèi)谌氲疆?dāng)前查詢上下文中,以便為 GPT 提供一種記憶效果。
然而,考慮到 Auto-GPT 的約束和局限性,這種方法被批評為過度且不必要地消耗資源。其中,反對使用向量數(shù)據(jù)庫的主要論點(diǎn)源于與 Auto-GPT 思維鏈相關(guān)的成本約束。
一個(gè) 50 步的思維鏈將花費(fèi) 14.4 美元,而一個(gè) 1000 步的鏈將花費(fèi)更多。因此,記憶大小或思維鏈的長度很少超過四位數(shù)。在這種情況下,對最近鄰點(diǎn)進(jìn)行窮舉搜索(即 256 維向量與 10000 x 256 矩陣之間的點(diǎn)積)被證明是足夠高效的,用時(shí)不到一秒鐘。
相比之下,每個(gè) GPT-4 調(diào)用大約需要 10 秒鐘來處理,所以實(shí)際上限制系統(tǒng)處理速度的是 GPT,而非數(shù)據(jù)庫。
盡管在特定場景下,向量數(shù)據(jù)庫可能在某些方面具有優(yōu)勢,但在 Auto-GPT 系統(tǒng)中實(shí)現(xiàn)向量數(shù)據(jù)庫以加速 kNN “長時(shí)記憶”搜索似乎是一種不必要的奢侈和過度的解決方案。
智能體機(jī)制的誕生
Auto-GPT 引入了一個(gè)非常有趣的概念,允許生成智能體(Agent)來委派任務(wù)。
雖然,這種機(jī)制還處于初級階段,其潛力尚未被充分挖掘。不過,有多種方法可以增強(qiáng)和擴(kuò)展當(dāng)前的智能體系統(tǒng),為更高效、更具動態(tài)性的互動提供新的可能性。
一個(gè)潛在的改進(jìn)是引入異步智能體。通過結(jié)合異步等待模式,智能體可以并發(fā)操作而不會阻塞彼此,從而顯著提高系統(tǒng)的整體效率和響應(yīng)速度。這個(gè)概念受到了現(xiàn)代編程范式的啟發(fā),這些范式已經(jīng)采用了異步方法來同時(shí)管理多個(gè)任務(wù)。
圖源:https://scoutapm.com/blog/async-javascript
另一個(gè)有前景的方向是實(shí)現(xiàn)智能體之間的相互通信。通過允許智能體進(jìn)行通信和協(xié)作,它們可以更有效地共同解決復(fù)雜問題。這種方法類似于編程中的 IPC 概念,其中多個(gè)線程/進(jìn)程可以共享信息和資源以實(shí)現(xiàn)共同目標(biāo)。
生成式智能體是未來的方向
隨著 GPT 驅(qū)動的智能體不斷發(fā)展,這種創(chuàng)新方法的未來似乎十分光明。
新的研究,如「Generative Agents: Interactive Simulacra of Human Behavior」,強(qiáng)調(diào)了基于智能體的系統(tǒng)在模擬可信的人類行為方面的潛力。
論文中提出的生成式智能體,可以以復(fù)雜且引人入勝的方式互動,形成觀點(diǎn),發(fā)起對話,甚至自主計(jì)劃和參加活動。這項(xiàng)工作進(jìn)一步支持了智能體機(jī)制在 AI 發(fā)展中具有前景的論點(diǎn)。
通過擁抱面向異步編程的范式轉(zhuǎn)變并促進(jìn)智能體間通信,Auto-GPT 可以為更高效和動態(tài)的問題解決能力開辟新可能。
將《生成式智能體》論文中引入的架構(gòu)和交互模式融入其中,可以實(shí)現(xiàn)大型語言模型與計(jì)算、交互式智能體的融合。這種組合有可能徹底改變在 AI 框架內(nèi)分配和執(zhí)行任務(wù)的方式,并實(shí)現(xiàn)更為逼真的人類行為模擬。
智能體系統(tǒng)的開發(fā)和探索可極大地促進(jìn) AI 應(yīng)用的發(fā)展,為復(fù)雜問題提供更強(qiáng)大且動態(tài)的解決方案。
總結(jié)
總之,圍繞 Auto-GPT 的熱議引發(fā)了關(guān)于 AI 研究現(xiàn)狀以及公眾理解在推動新興技術(shù)炒作中的作用的重要問題。
正如上面所展示的,Auto-GPT 在推理能力方面的局限性、向量數(shù)據(jù)庫的過度使用以及智能體機(jī)制的早期發(fā)展階段,揭示了它距離成為實(shí)際解決方案還有很長的路要走。
圍繞 Auto-GPT 的炒作,提醒我們膚淺的理解可能讓期望過高,最終導(dǎo)致對 AI 真正能力的扭曲認(rèn)識。
話雖如此,Auto-GPT 確實(shí)為 AI 的未來指明了一個(gè)充滿希望的方向:生成式智能體系統(tǒng)。
最后,肖涵博士總結(jié)道:「讓我們從 Auto-GPT 的炒作中吸取教訓(xùn),培養(yǎng)關(guān)于 AI 研究的更為細(xì)致和知情的對話?!?/p>
這樣,我們就可以利用生成式智能體系統(tǒng)的變革力量,繼續(xù)推動 AI 能力的邊界,塑造一個(gè)技術(shù)真正造福人類的未來。
審核編輯 :李倩
-
語言模型
+關(guān)注
關(guān)注
0文章
557瀏覽量
10606 -
智能體
+關(guān)注
關(guān)注
1文章
230瀏覽量
10896 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1585瀏覽量
8672
原文標(biāo)題:碾壓ChatGPT、自主完成任務(wù)、Star數(shù)超8萬的Auto-GPT,是炒作還是未來?
文章出處:【微信號:OSC開源社區(qū),微信公眾號:OSC開源社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
ADXL345配置成AUTO_SLEEP模式為什么無法進(jìn)入正常工作?
使用TC21x的GPT實(shí)現(xiàn)1m計(jì)時(shí)器執(zhí)行定時(shí)任務(wù),怎么配置GTM和GPT?
GPT定時(shí)器?基本知識詳解
EPIT定時(shí)器與GPT定時(shí)器簡單介紹
GPT高精度延時(shí)定時(shí)器簡介
GPT2模塊的相關(guān)資料推薦
Auto_CAD安裝向?qū)?/a>
PCB_Auto-Routing設(shè)計(jì)
GPT/GPT-2/GPT-3/InstructGPT進(jìn)化之路
Auto GPT橫空出世,力推算力設(shè)施
微軟提出Control-GPT:用GPT-4實(shí)現(xiàn)可控文本到圖像生成!

一文詳解GPT tokenizer 的工作原理

評論