【導(dǎo)讀】工具學(xué)習(xí)的開源時代來了！

人類具有創(chuàng)造和利用工具的能力，使得我們可以突破身體的限制，探索更廣闊的世界。

人工智能基礎(chǔ)模型也類似，如果僅靠訓(xùn)練階段得到的權(quán)重，使用場景就會非常受限，而最近提出的工具學(xué)習(xí)（tool learning），將特定領(lǐng)域的專用工具與大規(guī)模基礎(chǔ)模型相結(jié)合，可以實現(xiàn)更高的效率、性能。

不過目前工具學(xué)習(xí)的相關(guān)研究還不夠深入，也缺乏相關(guān)的開源數(shù)據(jù)和代碼。

最近，清華大學(xué)自然語言處理實驗室等支持的開源社區(qū)OpenBMB （Open Lab for Big Model Base）發(fā)布了ToolBench項目，可以幫助開發(fā)者構(gòu)建開源、大規(guī)模、高質(zhì)量的指令調(diào)優(yōu)數(shù)據(jù)，促進構(gòu)建具有通用工具使用能力的大型語言模型。

倉庫鏈接：https://github.com/OpenBMB/ToolBench

ToolBench倉庫中提供了相關(guān)數(shù)據(jù)集、訓(xùn)練和評估腳本，以及在ToolBench上微調(diào)的功能模型ToolLLaMA，具體特點為：

1. 支持單工具和多工具方案

其中單工具設(shè)置遵循LangChain提示風(fēng)格，多工具設(shè)置遵循AutoGPT的提示風(fēng)格。

2. 模型回復(fù)不僅包括最終答案，還包含模型的思維鏈過程、工具執(zhí)行和工具執(zhí)行結(jié)果

3. 支持真實世界級別的復(fù)雜性，支持多步工具調(diào)用

4. 豐富的API，可用于現(xiàn)實世界中的場景，如天氣信息、搜索、股票更新和PowerPoint自動化

5. 所有的數(shù)據(jù)都是由OpenAI API自動生成并由開發(fā)團隊進行過濾，數(shù)據(jù)的創(chuàng)建過程很容易擴展

不過需要注意的是，目前發(fā)布的數(shù)據(jù)還不是最終版本，研究人員仍然在對數(shù)據(jù)進行后處理來提高數(shù)據(jù)質(zhì)量，并增加真實世界工具的覆蓋范圍。

ToolBench

ToolBench的總體思路是基于BMTools，在有監(jiān)督數(shù)據(jù)中訓(xùn)練大型語言模型。

倉庫中包含31.2萬次真實API調(diào)用得到的9800條數(shù)據(jù)，涵蓋單工具場景和多工具場景，下面是單工具的統(tǒng)計信息。

其中每行數(shù)據(jù)都是一個json dict，包含數(shù)據(jù)創(chuàng)建的提示模板、工具使用的人工指令（查詢）、中間思維/工具執(zhí)行循環(huán)和最終答案。

模型實驗

機器評估：研究人員對每個工具隨機抽取100個鏈步（chain steps）來構(gòu)建機器評估測試平臺，平均27個最終步驟和73個中間工具調(diào)用步驟，其中最終步驟的評估使用Rouge-L指標(biāo)，中間步驟的評估使用ExactMatch指標(biāo)進行評估。

人工評估：在天氣、地圖、股票、翻譯、化學(xué)和WolframAlpha工具中隨機抽取10個query，然后評估工具調(diào)用過程的通過率、最終答案以及和ChatGPT最終答案的比較。

ChatGPT評估：通過ChatGPT對LLaMA和ChatGPT的答案和工具使用鏈進行自動評估。

評估結(jié)果如下（分數(shù)越高越好），可以看到ToolLLaMA在不同場景下與ChatGPT的性能相同或更好。

工具學(xué)習(xí)

在清華大學(xué)、人民大學(xué)、北京郵電大學(xué)等個國內(nèi)外知名高校和大學(xué)聯(lián)合發(fā)布的一篇論文中，對工具學(xué)習(xí)進行了系統(tǒng)的研究，介紹了工具學(xué)習(xí)的背景，包括認知起源、基礎(chǔ)模型的范式轉(zhuǎn)變，以及工具和模型的互補作用。

論文鏈接：https://arxiv.org/pdf/2304.08354.pdf

文中還回顧了現(xiàn)有的工具學(xué)習(xí)研究，包括工具增強型和工具導(dǎo)向型學(xué)習(xí)，并制定了一個通用的工具學(xué)習(xí)框架：從理解用戶指令開始，模型應(yīng)該學(xué)會把一個復(fù)雜的任務(wù)分解成幾個子任務(wù)，通過推理動態(tài)地調(diào)整計劃，并通過選擇合適的工具有效地征服每個子任務(wù)。

文中還討論了如何訓(xùn)練模型以提高工具使用能力并促進工具學(xué)習(xí)的普及。

考慮到之前的工作中缺乏系統(tǒng)的工具學(xué)習(xí)評估，研究人員用17種有代表性的工具進行了實驗，并展示了當(dāng)前基礎(chǔ)模型在熟練利用工具方面的潛力。

論文最后討論了幾個需要進一步研究的工具學(xué)習(xí)的開放性問題，例如確保安全和可信賴的工具使用、用基礎(chǔ)模型實現(xiàn)工具創(chuàng)建，以及解決個性化的難題。