同時(shí)，為了考察軒轅大模型在金融實(shí)際任務(wù)上的能力，軒轅團(tuán)隊(duì)還特別組織了金融專家為對(duì)話大模型進(jìn)行人工評(píng)測(cè)。任務(wù)的設(shè)計(jì)均是從金融行業(yè)實(shí)際應(yīng)用場(chǎng)景出發(fā)，去判斷軒轅是否在各項(xiàng)金融任務(wù)上具備“實(shí)戰(zhàn)能力”。

（人工金融評(píng)測(cè)集任務(wù)構(gòu)成）

最終結(jié)果顯示，軒轅大模型各個(gè)參數(shù)上均具有“以小搏大”的實(shí)力，達(dá)到自己2倍甚至5倍參數(shù)量的模型水平。在各項(xiàng)金融評(píng)測(cè)任務(wù)上，XuanYuan-6B表現(xiàn)超越市面最新13B中文開源模型（左圖），XuanYuan-13B表現(xiàn)超越市面最新72B中文開源模型（中圖），XuanYuan-72B-V2表現(xiàn)可以媲美GPT4（右圖），并且在金融法規(guī)、金融產(chǎn)品信息等中文場(chǎng)景上超越。

（軒轅擁有遠(yuǎn)超同參數(shù)水平的金融能力）

02通用能力

將軒轅大模型在MMLU、CEVAL、CMMLU、GSM8K、HumanEval等中外主流評(píng)測(cè)集上進(jìn)行評(píng)測(cè)，觀察大模型在知識(shí)、邏輯、代碼等通用能力上的表現(xiàn)。同時(shí)加入類似參數(shù)矩陣的LLaMA2系列進(jìn)行比較，結(jié)果顯示軒轅不同參數(shù)大模型在各項(xiàng)榜單成績(jī)上均有優(yōu)異表現(xiàn)，在CMMLU、C-Eval等多個(gè)中文評(píng)測(cè)榜單上，更是有超越GPT-4的水準(zhǔn)。

進(jìn)一步分析發(fā)現(xiàn)，經(jīng)過專門優(yōu)化以增強(qiáng)考試能力的XuanYuan-6B和XuanYuan-13B模型，在C-Eval和CMMLU這兩個(gè)中文考試評(píng)測(cè)指標(biāo)上有了顯著提升。然而，需要注意的是，“高分”并不意味著“高能力”。評(píng)測(cè)集成績(jī)可通過優(yōu)化模型考試能力來提升，不直接等同于模型在實(shí)際應(yīng)用中的優(yōu)勢(shì)。因此，盡管小參數(shù)模型在某些評(píng)測(cè)中表現(xiàn)出色，這并不意味著它們的各方面真實(shí)能力均超越了同系列大參數(shù)模型。

（軒轅大模型在各個(gè)評(píng)測(cè)集上的分?jǐn)?shù)）

「軒轅」技術(shù)解析：對(duì)齊技術(shù)突破能力瓶頸，面向公眾開放自動(dòng)化訓(xùn)練框架

度小滿軒轅大模型團(tuán)隊(duì)在過去一年，對(duì)大模型訓(xùn)練的各個(gè)環(huán)節(jié)積累了豐富的經(jīng)驗(yàn)。這包括建立了一套完整的數(shù)據(jù)處理流水線、采用更適配領(lǐng)域模型的高效訓(xùn)練方法等，以及本次突破性的利用人類偏好對(duì)齊技術(shù)，極大地提升了6B、13B、70B模型的對(duì)話能力，顯著增強(qiáng)了模型的場(chǎng)景適應(yīng)性。

軒轅系列大模型使用DeepSpeed分布式訓(xùn)練框架，引入動(dòng)態(tài)評(píng)估與調(diào)整機(jī)制以優(yōu)化訓(xùn)練過程。在微調(diào)階段，軒轅特別的采用了Self-QA策略來收集指令微調(diào)數(shù)據(jù)。該方法能夠在沒有人工標(biāo)注的情況下生成大量高質(zhì)量的問答數(shù)據(jù)，為模型提供有監(jiān)督的訓(xùn)練樣本，有效提升模型的學(xué)習(xí)效率和質(zhì)量。

（軒轅大模型Self-QA數(shù)據(jù)構(gòu)造方法）

針對(duì)金融領(lǐng)域的特定需求，軒轅大模型還開發(fā)了一種混合微調(diào)訓(xùn)練框架，旨在通過融合通用與特定領(lǐng)域數(shù)據(jù)來增強(qiáng)模型性能及適應(yīng)性。這種混合微調(diào)方法不僅顯著提高了模型在特定任務(wù)的表現(xiàn)，也增強(qiáng)了其整體的泛化能力和適應(yīng)性，為金融領(lǐng)域任務(wù)的性能提升開辟了新途徑。

度小滿創(chuàng)新地在金融領(lǐng)域大模型中引入了人類偏好對(duì)齊技術(shù)，開創(chuàng)了領(lǐng)域內(nèi)強(qiáng)化對(duì)齊訓(xùn)練的先河。通常，領(lǐng)域大模型僅在微調(diào)階段引入特定領(lǐng)域數(shù)據(jù)，但這種方法在實(shí)際應(yīng)用中常常顯示出局限性。金融行業(yè)的復(fù)雜性要求模型能夠更深入地理解并適應(yīng)行業(yè)特定的需求，而強(qiáng)化對(duì)齊訓(xùn)練有助于突破僅依靠微調(diào)所能達(dá)到的性能瓶頸。

軒轅團(tuán)隊(duì)精心構(gòu)建了涵蓋通用性、安全性和金融特性的Prompt數(shù)據(jù)集，并組織了專業(yè)的標(biāo)注團(tuán)隊(duì)對(duì)成對(duì)的回答進(jìn)行偏好標(biāo)注。接下來，團(tuán)隊(duì)通過一系列實(shí)踐、分析和改進(jìn)，成功完成了獎(jiǎng)勵(lì)模型（Reward Model）和后續(xù)的強(qiáng)化（采用近端策略優(yōu)化算法）訓(xùn)練。下圖以XuanYuan-6B為例展示了模型在通用性和金融能力的綜合評(píng)估結(jié)果。從圖中可以看出，在兩個(gè)領(lǐng)域，經(jīng)過人類偏好對(duì)齊后，模型的能力都有了極大的提升，證明了強(qiáng)化對(duì)齊訓(xùn)練的有效性。

（RLHF-model vs SFT-model）

（通用能力：RLHF-model vs SFT-model）

（金融能力：RLHF-model vs SFT-model）

度小滿軒轅大模型團(tuán)隊(duì)一向貫徹開源開放的原則。為了讓廣大開發(fā)者能夠更容易的上手使用大模型，使用真實(shí)數(shù)據(jù)和真實(shí)代碼作為示例，詳細(xì)介紹了訓(xùn)練模型的每個(gè)關(guān)鍵步驟。現(xiàn)在相關(guān)代碼已經(jīng)上傳開源社區(qū)，供廣大用戶實(shí)操體驗(yàn)。

金融行業(yè)需要怎樣的大模型？

金融領(lǐng)域?qū)Υ竽Ｐ偷囊筮h(yuǎn)超過基本的“判斷”與“生成”能力，更加強(qiáng)調(diào)在“分析”與“決策”過程中的高級(jí)能力，這些能力是觸及金融企業(yè)核心利益的關(guān)鍵。大模型的價(jià)值體現(xiàn)在其能否在核心業(yè)務(wù)場(chǎng)景中發(fā)揮實(shí)際作用，如通過綜合分析用戶信息以支持風(fēng)險(xiǎn)評(píng)估、客戶畫像繪制、精準(zhǔn)營(yíng)銷策略，或通過企業(yè)數(shù)據(jù)分析支持財(cái)務(wù)審查、智能投顧和行業(yè)研究。

金融大模型的最終目標(biāo)是提高企業(yè)ROI。這意味著，高效的金融大模型應(yīng)當(dāng)能夠在實(shí)際應(yīng)用中，如客服場(chǎng)景，通過提升對(duì)話處理、指令遵循和意圖理解能力，不僅短期內(nèi)提高客服效率，長(zhǎng)期還可能實(shí)現(xiàn)機(jī)器人客服的全面替代，重塑客戶服務(wù)流程，推動(dòng)金融服務(wù)向更高智能化水平邁進(jìn)。

結(jié)束語：關(guān)于度小滿「軒轅」大模型

度小滿軒轅大模型系列具有以下特色：

· 多尺寸開源，開發(fā)者友好。

· 擁抱開源，免費(fèi)下載使用。

· 版本快速迭代，社區(qū)持續(xù)更新。

· 持續(xù)面向金融行業(yè)伙伴交流共建。

在今年的政府工作報(bào)告中，提出了“大力發(fā)展科技金融、綠色金融、普惠金融、養(yǎng)老金融、數(shù)字金融”。在這樣的宏觀背景下，AI大模型落地金融場(chǎng)景，為行業(yè)帶來全新的智能化發(fā)展機(jī)遇，是金融行業(yè)本身的發(fā)展意愿，也是“新質(zhì)生產(chǎn)力”的客觀要求。

作為“實(shí)戰(zhàn)派”的度小滿軒轅，已經(jīng)應(yīng)用在金融領(lǐng)域的各個(gè)業(yè)務(wù)場(chǎng)景，并且初見成效。未來，度小滿軒轅會(huì)成為金融行業(yè)的一個(gè)支點(diǎn)，為更多智能化探索打開大門。

欲知“軒轅”大模型詳情，可移步Github官網(wǎng)。