編者按：最早人工智能的模型是從2012 年（AlexNet）問(wèn)世，模型的深度和廣度一直在逐級(jí)擴(kuò)升，龍蜥社區(qū)理事單位浪潮信息于 2019 年也發(fā)布了大規(guī)模預(yù)訓(xùn)練模型——源 1.0。今天，浪潮信息 AI 算法研究員李峰帶大家了解大模型發(fā)展現(xiàn)狀和大模型基礎(chǔ)知識(shí)，交流大模型在產(chǎn)業(yè)應(yīng)用中起到的作用和 AI 服務(wù)新態(tài)勢(shì)。以下為本次分享原文：

01

大模型現(xiàn)狀大家可以看到，人工智能的模型其實(shí)從最早 2012 年（AlexNet）問(wèn)世以來(lái)，模型的深度和廣度一直在逐級(jí)擴(kuò)升，其中比較典型的是到了 2018 年的時(shí)候像 BERT-Large 等這種基于BERT 和 transformer 結(jié)構(gòu)的模型產(chǎn)生之后，興起了一波模型規(guī)模和參數(shù)激增的熱潮。從BERT 模型出現(xiàn)到 GPT-3 擁有 1750 億參數(shù)規(guī)模的千億級(jí)大模型，大規(guī)模預(yù)訓(xùn)練模型成了一個(gè)新的技術(shù)發(fā)展趨勢(shì)。

在 2019 年的時(shí)候，浪潮信息也發(fā)布了大規(guī)模預(yù)訓(xùn)練模型——源 1.0。參數(shù)量是 2457 億。站在現(xiàn)在的角度回看歷史的發(fā)展長(zhǎng)河，模型的尺度和規(guī)模是在逐級(jí)擴(kuò)增的，這個(gè)趨勢(shì)仍舊是有愈演愈烈的一個(gè)情況。

整體大模型的興起繞不開(kāi)一個(gè)基礎(chǔ)模型結(jié)構(gòu)Transformer。Transformer 架構(gòu)相當(dāng)于是在接受輸入之后，在內(nèi)部進(jìn)行了一個(gè)類(lèi)似于查表的工作，其中的注意力層之所以叫注意力，最大的作用直白的來(lái)看就是可以去學(xué)習(xí)關(guān)系，所謂的注意力就是當(dāng)我們看到一個(gè)東西的時(shí)候，對(duì)他感興趣我們就會(huì)多看一會(huì)兒，對(duì)另外一個(gè)東西沒(méi)有興趣或者對(duì)它的興趣比較低，則對(duì)它的關(guān)注會(huì)更少一點(diǎn)。這種注意力機(jī)制就是把所謂關(guān)注的程度轉(zhuǎn)換成了一個(gè)可衡量的指標(biāo)，這就是上面說(shuō)到的注意力。用這樣的一個(gè)注意力層可以更好的去學(xué)習(xí)所有輸入之間的一個(gè)關(guān)系，最后的一個(gè)前饋層又對(duì)輸入的信息進(jìn)行一個(gè)高效的存儲(chǔ)和檢索。這樣的一個(gè)模型結(jié)構(gòu)與之前基于 RNN 的模型結(jié)構(gòu)相比不僅是極大地提升了自然語(yǔ)言處理任務(wù)的精度，而且在計(jì)算性能上也遠(yuǎn)超 RNN 類(lèi)的模型。Transformer 結(jié)構(gòu)的提出極大提升了計(jì)算效率和資源利用率?？梢钥吹剑谀Ｐ蜆?gòu)建和訓(xùn)練算法的設(shè)計(jì)過(guò)程當(dāng)中，算力和算法是相輔相成的，二者缺一不可，也就是我們提出的混合架構(gòu)的一個(gè)算法設(shè)計(jì)。

另外 Transformer 結(jié)構(gòu)之所以能夠做大做強(qiáng)，再創(chuàng)輝煌，另一個(gè)根本的原因在于互聯(lián)網(wǎng)上有相當(dāng)多海量數(shù)據(jù)可以供模型進(jìn)行自監(jiān)督學(xué)習(xí)，這樣才為我們龐大的水庫(kù)中投入了龐大的數(shù)據(jù)資源和知識(shí)。

正是這些好處奠定了 Transformer 結(jié)構(gòu)作為大模型基礎(chǔ)架構(gòu)的堅(jiān)實(shí)的地位。

基于對(duì)前人的研究調(diào)研以及實(shí)證研究之后，我們發(fā)現(xiàn)隨著數(shù)據(jù)量和參數(shù)量的增大，模型的精度仍舊可以進(jìn)一步的提升，即損失函數(shù)值是可以進(jìn)一步降低的。模型損失函數(shù)和模型的參數(shù)規(guī)模以及模型訓(xùn)練的數(shù)據(jù)量之間是呈現(xiàn)這樣一個(gè)關(guān)系，現(xiàn)在仍舊處在相對(duì)中間的水平上，當(dāng)模型和數(shù)據(jù)量的規(guī)模進(jìn)一步增大的時(shí)候仍舊可以得到大模型邊際效益帶來(lái)的收益紅利。

大模型正在作為一種新型的算法，成為整個(gè)人工智能技術(shù)新的一個(gè)制高點(diǎn)和一個(gè)新型的基礎(chǔ)設(shè)施?？梢哉f(shuō)大模型是一種變革性的技術(shù)，他可以顯著的提升我們?nèi)斯ぶ悄苣Ｐ驮趹?yīng)用當(dāng)中的性能表現(xiàn)，將人工智能的算法開(kāi)發(fā)的過(guò)程由傳統(tǒng)的煙囪式開(kāi)發(fā)模式轉(zhuǎn)向一種集中式建模，解決 AI 應(yīng)用落地過(guò)程當(dāng)中的一些場(chǎng)景碎片化、模型結(jié)構(gòu)和模型訓(xùn)練需求零散化的痛點(diǎn)。

另外我們能看到的是對(duì)于大模型這個(gè)領(lǐng)域里面的玩家，主要是來(lái)自中美兩國(guó)。從 GPT3 發(fā)布以后我們國(guó)內(nèi)也開(kāi)始相應(yīng)的有不同的參數(shù)規(guī)模的模型來(lái)去引領(lǐng)世界大模型業(yè)界的一個(gè)浪潮。正如我們之前提到的，在大規(guī)模預(yù)訓(xùn)練模型里面，模型參數(shù)提升帶來(lái)的邊際收益仍舊存在，所以大家在短期之內(nèi)仍舊在吃這種大模型參數(shù)提升帶來(lái)的收益紅利。

02

浪潮·源 1.0 大規(guī)模中文自然語(yǔ)言模型

浪潮·源 1.0 大規(guī)模中文自然語(yǔ)言處理模型有 2457 億參數(shù)，于 2019 年的時(shí)候 9 月份發(fā)布，在發(fā)布之時(shí)，憑借參數(shù)量登頂了業(yè)界規(guī)模最大的中文自然語(yǔ)言的單體模型。在這個(gè)模型整個(gè)構(gòu)建的時(shí)候，最大的一個(gè)問(wèn)題就是數(shù)據(jù)，數(shù)據(jù)集從哪來(lái)，怎樣去構(gòu)建，包含哪些內(nèi)容。這里給大家列了一個(gè)表來(lái)簡(jiǎn)單闡述，源 1.0 的中文數(shù)據(jù)集包含了有互聯(lián)網(wǎng)中文社區(qū)近五年的所有數(shù)據(jù)，以及一些公開(kāi)數(shù)據(jù)集、百科、電子書(shū)等原始語(yǔ)料，總計(jì)超過(guò) 800TB。我們對(duì)原始語(yǔ)料做了過(guò)濾轉(zhuǎn)換、去重，之后構(gòu)建了打分模型對(duì)所有的樣本語(yǔ)料進(jìn)行高質(zhì)量和低質(zhì)量的判定。經(jīng)過(guò)一系列的處理，最終我們得到了 5T 的高質(zhì)量中文語(yǔ)料數(shù)據(jù)集，這個(gè)語(yǔ)料數(shù)據(jù)也是目前中文語(yǔ)料當(dāng)中規(guī)模最大，質(zhì)量最高的語(yǔ)料庫(kù)。我們的一些合作伙伴也拿我們公開(kāi)的語(yǔ)料數(shù)據(jù)進(jìn)行了一些模型的預(yù)訓(xùn)練，也是成功登頂了 CLUE 等測(cè)評(píng)榜單。

源大模型的結(jié)構(gòu)上也做了一些創(chuàng)新，一方面是 2457 億的參數(shù)，這個(gè)參數(shù)主要是基于 Transformer 的解碼層結(jié)構(gòu)進(jìn)行了堆疊，也首次面向計(jì)算的效率和精度優(yōu)化方面做了大模型的結(jié)構(gòu)設(shè)計(jì)，針對(duì) Attention 層和前饋層的模型空間結(jié)構(gòu)也做了一些優(yōu)化。我們改進(jìn)的注意力機(jī)制來(lái)聚焦文章內(nèi)部的聯(lián)系，之后在整個(gè)計(jì)算過(guò)程當(dāng)中我們也采用了張量并行、流水并行和數(shù)據(jù)并行三大并行方式來(lái)做模型的聯(lián)合優(yōu)化，從而提升模型訓(xùn)練的效率。

源大模型在整個(gè)訓(xùn)練階段，因?yàn)槟Ｐ徒Y(jié)構(gòu)和模型參數(shù)如此巨大，就需要更大規(guī)模的算力跟算力優(yōu)化的能力支持。浪潮信息供給了全球五分之一，中國(guó) 50% 的 AI 服務(wù)器，并且在 MLPerf 等等這些與AI計(jì)算相關(guān)的比賽和精度優(yōu)化、計(jì)算優(yōu)化的比賽當(dāng)中也是獲得了非常多的冠軍，也連任了 SpecML 的評(píng)委的主席，在這些過(guò)程當(dāng)中我們積累下來(lái)的AI計(jì)算和性能優(yōu)化方面的這些能力也在源 1.0 的訓(xùn)練過(guò)程當(dāng)中被重復(fù)的賦能，所以我們的源 1.0 在訓(xùn)練過(guò)程當(dāng)中，有非常強(qiáng)大的 AI 算力支持。

在大模型訓(xùn)練方面，我們采用了 2128 塊 GPU，在單個(gè) GPU 上的實(shí)際性能和理論性能的比值達(dá)到了 45%，遠(yuǎn)高于 GPT3 和 MT-NLG 等模型的訓(xùn)練過(guò)程。對(duì)于計(jì)算性能的提升會(huì)帶來(lái)非常大的綠色環(huán)保的收益以及人力成本、時(shí)間成本上的收益。

源 1.0 在中文的自然語(yǔ)言測(cè)評(píng)的 CLUE 的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)測(cè)評(píng)當(dāng)中，獲得了業(yè)界第一的水平，在智源指數(shù) CUGE 上面的評(píng)測(cè)也獲得了總分第一的成績(jī)。模型除了可比較、可量化的評(píng)價(jià)標(biāo)準(zhǔn)以外也表現(xiàn)出非常豐富和出色的中文理解和創(chuàng)作能力，后文也有一些基于源 1.0 落地的應(yīng)用實(shí)例，跟合作伙伴一起開(kāi)發(fā)和賦能的相關(guān)案例，也會(huì)做一個(gè)簡(jiǎn)短的介紹。

我們?cè)?WebQA 和 CMRC 的測(cè)評(píng)上面也橫向比較了當(dāng)時(shí)業(yè)界我們國(guó)內(nèi)的一些模型的水平，可以看到在這兩個(gè)任務(wù)上面我們也達(dá)到了一個(gè)業(yè)界高水平的成績(jī)。

03

基于源 1.0 的技能模型構(gòu)建

大模型帶來(lái)優(yōu)異的精度表現(xiàn)和泛化能力，也帶來(lái)一系列的問(wèn)題。模型太大，部署起來(lái)會(huì)比較麻煩，因此我們基于源 1.0 在不同領(lǐng)域上面針對(duì)不同的任務(wù)構(gòu)建了一些技能模型。

在實(shí)際應(yīng)用當(dāng)中，有 2000 多億參數(shù)的大模型加載所需的顯存空間就非常龐大。千億參數(shù)模型需要用 8 張 GPU 卡做部署，推理時(shí)間要達(dá)到 6 秒多，而用百億參數(shù)模型只需要 4 張GPU 卡就可以實(shí)現(xiàn) 2 秒鐘的推理效率，推理效率的提升還是比較明顯的，這樣的模型在實(shí)際的應(yīng)用當(dāng)中，尤其是對(duì)實(shí)時(shí)性要求較高的應(yīng)用是非常占優(yōu)的。

大模型的更新也比較困難，2000 多億參數(shù)的模型，訓(xùn)練和微調(diào)的成本非常高，如果訓(xùn)練數(shù)據(jù)量少起不到對(duì)于這么龐大模型的所有參數(shù)更新的作用，如果訓(xùn)練數(shù)據(jù)規(guī)模大，雖然它的參數(shù)會(huì)被整體進(jìn)行更新，但是會(huì)帶來(lái)兩個(gè)比較大的問(wèn)題，一個(gè)是訓(xùn)練成本本身會(huì)變得很高，另外一個(gè)就是大規(guī)模的數(shù)據(jù)在訓(xùn)練過(guò)程當(dāng)中有可能帶來(lái)災(zāi)難性的遺忘，這會(huì)導(dǎo)致模型本身原有的泛化能力會(huì)有所衰減。還有就是應(yīng)用困難，大模型的推理耗時(shí)相比傳統(tǒng)服務(wù)高好多，推理的資源需求也會(huì)大很多。千億參數(shù)的模型需要超過(guò) 600GB 的顯存進(jìn)行加載，推理時(shí)間超過(guò) 6 秒。因此我們希望采用知識(shí)遷移和模型壓縮的方式來(lái)實(shí)現(xiàn)模型蒸餾。

為了構(gòu)建技能模型我們對(duì)一些典型場(chǎng)景進(jìn)行了數(shù)據(jù)收集，一種是古文，古詩(shī)文是中國(guó)傳統(tǒng)文化的一個(gè)藝術(shù)結(jié)晶，因此我們希望能夠通過(guò)現(xiàn)代的技術(shù)去挖掘古代的文學(xué)之美，所以我們?nèi)ナ占盼念?lèi)的所有的數(shù)據(jù)和樣本，然后去訓(xùn)練一個(gè)古文模型來(lái)去實(shí)現(xiàn)讓大模型來(lái)做吟詩(shī)作對(duì)的這樣一個(gè)能力。另一個(gè)是對(duì)話(huà)場(chǎng)景，我們對(duì)于自由對(duì)話(huà)場(chǎng)景收集了超過(guò) 2GB，覆蓋多領(lǐng)域多話(huà)題的自由對(duì)話(huà)數(shù)據(jù)，以它為基礎(chǔ)，我們后續(xù)要進(jìn)行模型的蒸餾。

關(guān)于中英文翻譯場(chǎng)景，我們收集了超過(guò) 145GB 的英文書(shū)籍和百科、新聞等國(guó)際官方文檔，以及他們對(duì)應(yīng)的中文翻譯，期望在后續(xù)可以做翻譯的模型。還有一個(gè)是問(wèn)答場(chǎng)景。我們共收集了超過(guò) 3.9G 的公開(kāi)知識(shí)，包括醫(yī)療、百科、金融等等多個(gè)領(lǐng)域。期望在后續(xù)可以去做問(wèn)答的模型來(lái)匹配這樣的一個(gè)知識(shí)問(wèn)答場(chǎng)景。

無(wú)論是在做什么樣的模型的時(shí)候，算法里面叫百算數(shù)為先，無(wú)論構(gòu)建什么樣的算法，我們都要從應(yīng)用場(chǎng)景出手，在我們的模型開(kāi)發(fā)實(shí)踐過(guò)程當(dāng)中都是以場(chǎng)景和場(chǎng)景所需要的數(shù)據(jù)著手，首先進(jìn)行數(shù)據(jù)準(zhǔn)備，之后才是相應(yīng)的模型算法上面的一個(gè)開(kāi)發(fā)工作。

在傳統(tǒng)意義上或者是在過(guò)去我們的一些算法實(shí)踐當(dāng)中，模型壓縮一般是壓縮到 60%、50%，甚至相對(duì)大一點(diǎn)的時(shí)候把模型壓縮到原有模型的 40%，我們想要把千億參數(shù)模型進(jìn)行10 倍壓縮，然后我們?nèi)ヌ剿髟谶@個(gè)壓縮過(guò)程當(dāng)中所使用的方法，從相應(yīng)的實(shí)踐當(dāng)中去積累經(jīng)驗(yàn)，進(jìn)一步把百億參數(shù)模型再往億級(jí)參數(shù)模型去壓縮。

想要做模型壓縮，第一個(gè)是需要確定參數(shù)的初始化方法：一種是采用 PKD 的 skip 方式，采用跳層的方式去保留其中需要的層數(shù)，使得模型寬度保持不變的情況下讓深度降低，從而達(dá)到減少參數(shù)量的目的，這種方式會(huì)使模型的抽象表達(dá)的能力變?nèi)?。第二種方式是采用 Hiddensizetransformation，模型的深度不變，而把模型寬度上面進(jìn)行一個(gè)壓縮，但模型特征抽取的能力就會(huì)變得非常弱，從我們的實(shí)踐當(dāng)中也發(fā)現(xiàn)采用這樣的線(xiàn)性壓縮變換都會(huì)導(dǎo)致模型在訓(xùn)練過(guò)程當(dāng)中的穩(wěn)定性變差，模型收斂會(huì)呈現(xiàn)一個(gè)波動(dòng)的狀態(tài)。第三種方式是基于預(yù)訓(xùn)練的方法，根據(jù)期望的訓(xùn)練時(shí)長(zhǎng)和模型推理的延遲等要求，預(yù)先設(shè)定相應(yīng)的模型結(jié)構(gòu)，在已有的數(shù)據(jù)上做預(yù)訓(xùn)練，把這個(gè)預(yù)訓(xùn)練出來(lái)的模型當(dāng)做學(xué)生模型，在此基礎(chǔ)上再用專(zhuān)業(yè)數(shù)據(jù)集結(jié)合千億參數(shù)模型，對(duì)這個(gè)百億參數(shù)模型進(jìn)行進(jìn)一步的知識(shí)蒸餾，采用這樣的方式降低了模型開(kāi)發(fā)的成本，同時(shí)可以很好的保留模型寬度跟深度上的一些結(jié)構(gòu)。

第二個(gè)問(wèn)題是模型的蒸餾的策略。蒸餾的時(shí)候究竟是以漸進(jìn)式的知識(shí)遷移方式為主還是以輔助式的知識(shí)遷移的方式來(lái)進(jìn)行模型蒸餾。漸進(jìn)式知識(shí)遷移的精度和性能表現(xiàn)是比較好的，但是計(jì)算成本很高。

除了以上，還有一種模型壓縮的方式是直接同步的指導(dǎo) studentmodel 里面對(duì)應(yīng)的對(duì)應(yīng)層，在 loss 層面上面做一個(gè)加權(quán)，采用這樣的方式叫AKT 的方式，這兩種方式的模型精度表現(xiàn)上面差異不大，但是對(duì)于采用 AKT 的方式，在一次訓(xùn)練過(guò)程當(dāng)中可以同步的去更新所有的 Transformer 結(jié)構(gòu)里面所需要的參數(shù)，這樣它的計(jì)算就遠(yuǎn)比漸進(jìn)式的方式計(jì)算開(kāi)銷(xiāo)要小很多。所以浪潮信息采用 AKT 的方式來(lái)進(jìn)行模型壓縮。transformer 結(jié)構(gòu)里面包含的主要有三個(gè)東西：Embedding、Hiddenstate 還有 Attentionmatrics。如果在 Embedding 跟 Hiddenstate 上面做知識(shí)遷移，蒸餾前后的矩陣維度是不匹配的。因此我們對(duì) Attentionmatrics 里面 K、Q、V 三個(gè)矩陣做知識(shí)蒸餾，可以保證一方面維度不需要去考慮這個(gè)問(wèn)題，另外一方面，在 transformer 當(dāng)中，在最上面的內(nèi)容里其實(shí)提到過(guò)，transformer 里面的 K、Q、V 矩陣，一方面做了知識(shí)的存儲(chǔ)，另外一方面，可以最大限度的保留知識(shí)跟關(guān)系之間的一些信息。

最終的實(shí)驗(yàn)結(jié)果，百億參數(shù)的模型在 FewCLUE 上面與千億參數(shù)模型進(jìn)行比較，可以看到模型的精度、損失是相對(duì)比較小的，是可以接受的。而計(jì)算資源的需求從 8 個(gè) GPU 下降到了 4GPU，推理延遲也從 6 秒一直降至 2 秒，推理性能提升非常顯著。在 webQA 的問(wèn)答數(shù)據(jù)集上進(jìn)行測(cè)評(píng)，可以看到百億參數(shù)的模型，因?yàn)樵跇?gòu)建過(guò)程當(dāng)中，經(jīng)過(guò)了知識(shí)蒸餾，得到的性能表現(xiàn)甚至優(yōu)于了原來(lái)直接訓(xùn)練出來(lái)的千億參數(shù)模型，也是達(dá)到了業(yè)界領(lǐng)先的程度。

我們秉承著構(gòu)建開(kāi)源社區(qū)，提升大家在大模型里面的應(yīng)用能力，做了大模型的開(kāi)源開(kāi)放計(jì)劃，構(gòu)建了開(kāi)源的一個(gè)官方網(wǎng)站（air.inspur.com），針對(duì)大學(xué)或科研機(jī)構(gòu)的人工智能研究團(tuán)隊(duì)、浪潮信息的元腦生態(tài)伙伴，還有各種智能計(jì)算中心，以及對(duì)于中文自然語(yǔ)言理解和大模型感興趣的各類(lèi)開(kāi)發(fā)人員和開(kāi)發(fā)者進(jìn)行免費(fèi)開(kāi)放，大家可以通過(guò)官網(wǎng)進(jìn)行申請(qǐng)注冊(cè)。開(kāi)源開(kāi)放的內(nèi)容包括在官網(wǎng)上有模型的 API，以及高質(zhì)量中文數(shù)據(jù)集和相應(yīng)的處理代碼開(kāi)放出了 1T 的數(shù)據(jù)，這些只需在官網(wǎng)上進(jìn)行申請(qǐng)就行。

另外，模型訓(xùn)練推理和應(yīng)用的相關(guān)代碼也在 github 上進(jìn)行了開(kāi)源，我們秉持一個(gè)開(kāi)放的態(tài)度，鼓勵(lì)并且面向 AI 芯片的合作伙伴與大家合作，做模型相關(guān)的遷移和開(kāi)發(fā)工作。

上圖展示我們開(kāi)源開(kāi)放的一些工具，在官網(wǎng)上面我們構(gòu)建的一個(gè) APIExp 的線(xiàn)上測(cè)試工具，可以零代碼的去實(shí)現(xiàn)對(duì)應(yīng)參數(shù) API 的交互和實(shí)驗(yàn)。另外，我們也提供了沙箱，通過(guò)簡(jiǎn)單的設(shè)置，就可以展示出想要設(shè)計(jì)的開(kāi)發(fā)應(yīng)用，在上線(xiàn)之后大概是一個(gè)什么樣的交互方式和交互的結(jié)果。

04

源 1.0 大模型創(chuàng)新及實(shí)踐

最后，大模型在開(kāi)源開(kāi)放之后也迎來(lái)了非常多的合作，吸引了超過(guò)一千三百多的開(kāi)發(fā)者，來(lái)自不同的行業(yè)和不同的應(yīng)用場(chǎng)景，注冊(cè)并基于我們的源 1.0 大模型，進(jìn)行不同應(yīng)用的開(kāi)發(fā)。這里給大家看到的是一些簡(jiǎn)單的事例，如圖是我們和西安筷子幫共同去開(kāi)發(fā)的公文寫(xiě)作助手，可以支持總結(jié)報(bào)告、學(xué)習(xí)心得等等內(nèi)容的輔助寫(xiě)作。針對(duì)長(zhǎng)篇寫(xiě)作內(nèi)容的場(chǎng)景里，我們?cè)诳煽匚谋旧缮厦孀隽艘幌盗械难芯浚鉀Q長(zhǎng)文本內(nèi)容偏移的問(wèn)題，生成的文本的語(yǔ)意的一致性也是比同類(lèi)技術(shù)提升了 26%。

另外我們做了智能問(wèn)答系統(tǒng)，在內(nèi)部的智能客戶(hù)的機(jī)器人上面，問(wèn)題匹配率也是達(dá)到了92.6%，然后依賴(lài)客服機(jī)器人去解決問(wèn)題的成功率達(dá)到 65%。整體的應(yīng)用使用也是有所提升，這一個(gè)項(xiàng)目也是獲得了今年哈佛商業(yè)評(píng)論里面鼎革獎(jiǎng)的年度技術(shù)突破獎(jiǎng)。

還有一些比較典型的應(yīng)用，這個(gè)是和我們的開(kāi)發(fā)者，一起來(lái)做的一個(gè) PoC 項(xiàng)目，面向數(shù)字社區(qū)的助理。開(kāi)發(fā)者面向數(shù)字社區(qū)的工作人員，提供了一款數(shù)字助理，通過(guò)采用大模型來(lái)模擬到居委會(huì)進(jìn)行投訴，或者是進(jìn)行咨詢(xún)的居民，然后來(lái)模擬他們的對(duì)話(huà)，并且對(duì)工作人員的回答做出一個(gè)判斷，并且予以評(píng)分。通過(guò)這樣的方式來(lái)提高工作人員面對(duì)突發(fā)情況的應(yīng)對(duì)能力。

在另外一個(gè)場(chǎng)景里我們跟香港的浸會(huì)大學(xué)的教授一起基于大模型自然語(yǔ)言處理能力，開(kāi)發(fā)一種心理輔導(dǎo)的培訓(xùn)機(jī)器人。這種也是基于這樣的反向思維，讓 AI 去承擔(dān)心理咨詢(xún)對(duì)話(huà)當(dāng)中的求助者的角色，讓咨詢(xún)師根據(jù)心理來(lái)做求助的患者。通過(guò)這樣的方式，我們可以用大模型模擬可能存在問(wèn)題的輸入，通過(guò)標(biāo)準(zhǔn)工作者的工作內(nèi)容去得到相應(yīng)標(biāo)準(zhǔn)的答案。這其實(shí)也是互聯(lián)網(wǎng)思維的一個(gè)非常典型的叫羊毛出在豬身上，我們通過(guò)這樣的方式，也可以獲取非常多標(biāo)準(zhǔn)的數(shù)據(jù)集和針對(duì)應(yīng)用場(chǎng)景下的標(biāo)準(zhǔn)數(shù)據(jù)集，有這些數(shù)據(jù)的情況下，反過(guò)來(lái)之后，我們?cè)賹?duì)大模型做微調(diào)之后模型就有能力去扮演工作人員的角色，然后對(duì)心理咨詢(xún)的患者直接進(jìn)行輔導(dǎo)。這樣的過(guò)程其實(shí)就是在 ChatGPT 當(dāng)中提到的 RLHF 的人環(huán)強(qiáng)化學(xué)習(xí)的一種合理的運(yùn)用。

審核編輯 ：李倩