近日，為了提高NLP深度學(xué)習(xí)模型過程中的效率，微軟亞洲互聯(lián)網(wǎng)工程院NLP團(tuán)隊(duì)重磅推出開源項(xiàng)目NeuronBlocks，使得上述復(fù)雜的任務(wù)像搭積木一樣簡(jiǎn)單！

其實(shí)，構(gòu)建NLP深度學(xué)習(xí)模型就是搭積木。

在構(gòu)建自然語(yǔ)言理解深度學(xué)習(xí)模型過程中，研究人員或者工程師們經(jīng)常需要在編程細(xì)節(jié)和代碼調(diào)試上花費(fèi)大量精力，而不是專注于模型架構(gòu)設(shè)計(jì)與參數(shù)調(diào)整。

為了提升構(gòu)建深度模型的效率，微軟亞洲互聯(lián)網(wǎng)工程院自然語(yǔ)言理解團(tuán)隊(duì) (STCA NLP Group, Microsoft) 推出了開源項(xiàng)目NeuronBlocks——自然語(yǔ)言處理任務(wù)的模塊化深度學(xué)習(xí)建模工具包。

論文地址：https://arxiv.org/abs/1904.09535

項(xiàng)目地址：https://github.com/Microsoft/NeuronBlocks

NeuronBlocks將常用的神經(jīng)網(wǎng)絡(luò)層封裝為標(biāo)準(zhǔn)模塊，通過配置簡(jiǎn)單的配置文件，就可以輕松構(gòu)建復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型。與此同時(shí)，工具包還提供了一系列針對(duì)常見NLP 任務(wù)的經(jīng)典模型。NeuronBlocks能使工程師們?cè)趲酌腌妰?nèi)快速構(gòu)建和訓(xùn)練各種自然語(yǔ)言處理模型。工具包的可擴(kuò)展性很強(qiáng)，支持快速加入新的神經(jīng)元模塊用于新的網(wǎng)絡(luò)模型的構(gòu)建，最大程度地避免重復(fù)的代碼工作。

目前工具包支持的任務(wù)包括：句子分類（二/多分類），文本匹配，序列標(biāo)注，閱讀理解，基于知識(shí)蒸餾的模型壓縮，等等。

NeuronBlocks設(shè)計(jì)

NeuronBlocks是基于PyTorch的NLP深度學(xué)習(xí)建模工具包，可以幫助研究員或者工程師們快速構(gòu)建自然語(yǔ)言理解任務(wù)的深度神經(jīng)網(wǎng)絡(luò)模型。該工具包的主要目標(biāo)是將NLP深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建的開發(fā)成本降到最低，包括模型訓(xùn)練階段和推斷階段。NeuronBlocks整體框架如下圖所示，包括Block Zoo和Model Zoo兩個(gè)重要組件。

Block Zoo將常用的神經(jīng)網(wǎng)絡(luò)層抽象并封裝為可重用的標(biāo)準(zhǔn)模塊。這些模塊將被用于構(gòu)建各種針對(duì)不同自然語(yǔ)言理解任務(wù)的深度學(xué)習(xí)模型。工具包目前支持的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)模塊包括：詞嵌入、CNN、LSTM/GPU、Transformer和各種Attention等。

Model Zoo提供大量預(yù)構(gòu)建好的深度神經(jīng)網(wǎng)絡(luò)模型，涵蓋了常見的NLP任務(wù)。這些模型以JSON配置文件的形式呈現(xiàn)，用戶可以通過簡(jiǎn)單修改Model Zoo中的示例模型配置，即可將其應(yīng)用于自己的任務(wù)中。此外，工具包支持Linux和Windows操作系統(tǒng)、CPU與GPU處理器、以及PAI等GPU調(diào)度平臺(tái)。

快速開始

NeuronBlocks目前支持：Python 3.6, PyTorch 0.4.1，Linux/Windows，GPU/CPU。

1、獲取源碼：

gitclonehttps://github.com/Microsoft/NeuronBlocks

2、安裝依賴包：

pipinstall-rrequirements.txtpipinstalltorch==0.4.1

3、運(yùn)行示例模型：

#訓(xùn)練cdPROJECT_ROOTpythontrain.py--conf_path=model_zoo/demo/conf.json#測(cè)試pythontest.py--conf_path=model_zoo/demo/conf.json#預(yù)測(cè)pythonpredict.py--conf_path=model_zoo/demo/conf.json

NeuronBlocks工作流程

用戶可以選擇Model Zoo中的示例模型（JSON配置文件）開啟模型訓(xùn)練，或者利用Block Zoo中的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)模塊自由構(gòu)建新的模型架構(gòu)，就像玩樂高積木一樣。

模型可視化工具

NeuronBlocks提供了一個(gè)模型可視化工具，可以快速繪制模型架構(gòu)圖，如下圖所示。

NeuronBlocks優(yōu)勢(shì)

模型構(gòu)建：用戶只需要配置簡(jiǎn)單的JSON文件，就能夠構(gòu)建模型和調(diào)整參數(shù)，大大減少了模型實(shí)現(xiàn)的工作量；

模型分享：可以通過分享JSON配置文件來分享模型，使模型共享變得非常容易。對(duì)于不同的任務(wù)或模型，用戶只需維護(hù)一個(gè)通用的源碼庫(kù)；

代碼重用：可以在各任務(wù)與模型間共享神經(jīng)網(wǎng)絡(luò)模塊，減少重復(fù)的編程工作；

平臺(tái)靈活性：可以在Linux和Windows機(jī)器上運(yùn)行，支持CPU和GPU，也支持像Open PAI這樣的GPU管理平臺(tái)；

模型可視化：提供了一個(gè)模型可視化工具，用于觀察模型結(jié)構(gòu)及檢查JSON配置的正確性；

可擴(kuò)展性：支持用戶貢獻(xiàn)新的神經(jīng)網(wǎng)絡(luò)模塊或者新的模型。

當(dāng)然，有興趣的讀者可以加入NeuronBlocks開源項(xiàng)目，一起貢獻(xiàn)代碼!