作者根據(jù)每周發(fā)布總結(jié)的系列文章，匯總了2018年針對(duì)數(shù)據(jù)科學(xué)家/AI的最佳庫(kù)、repos、包和工具。本文對(duì)其進(jìn)行了梳理，列舉了人工智能和數(shù)據(jù)科學(xué)的七大Python庫(kù)。

本文作者Favio Vázquez從2018年開(kāi)始發(fā)布《數(shù)據(jù)科學(xué)和人工智能每周文摘：Python & R》系列文章，為數(shù)據(jù)科學(xué)家介紹最好的庫(kù)、repos、packages以及工具。

一年結(jié)束，作者列出了2018年的7大最好的Python庫(kù)，這些庫(kù)確實(shí)地改進(jìn)了研究人員的工作方式。

7. AdaNet?———快速靈活的AutoML框架

https://github.com/tensorflow/adanet

AdaNet是一個(gè)輕量級(jí)的、可擴(kuò)展的TensorFlow AutoML框架，用于使用AdaNet算法訓(xùn)練和部署自適應(yīng)神經(jīng)網(wǎng)絡(luò)[Cortes et al. ICML 2017]。AdaNet結(jié)合了多個(gè)學(xué)習(xí)子網(wǎng)絡(luò)，以減輕設(shè)計(jì)有效的神經(jīng)網(wǎng)絡(luò)所固有的復(fù)雜性。

這個(gè)軟件包將幫助你選擇最優(yōu)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)一種自適應(yīng)算法，用于學(xué)習(xí)作為子網(wǎng)絡(luò)集合的神經(jīng)架構(gòu)。

你需要了解TensorFlow才能使用這個(gè)包，因?yàn)樗鼘?shí)現(xiàn)了TensorFlow Estimator，但這將通過(guò)封裝訓(xùn)練、評(píng)估、預(yù)測(cè)和導(dǎo)出服務(wù)來(lái)幫助你簡(jiǎn)化機(jī)器學(xué)習(xí)編程。

你可以構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)的集合，這個(gè)庫(kù)將幫助你優(yōu)化一個(gè)目標(biāo)，以平衡集合在訓(xùn)練集上的性能和將其泛化到未見(jiàn)過(guò)數(shù)據(jù)的能力之間的權(quán)衡。

安裝

安裝adanet之前需將TensorFlow升級(jí)到1.7或以上：

$pipinstall"tensorflow>=1.7.0"

從源代碼安裝

要從源代碼進(jìn)行安裝，首先需要安裝bazel。

下一步，復(fù)制adanet和cd到它的根目錄:

$gitclonehttps://github.com/tensorflow/adanet&&cdadanet

從adanet根目錄運(yùn)行測(cè)試：

$cdadanet$bazeltest-copt//...

確認(rèn)一切正常后，將adanet安裝為pip包。

現(xiàn)在，可以對(duì)adanet進(jìn)行試驗(yàn)了。

importadanet

用法

有關(guān)AdaNet的詳細(xì)用法，請(qǐng)閱讀官方教程：

https://github.com/tensorflow/adanet/tree/master/adanet/examples/tutorials

https://ai.googleblog.com/2018/10/introducing-adanet-fast-and-flexible.html?m=1

6. TPOT——一個(gè)自動(dòng)化的Python機(jī)器學(xué)習(xí)工具

https://github.com/EpistasisLab/tpot

之前我介紹過(guò)Auto-Keras，這是一個(gè)很棒的AutoML庫(kù)。現(xiàn)在我們有另一個(gè)非常有趣的工具——TPOT。

TPOT全稱(chēng)是基于樹(shù)的pipeline優(yōu)化工具(Tree-based Pipeline Optimization Tool)，這是一個(gè)非常棒Python自動(dòng)機(jī)器學(xué)習(xí)工具，使用遺傳編程優(yōu)化機(jī)器學(xué)習(xí)pipeline。

TPOT可以自動(dòng)化許多東西，包括生命特性選擇、模型選擇、特性構(gòu)建等等。如果你是Python機(jī)器學(xué)習(xí)者，很幸運(yùn)，TPOT是構(gòu)建在Scikit-learn之上的，所以它生成的所有代碼看起來(lái)應(yīng)該很熟悉。

它的作用是通過(guò)智能地探索數(shù)千種可能的pipeline來(lái)自動(dòng)化機(jī)器學(xué)習(xí)中最繁瑣的部分，找到最適合你的數(shù)據(jù)的pipeline，然后為你提供最佳的 Python 代碼。

它的工作原理如下：

安裝

安裝TPOT之前，請(qǐng)先閱讀教程：

http://epistasislab.github.io/tpot/installing/

然后，運(yùn)行以下代碼：

pipinstalltpot

例子：

首先讓我們從基本的Iris數(shù)據(jù)集開(kāi)始：

1fromtpotimportTPOTClassifier 2fromsklearn.datasetsimportload_iris 3fromsklearn.model_selectionimporttrain_test_split 4 5#Loadirisdataset 6iris=load_iris() 7 8#Splitthedata 910X_trainX_train,X_test,y_train,y_test=train_test_split(iris.data,iris.target,11train_size=0.75,test_size=0.25)1213#FittheTPOTclassifier1415tpot=TPOTClassifier(verbosity=2,max_time_mins=2)16tpot.fit(X_train,y_train)1718#Exportthepipeline19tpot.export('tpot_iris_pipeline.py')

我們?cè)谶@里構(gòu)建了一個(gè)非常基本的TPOT pipeline，它將嘗試尋找最佳ML pipeline來(lái)預(yù)測(cè)iris.target。然后保存這個(gè)pipeline。之后，我們要做的就非常簡(jiǎn)單了——加載生成的.py文件，你將看到：

1importnumpyasnp 2fromsklearn.kernel_approximationimportRBFSampler 3fromsklearn.model_selectionimporttrain_test_split 4fromsklearn.pipelineimportmake_pipeline 5fromsklearn.treeimportDecisionTreeClassifier 6#NOTE:Makesurethattheclassislabeled'class'inthedatafile 7tpot_data=np.recfromcsv('PATH/TO/DATA/FILE',delimiter='COLUMN_SEPARATOR',dtype=np.float64) 8features=np.delete(tpot_data.view(np.float64).reshape(tpot_data.size,-1),tpot_data.dtype.names.index('class'),axis=1) 9training_features,testing_features,training_classes,testing_classes=10train_test_split(features,tpot_data['class'],random_state=42)11exported_pipeline=make_pipeline(12RBFSampler(gamma=0.8500000000000001),13DecisionTreeClassifier(criterion="entropy",max_depth=3,min_samples_leaf=4,min_samples_split=9)14)15exported_pipeline.fit(training_features,training_classes)16results=exported_pipeline.predict(testing_features)

就是這樣。你已經(jīng)以一種簡(jiǎn)單但強(qiáng)大的方式為Iris數(shù)據(jù)集構(gòu)建一個(gè)分類(lèi)器。

現(xiàn)在我們來(lái)看看MNIST的數(shù)據(jù)集：

1fromtpotimportTPOTClassifier 2fromsklearn.datasetsimportload_digits 3fromsklearn.model_selectionimporttrain_test_split 4 5#loadandsplitdataset 6digitsdigits==load_digitsload_di() 7X_train,X_test,y_train,y_test=train_test_split(digits.data,digits.target, 8train_size=0.75,test_size=0.25) 910#FittheTPOTclassifier11tpot=TPOTClassifier(verbosity=2,max_time_mins=5,population_size=40)12tpot.fit(X_train,y_train)1314#Exportpipeline15tpot.export('tpot_mnist_pipeline.py')

接下來(lái)我們?cè)俅渭虞d生成的 .py文件，你將看到：

1importnumpyasnp 2fromsklearn.model_selectionimporttrain_test_split 3fromsklearn.neighborsimportKNeighborsClassifier 4#NOTE:Makesurethattheclassislabeled'class'inthedatafile 5tpot_data=np.recfromcsv('PATH/TO/DATA/FILE',delimiter='COLUMN_SEPARATOR',dtype=np.float64) 6features=np.delete(tpot_data.view(np.float64).reshape(tpot_data.size,-1),tpot_data.dtype.names.index('class'),axis=1) 7training_features,testing_features,training_classes,testing_classes= 8train_test_split(features,tpot_data['class'],random_state=42) 9exported_pipeline=KNeighborsClassifier(n_neighbors=4,p=2,weights="distance")10exported_pipeline.fit(training_features,training_classes)11results=exported_pipeline.predict(testing_features)

5. SHAP?——一個(gè)解釋任何機(jī)器模型輸出的統(tǒng)一方法

https://github.com/slundberg/shap

解釋機(jī)器學(xué)習(xí)模型并不容易。然而，它對(duì)許多商業(yè)應(yīng)用程序來(lái)說(shuō)非常重要。幸運(yùn)的是，有一些很棒的庫(kù)可以幫助我們完成這項(xiàng)任務(wù)。在許多應(yīng)用程序中，我們需要知道、理解或證明輸入變量在模型中的運(yùn)作方式，以及它們?nèi)绾斡绊懽罱K的模型預(yù)測(cè)。

SHAP (SHapley Additive exPlanations)是一種解釋任何機(jī)器學(xué)習(xí)模型輸出的統(tǒng)一方法。SHAP將博弈論與局部解釋聯(lián)系起來(lái)，并結(jié)合了之前的幾種方法。

安裝

SHAP可以從PyPI安裝

pipinstallshap

或conda -forge

condainstall-cconda-forgeshap

用法

有很多不同的模型和方法可以使用這個(gè)包。在這里，我將以DeepExplainer中的一個(gè)例子為例。

Deep SHAP是深度學(xué)習(xí)模型中SHAP值的一種高速近似算法，它基于與DeepLIFT的連接，如SHAP的NIPS論文所述(https://arxiv.org/abs/1802.03888）。

下面這個(gè)例子可以看到SHAP如何被用來(lái)解釋MNIST數(shù)據(jù)集的Keras模型結(jié)果：

#thisisthecodefromhttps://github.com/keras-team/keras/blob/master/examples/mnist_cnn.pyfrom__future__importprint_functionimportkerasfromkeras.datasetsimportmnistfromkeras.modelsimportSequentialfromkeras.layersimportDense,Dropout,Flattenfromkeras.layersimportConv2D,MaxPooling2DfromkerasimportbackendasKbatch_size=128num_classes=10epochs=12#inputimagedimensionsimg_rows,img_cols=28,28#thedata,splitbetweentrainandtestsets(x_train,y_train),(x_test,y_test)=mnist.load_data()ifK.image_data_format()=='channels_first':x_train=x_train.reshape(x_train.shape[0],1,img_rows,img_cols)x_test=x_test.reshape(x_test.shape[0],1,img_rows,img_cols)input_shape=(1,img_rows,img_cols)else:x_train=x_train.reshape(x_train.shape[0],img_rows,img_cols,1)x_test=x_test.reshape(x_test.shape[0],img_rows,img_cols,1)input_shape=(img_rows,img_cols,1)x_train=x_train.astype('float32')x_test=x_test.astype('float32')x_train/=255x_test/=255print('x_trainshape:',x_train.shape)print(x_train.shape[0],'trainsamples')print(x_test.shape[0],'testsamples')#convertclassvectorstobinaryclassmatricesy_train=keras.utils.to_categorical(y_train,num_classes)y_test=keras.utils.to_categorical(y_test,num_classes)model=Sequential()model.add(Conv2D(32,kernel_size=(3,3),activation='relu',input_shape=input_shape))model.add(Conv2D(64,(3,3),activation='relu'))model.add(MaxPooling2D(pool_size=(2,2)))model.add(Dropout(0.25))model.add(Flatten())model.add(Dense(128,activation='relu'))model.add(Dropout(0.5))model.add(Dense(num_classes,activation='softmax'))model.compile(loss=keras.losses.categorical_crossentropy,optimizer=keras.optimizers.Adadelta(),metrics=['accuracy'])model.fit(x_train,y_train,batch_size=batch_size,epochs=epochs,verbose=1,validation_data=(x_test,y_test))score=model.evaluate(x_test,y_test,verbose=0)print('Testloss:',score[0])print('Testaccuracy:',score[1])

更多示例：

https://github.com/slundberg/shap#sample-notebooks

4. Optimus——使用 Python 和 Spark 輕松實(shí)現(xiàn)敏捷數(shù)據(jù)科學(xué)工作流

https://github.com/ironmussa/Optimus

Optimus V2旨在讓數(shù)據(jù)清理更容易。這個(gè)API的設(shè)計(jì)對(duì)新手來(lái)說(shuō)超級(jí)簡(jiǎn)單，對(duì)使用pandas的人來(lái)說(shuō)也非常熟悉。Optimus擴(kuò)展了Spark DataFrame功能，添加了.rows和.cols屬性。

使用Optimus，你可以以分布式的方式清理數(shù)據(jù)、準(zhǔn)備數(shù)據(jù)、分析數(shù)據(jù)、創(chuàng)建分析器和圖表，并執(zhí)行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，因?yàn)樗暮蠖擞蠸park、TensorFlow和Keras。

Optimus是數(shù)據(jù)科學(xué)敏捷方法的完美工具，因?yàn)樗鼛缀蹩梢詭椭阃瓿烧麄€(gè)過(guò)程的所有步驟，并且可以輕松地連接到其他庫(kù)和工具。

Installation (pip):

pipinstalloptimuspyspark

用法

在這個(gè)示例中，你可以從 URL 加載數(shù)據(jù)，對(duì)其進(jìn)行轉(zhuǎn)換，并應(yīng)用一些預(yù)定義的清理功能：

fromoptimusimportOptimusop=Optimus()#Thisisacustomfunctiondeffunc(value,arg):return"thiswasanumber"df=op.load.url("https://raw.githubusercontent.com/ironmussa/Optimus/master/examples/foo.csv")df.rows.sort("product","desc").cols.lower(["firstName","lastName"]).cols.date_transform("birth","new_date","yyyy/MM/dd","dd-MM-YYYY").cols.years_between("birth","years_between","yyyy/MM/dd").cols.remove_accents("lastName").cols.remove_special_chars("lastName").cols.replace("product","taaaccoo","taco").cols.replace("product",["piza","pizzza"],"pizza").rows.drop(df["id"]<7)????.cols.drop("dummyCol")????.cols.rename(str.lower)????.cols.apply_by_dtypes("product",func,"string",?data_type="integer")????.cols.trim("*")????.show()

你可以將這個(gè)表格

轉(zhuǎn)換為這樣：

是不是很酷？這個(gè)庫(kù)還可以做更多事情，具體請(qǐng)閱讀：

https://www.hioptimus.com/

3. spacy——使用Python和Cython的工業(yè)級(jí)自然語(yǔ)言處理

https://spacy.io/

spaCy旨在幫助你完成實(shí)際的工作——構(gòu)建真實(shí)的產(chǎn)品，或收集真實(shí)的見(jiàn)解。這個(gè)庫(kù)尊重你的時(shí)間，盡量避免浪費(fèi)。它易于安裝，而且它的API簡(jiǎn)單而高效。spaCy被視為自然語(yǔ)言處理的Ruby on Rails。

spaCy是為深度學(xué)習(xí)準(zhǔn)備文本的最佳方法。它與TensorFlow、PyTorch、Scikit-learn、Gensim以及Python強(qiáng)大的AI生態(tài)系統(tǒng)的其他部分無(wú)縫交互。使用spaCy，你可以很容易地為各種NLP問(wèn)題構(gòu)建語(yǔ)言復(fù)雜的統(tǒng)計(jì)模型。

安裝

pip3installspacy$python3-mspacydownloaden

這里，我們還下載了英語(yǔ)語(yǔ)言模型。你可以在這里找到德語(yǔ)，西班牙語(yǔ)，意大利語(yǔ)，葡萄牙語(yǔ)，法國(guó)語(yǔ)等版本的模型：

https://spacy.io/models/

下面是主頁(yè)面的一個(gè)示例：

#python-mspacydownloaden_core_web_smimportspacy#LoadEnglishtokenizer,tagger,parser,NERandwordvectorsnlp=spacy.load('en_core_web_sm')#Processwholedocumentstext=(u"WhenSebastianThrunstartedworkingonself-drivingcarsat"u"Googlein2007,fewpeopleoutsideofthecompanytookhim"u"seriously.“IcantellyouveryseniorCEOsofmajorAmerican"u"carcompanieswouldshakemyhandandturnawaybecauseIwasn’t"u"worthtalkingto,”saidThrun,nowtheco-founderandCEOof"u"onlinehighereducationstartupUdacity,inaninterviewwith"u"Recodeearlierthisweek.")doc=nlp(text)#Findnamedentities,phrasesandconceptsforentityindoc.ents:print(entity.text,entity.label_)#Determinesemanticsimilaritiesdoc1=nlp(u"myfriesweresupergross")doc2=nlp(u"suchdisgustingfries")similarity=doc1.similarity(doc2)print(doc1.text,doc2.text,similarity)

在這個(gè)示例中，我們首先下載English tokenizer, tagger, parser, NER和word vectors。然后創(chuàng)建一些文本，打印找到的實(shí)體、短語(yǔ)和概念，最后確定兩個(gè)短語(yǔ)的語(yǔ)義相似性。運(yùn)行這段代碼，你會(huì)得到：

SebastianThrunPERSONGoogleORG2007DATEAmericanNORPThrunPERSONRecodeORGearlierthisweekDATEmyfriesweresupergrosssuchdisgustingfries0.7139701635071919

2. jupytext

對(duì)我來(lái)說(shuō)，jupytext是年度最佳。幾乎所有人都在像Jupyter這樣的筆記本上工作，但是我們也在項(xiàng)目的更核心部分使用像PyCharm這樣的IDE。

好消息是，你可以在自己喜歡的IDE中起草和測(cè)試普通腳本，在使用Jupytext時(shí)可以將IDE作為notebook在Jupyter中打開(kāi)。在Jupyter中運(yùn)行notebook以生成輸出，關(guān)聯(lián).ipynb表示，并作為普通腳本或傳統(tǒng)Jupyter notebook 進(jìn)行保存和分享。

下圖展示了這個(gè)包的作用：

可點(diǎn)擊下方鏈接查看原文中的GIF展示：

https://heartbeat.fritz.ai/top-7-libraries-and-packages-of-the-year-for-data-science-and-ai-python-r-6b7cca2bf000

安裝

pipinstalljupytext--upgrade

然后，配置Jupyter使用Jupytext：

使用jupyter notebook --generate-config生成Jupyter配置

編輯.jupyter/jupyter_notebook_config.py，并附加以下代碼：

c.NotebookApp.contents_manager_class="jupytext.TextFileContentsManager"

重啟Jupyter，即運(yùn)行：

jupyternotebook

你可以在這里試試：

https://mybinder.org/v2/gh/mwouts/jupytext/master?filepath=demo

1.Chartify?——讓數(shù)據(jù)科學(xué)家很容易創(chuàng)建圖表的Python庫(kù)

https://xkcd.com/1945/

Chartify是Python的年度最佳庫(kù)。

在Python世界中創(chuàng)建一個(gè)像樣的圖很費(fèi)時(shí)間。幸運(yùn)的是，我們有像Seaborn之類(lèi)的庫(kù)，但問(wèn)題是他們的plots不是動(dòng)態(tài)的。

然后就出現(xiàn)了Bokeh——這是一個(gè)超棒的庫(kù)，但用它來(lái)創(chuàng)造互動(dòng)情節(jié)仍很痛苦。

Chartify建立在Bokeh之上，但它簡(jiǎn)單得多。

Chartify的特性：

一致的輸入數(shù)據(jù)格式：轉(zhuǎn)換數(shù)據(jù)所需的時(shí)間更少。所有繪圖函數(shù)都使用一致、整潔的輸入數(shù)據(jù)格式。

智能默認(rèn)樣式：創(chuàng)建漂亮的圖表，幾乎不需要自定義。

簡(jiǎn)單API：API盡可能直觀和容易學(xué)習(xí)。

靈活性：Chartify是建立在Bokeh之上的，所以如果你需要更多的控制，你可以使用Bokeh的API。

安裝

Chartify可以通過(guò)pip安裝:

pip3installchartify

用法

假設(shè)我們想要?jiǎng)?chuàng)建這個(gè)圖表：

importpandasaspdimportchartify#Generateexampledatadata=chartify.examples.example_data()

現(xiàn)在，我們已經(jīng)加載了一些示例數(shù)據(jù)，讓我們來(lái)做一些轉(zhuǎn)換：

total_quantity_by_month_and_fruit=(data.groupby([data['date']+pd.offsets.MonthBegin(-1),'fruit'])['quantity'].sum().reset_index().rename(columns={'date':'month'}).sort_values('month'))print(total_quantity_by_month_and_fruit.head())monthfruitquantity02017-01-01Apple712017-01-01Banana622017-01-01Grape132017-01-01Orange242017-02-01Apple8

現(xiàn)在我們可以把它畫(huà)出來(lái)：

#Plotthedatach=chartify.Chart(blank_labels=True,x_axis_type='datetime')ch.set_title("Stackedarea")ch.set_subtitle("Representchangesindistribution.")ch.plot.area(data_frame=total_quantity_by_month_and_fruit,x_column='month',y_column='quantity',color_column='fruit',stacked=True)ch.show('png')

超級(jí)容易創(chuàng)建一個(gè)互動(dòng)的plot。

更多示例：