開篇

python語言被廣泛用于數(shù)據(jù)分析和機器學(xué)習(xí)。但是，由于python的底層特性，python的運行速率低一直被廣泛詬病。其中，numpy和pandas的廣泛使用已經(jīng)將數(shù)據(jù)處理和機器學(xué)習(xí)的速率提升了幾個檔次。

但是，隨著數(shù)據(jù)的越來越多，很多人已經(jīng)不再滿足numpy和pandas的速度，從而退出了一批加速優(yōu)化拓展包。這篇文章主要介紹一個輕量、但是功能強大的python擴(kuò)展包 ”NumExpr"，看看它是如何高效解析數(shù)學(xué)公式的。

NumExpr

NumExpr的使用及其簡單，只需要將原來的numpy語句使用雙引號框起來，并使用numexpr中的evaluate方法調(diào)用即可。

第一步：需要引入 numexpr 和 numpy 擴(kuò)展包；

/`import numexpr as ne

import numpy as np/`

第二步：創(chuàng)建兩個numpy的array - a 和 b；

a和b兩個所包含的數(shù)據(jù)個數(shù)為100萬個。

當(dāng)我們需要執(zhí)行簡單的加減乘除的時候，numexpr的效率已經(jīng)得到了很好地體現(xiàn)，通過執(zhí)行 2 * a + 3 * b，如果直接操作，需要3.39 毫秒。但是，如果我們是用ne.evaluate加速，可以將時間縮短至1.55 毫秒。

numexpr在更加復(fù)雜的數(shù)學(xué)表達(dá)式運算中，表現(xiàn)到底如何呢？

當(dāng)我們使用如上所示的數(shù)學(xué)表達(dá)式，正常執(zhí)行需要28.3 ms。而通過numexpr的加速，只需要3.03 ms。

注意，numexpr是可以識別 sin 函數(shù)的，所以我們不需要在evaluate里面寫np.sin，可以直接寫 sin。

總結(jié)：處理數(shù)據(jù)量越大，數(shù)學(xué)計算越復(fù)雜，則numexpr的加速效果越明顯。



numpy 和 numexpr 比較

我們可以看到，當(dāng)np.array的元素個數(shù)超過10e8，加速效果更加顯著。

numexpr也支持邏輯表達(dá)式和復(fù)數(shù)表達(dá)式的加速，有興趣的讀者朋友可以自行比較。

numexpr 多線程加速

numexpr還有一個重要的加速利器，多線程操作。通過 ne.set/_num/_threads(1) 可以設(shè)置線程的數(shù)量，更多的線程表示程序可以同時對數(shù)學(xué)表達(dá)式進(jìn)行計算。

如上所示，如果我們設(shè)置單線程，程序運行需要13.4 ms。設(shè)置了雙線程，速度則可以提升一倍。

numexpr對pandas的加速
numexpr的設(shè)計主要針對的是numpy。同樣的，我們知道pandas也是基于numpy開發(fā)的。自然，numexpr同樣可以被用來對pandas加速。

pandas中有一個eval方法就是運用了numexpr，對pandas代碼進(jìn)行優(yōu)化加速。

當(dāng)我們構(gòu)建幾個pandas的dataframe，然后對它們進(jìn)行運算的時候，pd.eval 可以將程序從原先的47.4 ms 加速到17.6 ms。

總結(jié)

通過以上的實例，numexpr對于numpy和pandas的加速是很顯著的，尤其當(dāng)數(shù)據(jù)量比較大和計算比較復(fù)雜的情況下。同時，numexpr的使用非常簡單。但是，我們需要注意的是，任何加速工具都會有局限性的，并不是所有的工作都可以使用numexpr進(jìn)行加速。

審核編輯 黃昊宇