1、NumExpr

NumExpr 是一個(gè)對(duì)NumPy計(jì)算式進(jìn)行的性能優(yōu)化。NumExpr的使用及其簡(jiǎn)單，只需要將原來(lái)的numpy語(yǔ)句使用雙引號(hào)框起來(lái)，并使用numexpr中的evaluate方法調(diào)用即可。

經(jīng)驗(yàn)上看，數(shù)據(jù)有上萬(wàn)條+ 使用NumExpr才比較優(yōu)效果，對(duì)于簡(jiǎn)單運(yùn)算使用NumExpr可能會(huì)更慢。如下較復(fù)雜計(jì)算，速度差不多快了5倍。

importnumexprasne

importnumpyasnp

a=np.linspace(0,1000,1000)

print('#numpy十次冪計(jì)算')
%timeita**10

print('#numexpr十次冪計(jì)算')
%timeitne.evaluate('a**10')

2、Numba

#pipinstallnumba

importnumbaasnb

#用numba加速的求和函數(shù)
@nb.jit()
defnb_sum(a):
Sum=0
foriinrange(len(a)):
Sum+=a[i]
returnSum

#沒(méi)用numba加速的求和函數(shù)
defpy_sum(a):
Sum=0
foriinrange(len(a)):
Sum+=a[i]
returnSum

importnumpyasnp
a=np.linspace(0,1000,1000)#創(chuàng)建一個(gè)長(zhǎng)度為1000的數(shù)組
print('#python求和函數(shù)')
%timeitsum(a)
print('#沒(méi)加速的for循環(huán)求和函數(shù)')
%timeitpy_sum(a)
print('#numba加速的for循環(huán)求和函數(shù)')
%timeitnb_sum(a)
print('#numpy求和函數(shù)')
%timeitnp.sum(a)

fromnumbaimportcuda
cuda.select_device(1)

@cuda.jit
defCudaSquare(x):
i,j=cuda.grid(2)
x[i][j]*=x[i][j]


#numba的矢量化加速
frommathimportsin
@nb.vectorize()
defnb_vec_sin(a):
returnsin(a)

3、CuPy

CuPy 是一個(gè)借助 CUDA GPU 庫(kù)在英偉達(dá) GPU 上實(shí)現(xiàn) Numpy 數(shù)組的庫(kù)?；?Numpy 數(shù)組的實(shí)現(xiàn)，GPU 自身具有的多個(gè) CUDA 核心可以促成更好的并行加速。

#pipinstallcupy
importnumpyasnp
importcupyascp
importtime

###numpy
s=time.time()
x_cpu=np.ones((1000,1000,1000))
e=time.time()
print(e-s)

###CuPy
s=time.time()
x_gpu=cp.ones((1000,1000,1000))
e=time.time()
print(e-s)

4、pandas使用技巧

4.1 按行迭代優(yōu)化

我們按行對(duì)dataframe進(jìn)行迭代，一般我們會(huì)用iterrows這個(gè)函數(shù)。在新版的pandas中，提供了一個(gè)更快的itertuples函數(shù)，如下可以看到速度快了幾十倍。

importpandasaspd
importnumpyasnp
importtime
df=pd.DataFrame({'a':np.random.randn(100000),
'b':np.random.randn(100000),
'N':np.random.randint(100,1000,(100000)),
'x':np.random.randint(1,10,(100000))})

%%timeit
a2=[]
forrowindf.itertuples():
temp=getattr(row,'a')
a2.append(temp*temp)
df['a2']=a2
%%timeit
a2=[]
forindex,rowindf.iterrows():
temp=row['a']
a2.append(temp*temp)
df['a2']=a2

4.2 apply、applymap優(yōu)化

當(dāng)對(duì)于每行執(zhí)行類(lèi)似的操作時(shí)，用循環(huán)逐行處理效率很低。這時(shí)可以用apply或applymap搭配函數(shù)操作，其中apply是可用于逐行計(jì)算，而applymap可以做更細(xì)粒度的逐個(gè)元素的計(jì)算。

#列a、列b逐行進(jìn)行某一函數(shù)計(jì)算
df['a3']=df.apply(lambdarow:row['a']*row['b'],axis=1)
#逐個(gè)元素保留兩位小數(shù)
df.applymap(lambdax:"%.2f"%x)

4.3 聚合函數(shù)agg優(yōu)化

對(duì)于某列將進(jìn)行聚合后，使用內(nèi)置的函數(shù)比自定義函數(shù)效率更高，如下示例速度加速3倍

%timeitdf.groupby("x")['a'].agg(lambdax:x.sum())

%timeitdf.groupby("x")['a'].agg(sum)

%timeitdf.groupby("x")['a'].agg(np.sum)

4.4 文件操作

4.5 pandas.eval

importpandasaspd
nrows,ncols=20000,100
df1,df2,df3,df4=[pd.DataFrame(np.random.randn(nrows,ncols))for_inrange(4)]

print('pd')
%timeitdf1+df2+df3+df4
print('pd.eval')
%timeitpd.eval("df1+df2+df3+df4")

5、Cython優(yōu)化

Cython是一個(gè)基于C語(yǔ)言的Python 編譯器，在一些計(jì)算量大的程序中，可以Cython來(lái)實(shí)現(xiàn)相當(dāng)大的加速?？紤]大部分人可能都不太了解復(fù)雜的cython語(yǔ)句，下面介紹下Cython的簡(jiǎn)易版使用技巧。

通過(guò)在Ipython加入 Cython 魔術(shù)函數(shù)%load_ext Cython，如下示例就可以加速了一倍。進(jìn)一步再借助更高級(jí)的cython語(yǔ)句，還是可以比Python快個(gè)幾十上百倍。

%%cython
deff_plain(x):
returnx*(x-1)
defintegrate_f_plain(a,b,N):
s=0
dx=(b-a)/N
foriinrange(N):
s+=f_plain(a+i*dx)
returns*dx

6、swifter

swifter是pandas的插件，可以直接在pandas的數(shù)據(jù)上操作。Swifter的優(yōu)化方法檢驗(yàn)計(jì)算是否可以矢量化或者并行化處理，以提高性能。如常見(jiàn)的apply就可以通過(guò)swifter并行處理。

importpandasaspd
importswifter

df.swifter.apply(lambdax:x.sum()-x.min())

7、Modin

Modin后端使用dask或者ray（dask是類(lèi)似pandas庫(kù)的功能，可以實(shí)現(xiàn)并行讀取運(yùn)行），是個(gè)支持分布式運(yùn)行的類(lèi)pandas庫(kù)，簡(jiǎn)單通過(guò)更改一行代碼import modin.pandas as pd就可以?xún)?yōu)化 pandas，常用的內(nèi)置的read_csv、concat、apply都有不錯(cuò)的加速。注：并行處理的開(kāi)銷(xiāo)會(huì)使小數(shù)據(jù)集的處理速度變慢。

!pipinstallmodin
importpandas
importmodin.pandasaspd
importtime

##pandas

pandas_df=pandas.DataFrame({'a':np.random.randn(10000000),
'b':np.random.randn(10000000),
'N':np.random.randint(100,10000,(10000000)),
'x':np.random.randint(1,1000,(10000000))})



start=time.time()

big_pandas_df=pandas.concat([pandas_dffor_inrange(25)])

end=time.time()
pandas_duration=end-start
print("Timetoconcatwithpandas:{}seconds".format(round(pandas_duration,3)))

####modin.pandas
modin_df=pd.DataFrame({'a':np.random.randn(10000000),
'b':np.random.randn(10000000),
'N':np.random.randint(100,10000,(10000000)),
'x':np.random.randint(1,1000,(10000000))})

start=time.time()
big_modin_df=pd.concat([modin_dffor_inrange(25)])

end=time.time()
modin_duration=end-start
print("TimetoconcatwithModin:{}seconds".format(round(modin_duration,3)))

print("Modinis{}xfasterthanpandasat`concat`!".format(round(pandas_duration/modin_duration,2)))