近日，谷歌宣布云端加速器TPU開始進(jìn)一步支持深度學(xué)習(xí)函式庫PyTorch，僅需使用Python套件PyTorch/XLA，進(jìn)行最小程度的修改，就能夠使用TPU來加速機(jī)器學(xué)習(xí)工作負(fù)載，且在TPU還不支援的操作，自動(dòng)退回到以CPU運(yùn)算，同時(shí)PyTorch/XLA也會生成詳細(xì)的報(bào)告，幫助使用者發(fā)現(xiàn)應(yīng)用程序瓶頸，高效執(zhí)行機(jī)器學(xué)習(xí)工作負(fù)載。

XLA是Google在2018年推出的最佳化編譯器，通過最佳化算法運(yùn)算，可以提升機(jī)器學(xué)習(xí)模型的執(zhí)行速度，XLA支援處理器以及繪圖卡，也能夠在Google?TPU上執(zhí)行，并可以讓Cloud?TPU更容易支持PyTorch。

在最新的PyTorch/XLA上，使Cloud?TPU正式支援PyTorch?1.6，在基礎(chǔ)設(shè)施層提供模型平行運(yùn)算能力，允許開發(fā)者可以在多個(gè)TPU核心上，分散大規(guī)模嵌入表，因此有能力創(chuàng)建許多過去無法實(shí)現(xiàn)的應(yīng)用。

另外，谷歌還在云端上發(fā)布的深度學(xué)習(xí)虛擬機(jī)器（DLVM）映像檔，其中包括PyTorch等各種深度學(xué)習(xí)框架，而?PyTorch/XLA?1.6現(xiàn)在預(yù)裝在DLVM中，并且已經(jīng)對Cloud?TPU進(jìn)行最佳化。

為了讓開發(fā)者更好上手PyTorch/XLA，Google云端還提供一組常用深度學(xué)習(xí)模型開源實(shí)作，以及相關(guān)的教程，這些模型包括使用ImageNet資料集的圖像分類任務(wù)ResNet-50，還有Transformer、RoBERTa以及BERT等知名模型，也能使用PyTorch?1.6才加入，由臉書開發(fā)的深度學(xué)習(xí)推薦模型（DLRM）。官方提到，在Cloud?TPU訓(xùn)練這些模型，大部分的情況僅需修改少量代碼即可實(shí)現(xiàn)。
責(zé)任編輯:pj