在CVPR 2018大會上，英偉達(dá)開源了數(shù)據(jù)增強和數(shù)據(jù)解碼的兩個新的庫：

NVIDIA DALI：一個GPU加速的數(shù)據(jù)增強和圖像加載庫，用于優(yōu)化深度學(xué)習(xí)框架的數(shù)據(jù)pipeline

NVIDIA nvJPEG：一個高性能的GPU加速的圖像解碼庫

由深度學(xué)習(xí)驅(qū)動的計算機(jī)視覺應(yīng)用程序包括復(fù)雜的、多階段的預(yù)處理數(shù)據(jù)pipeline，包括計算密集型的步驟，例如從磁盤加載和提取數(shù)據(jù)、解碼、裁剪和調(diào)整大小、顏色和空間變換以及格式轉(zhuǎn)換。

通過使用GPU加速數(shù)據(jù)增強，NVIDIA DALI解決了當(dāng)今計算機(jī)視覺深度學(xué)習(xí)應(yīng)用程序中的性能瓶頸問題，這些應(yīng)用程序包括復(fù)雜的多階段數(shù)據(jù)增強步驟。借助DALI，深度學(xué)習(xí)研究人員可以通過MXNet、TensorFlow和PyTorch在AWS P3 8 GPU實例或Volta GPU的DGX-1系統(tǒng)上提高圖像分類模型（比如ResNet-50）的訓(xùn)練性能。由于可以跨框架實現(xiàn)高性能的數(shù)據(jù)加載和增強，框架用戶將能夠減少代碼重復(fù)。

DALI依賴于新的NVIDIA nvJPEG庫進(jìn)行高性能的GPU加速解碼。

DALI的優(yōu)勢包括：

能與MxNet，TensorFlow和PyTorch的框架直接集成

具有支持多種數(shù)據(jù)格式（如JPEG，原始格式，LMDB，RecordIO和TFRecord）的便攜式訓(xùn)練工作流

具有可配置圖形和自定義操作符的自定義數(shù)據(jù)pipeline

使用nvJPEG進(jìn)行高性能的單圖像解碼和批量JPEG解碼

nvJPEG是一個用于JPEG解碼的高性能GPU加速庫。nvJPEG支持同時使用CPU和GPU對單個圖像和批量圖像進(jìn)行解碼、顏色空間轉(zhuǎn)換、多相位解碼，以及混合解碼。與只使用CPU解碼相比，使用nvJPEG進(jìn)行解碼的應(yīng)用程序具有更高的吞吐量和更低的延遲。

nvJPEG為計算機(jī)視覺應(yīng)用中常用的JPEG格式提供低延遲解碼器，如圖像分類、物體檢測和圖像分割等應(yīng)用。對于深度學(xué)習(xí)訓(xùn)練應(yīng)用，nvJPEG可以加速數(shù)據(jù)加載和預(yù)處理，如平移、縮小，放大，翻轉(zhuǎn)等。對于需要低延遲深度學(xué)習(xí)推理的應(yīng)用，nvJPEG可用于實時地進(jìn)行JPEG解碼和調(diào)整大小。

nvJPEG的優(yōu)勢包括：

使用CPU和GPU進(jìn)行混合解碼

可以進(jìn)行單個圖像解碼和批量圖像解碼

色彩空間可以轉(zhuǎn)換為RGB，BGR，RGBI，BGRI和YUV

單相位解碼和多相位解碼

DALI已經(jīng)開源，可以從GitHub獲取：

https://github.com/NVIDIA/dali

nvJPEG預(yù)發(fā)行版也已經(jīng)可以免費下載，用于收集反饋和測試，今年晚些時候會作為CUDA工具包的一部分提供。