NVIDIA 宣布了 Nsight DL Designer –第一個(gè)支持應(yīng)用內(nèi)推理的深度神經(jīng)網(wǎng)絡(luò)高效設(shè)計(jì)的同類集成開(kāi)發(fā)環(huán)境。

本 SDK 旨在通過(guò)在過(guò)程的每個(gè)階段提供有效的支持，簡(jiǎn)化為應(yīng)用內(nèi)推理設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)模型的經(jīng)常迭代過(guò)程。

Nsight DL Designer 是一種基于 GUI 的模型設(shè)計(jì)工具，具有基于 GPU 指標(biāo)的集成評(píng)測(cè)功能。它提供了一種將模型導(dǎo)入 PyTorch 進(jìn)行培訓(xùn)的便捷方法?？梢暬治瞿Ｊ皆试S開(kāi)發(fā)人員以交互方式實(shí)時(shí)深入推理過(guò)程，并提供靈活的選項(xiàng)導(dǎo)出最終的推理部署模式。

端到端 Nsight DL Designer 工作流

開(kāi)發(fā)人員首先在 Nsight DL Designer 中設(shè)計(jì)他們的深層神經(jīng)網(wǎng)絡(luò)模型，使用 NVIDIA 實(shí)現(xiàn)的一組內(nèi)置高級(jí)神經(jīng)網(wǎng)絡(luò)層作為 神經(jīng)推理機(jī)。創(chuàng)建模型后，可以進(jìn)行性能分析，以了解模型是否滿足分配的時(shí)間預(yù)算。分析可以提前完成，甚至在您花時(shí)間培訓(xùn)網(wǎng)絡(luò)之前。

對(duì)于培訓(xùn)階段， Nsight DL Designer 提供了各種 Python 腳本，可以自動(dòng)將 Nsight DL Designer 模型轉(zhuǎn)換為 PyTorch 模型，該模型可以輕松添加到培訓(xùn)循環(huán)中。訓(xùn)練完成后，您可以將學(xué)習(xí)到的權(quán)重?cái)?shù)據(jù)從模型保存到 NumPy 文件中。您可以返回 DL Designer ，加載權(quán)重文件并進(jìn)入分析模式以檢查推斷結(jié)果。分析模式還允許開(kāi)發(fā)人員深入推理過(guò)程，直觀地檢查每個(gè)推理步驟中發(fā)生的事情。此反饋可能會(huì)指導(dǎo)開(kāi)發(fā)人員優(yōu)化其網(wǎng)絡(luò)模型，以提高質(zhì)量和性能。

一旦您對(duì)模型的質(zhì)量和性能都感到滿意，就到了部署的時(shí)候了。 Nsight DL Designer 提供了幾種支持部署模型的方法。一種方法是將模型導(dǎo)出為 ONNX 文件。使用 ONNX 文件，您可以在任何運(yùn)行 ONNX 的平臺(tái)上部署您的模型

此版本的主要功能包括：

基于 GUI 的神經(jīng)推理機(jī)模型設(shè)計(jì)

使用 GPU 度量的推理性能評(píng)測(cè)

與培訓(xùn)框架的接口– PyTorch

推理過(guò)程的交互式可視化分析

用于部署的自動(dòng)化模型導(dǎo)出和代碼生成

關(guān)于作者

Chaitrali Joshi 是 NVIDIA 的產(chǎn)品營(yíng)銷經(jīng)理，專注于電信 5G 系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)。她對(duì)網(wǎng)絡(luò)空間有著深入的了解，是移動(dòng)通信系統(tǒng)和云棧方面的專家。在英特爾之前，她是一名領(lǐng)導(dǎo)，向開(kāi)發(fā)人員宣傳電信技術(shù)和邊緣計(jì)算技術(shù)。她獲得了加利福尼亞大學(xué)計(jì)算機(jī)科學(xué)碩士學(xué)位，戴維斯專注于軟件定義的網(wǎng)絡(luò)和多址邊緣計(jì)算（ MEC ）。

審核編輯：郭婷