近年來，邊緣計(jì)算、攝像機(jī)、實(shí)時(shí)處理和人工智能的進(jìn)步幫助醫(yī)療設(shè)備發(fā)生了變革。 NVIDIA 開發(fā)了 NVIDIA Clara Holoscan 支持軟件定義 AI 醫(yī)療設(shè)備開發(fā)的平臺(tái)。平臺(tái)包括 NVIDIA Clara 開發(fā)工具包 這個(gè) NVIDIA Clara Holoscan SDK 和 NVIDIA Clara Holoscan MGX 用于生產(chǎn)就緒部署。

NVIDIA Clara Holoscan SDK 0.2 的最新版本為醫(yī)療設(shè)備中的高性能流應(yīng)用程序提供了實(shí)時(shí) AI 推理功能和快速 I / O 。這包括內(nèi)窺鏡檢查、超聲波、外科機(jī)器人、顯微鏡和基因組測(cè)序儀器。

該版本還包括：

NVIDIA Graph eXecution Framework （ GXF ）與 GStreamer 的核心后端。

內(nèi)窺鏡 AI 應(yīng)用示例。

一個(gè)可定制的 AI 管道，用于添加您自己的模型。

支持帶有 Jetson AGX Jetson 和 NVIDIA Xavier 6000 的 Jetson AGX 開發(fā)工具包，以及帶有 Jetson AGX Orin 和 NVIDIA RTX A6000 的 RTX Holoscan 開發(fā)工具包。

支持 NVIDIA JetPack 5.0 SDK ，其中包括 Ubuntu 20.04 。

圖形執(zhí)行框架處理流數(shù)據(jù)

Clara Holoscan SDK 0.2 中最重要的變化是核心后端從 GStreamer 轉(zhuǎn)移到了 NVIDIA GXF 。 GXF 是一個(gè)支持流數(shù)據(jù)處理管道基于組件編程的框架。它是為非常高效的數(shù)據(jù)攝取、數(shù)據(jù)傳輸和 AI / ML 工作負(fù)載而構(gòu)建的。

有了 GXF ，開發(fā)人員可以創(chuàng)建可重用的組件，并將它們組合成圖形，以便快速為不同的產(chǎn)品構(gòu)建應(yīng)用程序。 GXF 支持視頻和 AU 流的處理，以及用于醫(yī)療設(shè)備（如原始超聲、放射成像掃描儀和顯微鏡）的用戶定義流數(shù)據(jù)類型。

最近在 1080p 視頻流上使用 NVIDIA 延遲顯示分析工具 進(jìn)行的測(cè)試表明，與以前的解決方案相比， GXF 提供了顯著的加速。在測(cè)試中，與 Clara Holoscan SDK 0.1 中類似的基于 GStreamer 的管道相比， GXF 將 AI 推斷應(yīng)用程序的開銷減少了近 3 倍。

圖 1 ： Clara Holoscan SDK 0.2 中的 GXF 與之前 SDK 0.1 中的 GStreamer 相比

此外， GXF 支持用戶自定義組件，以支持通用數(shù)據(jù)處理管道。 GXF 通過兩個(gè)重要組件處理構(gòu)建高性能應(yīng)用程序的關(guān)鍵部分。

第一個(gè)是確定組件何時(shí)執(zhí)行的調(diào)度器。調(diào)度器支持單線程或多線程執(zhí)行，以及條件執(zhí)行、異步調(diào)度和其他自定義工具。

其次， GXF 有一個(gè)內(nèi)存分配器，它為系統(tǒng)提供了一個(gè)大型連續(xù)內(nèi)存池的預(yù)先分配，并根據(jù)需要重用區(qū)域。為了確保組件之間的零拷貝數(shù)據(jù)交換，可以將內(nèi)存固定到設(shè)備上。

圖 2 ：通用管道的一個(gè)示例，開發(fā)人員可以在其中自定義工作流，包括數(shù)據(jù)處理、模型推理、存儲(chǔ)和可視化

內(nèi)窺鏡 AI 樣本在 Clara Holoscan 上的應(yīng)用

數(shù)字內(nèi)窺鏡已經(jīng)發(fā)展成為醫(yī)學(xué)篩查和微創(chuàng)手術(shù)的關(guān)鍵技術(shù)。使用實(shí)時(shí)人工智能平臺(tái)來處理和分析內(nèi)窺鏡攝像頭產(chǎn)生的視頻信號(hào)的情況越來越多。

這項(xiàng)技術(shù)有助于異常檢測(cè)和測(cè)量、圖像增強(qiáng)、警報(bào)和分析。 Clara Holoscan SDK 0.2 包括一個(gè)支持 AI 的內(nèi)窺鏡示例應(yīng)用程序，展示了 GXF 的端到端功能，并支持與具有 HDMI 輸入的 AJA 接口的設(shè)備。

內(nèi)窺鏡 AI 示例應(yīng)用程序具有深度學(xué)習(xí)模型，可在內(nèi)窺鏡視頻流上實(shí)時(shí)執(zhí)行目標(biāo)檢測(cè)和工具跟蹤。

該應(yīng)用程序使用多個(gè) NVIDIA 功能來最小化總體延遲，包括：

GPUDirect RDMA 視頻數(shù)據(jù)傳輸，消除向系統(tǒng)內(nèi)存復(fù)制或從系統(tǒng)內(nèi)存復(fù)制的開銷。

用于 CUDA 的 NVIDIA 性能原語庫在 AI 推理之前加速了 2D 圖像轉(zhuǎn)換。

TensorRT 用于優(yōu)化 AI 推理和加速的運(yùn)行時(shí)。

CUDA 和 OpenGL 互操作性，在 GPU 上為可視化提供高效的資源共享。

帶上您自己的模型 AI 應(yīng)用程序

開發(fā)人員可以將自己的 AI 模型引入 Clara Holoscan 參考管道，以快速創(chuàng)建自己的流式工作流。通過更新一個(gè)配置文件并將數(shù)據(jù)導(dǎo)出為 GXF 本機(jī)數(shù)據(jù)格式，可以完成從一個(gè)模型到另一個(gè)模型的交換。以便攜式 ONNX 保存的模型以及 NVIDIA 性能優(yōu)化的 TRT 格式可以在 GXF 的內(nèi)置推理引擎上運(yùn)行。

支持 Clara 開發(fā)工具包

Clara AGX 和新的 Clara Holoscan 顯影劑套件 。 下一代 Clara Holoscan 開發(fā)工具包采用高性能 NVIDIA Orin 模塊、功能強(qiáng)大的 RTX A6000 GPU 以及 ConnectX SmartNIC 的連接性能。

該套件是開發(fā)下一代軟件定義醫(yī)療設(shè)備的理想解決方案。 Orin 適用于支持多個(gè)傳感器的高速接口的自主機(jī)器，其性能是上一代多個(gè)并發(fā) AI 推理管道的 8 倍。

使用 Ubuntu 20.04 更新 JetPack 5.0HP1

NVIDIA JetPack SDK 包含 Clara Holoscan SDK 的基本操作系統(tǒng)。對(duì)于版本 0.2 ， JetPack SDK 正在從版本 4.5 升級(jí)到版本 5.0HP1 。這將操作系統(tǒng)升級(jí)到 L4T rel-34 ，與使用 LTS 內(nèi)核 5.10 的 Ubuntu 20.04 相當(dāng)。

Clara Holoscan SDK 入門

這個(gè) Clara Holoscan SDK 0.2 現(xiàn)在可以在 GitHub 上使用 Apache 2.0 許可證訪問源代碼。

關(guān)于作者

Vanessa Braunstein 在 NVIDIA 的醫(yī)療團(tuán)隊(duì)從事產(chǎn)品營銷工作。此前，她在基因組學(xué)、醫(yī)學(xué)成像、制藥、化學(xué)和診斷公司從事產(chǎn)品開發(fā)和營銷。她學(xué)習(xí)分子和細(xì)胞生物學(xué)、公共衛(wèi)生和商業(yè)。

Marc Edgar 是 NVIDIA 的醫(yī)療設(shè)備高級(jí)聯(lián)盟經(jīng)理，幫助各種規(guī)模的醫(yī)療保健公司發(fā)展，以提高質(zhì)量、可負(fù)擔(dān)性和獲得醫(yī)療保健的機(jī)會(huì)。在加入 NVIDIA 之前，他在 General Ele CTR ic 工作了超過 25 年。他開發(fā)并商業(yè)化了許多 AI / ML 算法，并在醫(yī)療保健和工業(yè)領(lǐng)域擁有 16 項(xiàng)專利。

審核編輯：郭婷