案例簡介

本案例中，0xmd 公司通過 NVIDIA GPU 打造醫(yī)療 AI 解決方案，覆蓋影像分析和文本解讀等領域。

本案例采用TensorRT、MONAI、Triton Inference Server等先進工具，實現(xiàn)了高效的圖像識別、醫(yī)學文本分析和模型推理，幫助醫(yī)療機構顯著提升診斷效率與準確性。

以生成式 AI 賦能醫(yī)療健康

0xmd 專注于研發(fā)面向醫(yī)療和健康的生成式 AI 應用，致力于改進患者護理和醫(yī)學診斷。解決方案涵蓋增強診斷能力、改善病患護理、優(yōu)化醫(yī)療體系，推動醫(yī)療服務更加平等與普及。0xmd 的方案應用于食品分析、藥物管理、健康檢查報告解讀和皮膚病檢測等領域。

0xmd 醫(yī)療 AI 方案面臨的挑戰(zhàn)

在推動醫(yī)療健康 AI 方案的技術和業(yè)務上也遇到了一些挑戰(zhàn)，包括高性能技術需求、實時成像數(shù)據(jù)處理、模型推理效率和準確性、多模態(tài)數(shù)據(jù)融合、擴展性和靈活性等，在 NVIDIA 的產品和技術支持下實現(xiàn)了很好的優(yōu)化。

高性能計算需求：處理醫(yī)學影像和復雜醫(yī)學文本數(shù)據(jù)需要強大的計算能力。NVIDIA GPU 及其并行計算技術，能夠高效處理和分析海量醫(yī)療數(shù)據(jù)，滿足實時復雜算法的執(zhí)行需求。

成像數(shù)據(jù)處理：通過深度學習技術，對多種類型的醫(yī)療影像數(shù)據(jù)（如 X 光片、MRI 和 CT 掃描）進行分析和處理。利用 MONAI 進行影像的預處理、增強和分割，從而提高診斷的準確性和速度，實現(xiàn)高吞吐量、低延遲的醫(yī)療影像分析。這為醫(yī)療專業(yè)人員提供了即時且可操作的診斷信息，支持精準醫(yī)療決策。

模型推理效率與準確性：提高模型推理的效率、準確性和速度是關鍵挑戰(zhàn)。通過 TensorRT 和 Triton Inference Server 的優(yōu)化，實現(xiàn)了模型推理加速，顯著提升了診斷效率和準確性。

多模態(tài)數(shù)據(jù)融合：LVLM 需要融合文本與圖像數(shù)據(jù)。NVIDIA GPU以卓越的圖像處理能力，為多模態(tài)數(shù)據(jù)分析提供了強大支持。

擴展性與靈活性：隨著業(yè)務發(fā)展，需要一個可擴展且靈活的技術基礎設施。NVIDIA 解決方案幫助動態(tài)調整資源和計算能力，支持公司的全球業(yè)務擴展。

NVIDIA 驅動0xmd

實現(xiàn)醫(yī)療 AI 應用升級

0xmd 的醫(yī)療 AI 應用，最重要一部分是AI醫(yī)療小助手：用戶通過與 AI 助手的對話， AI 小助手會根據(jù)已有的模型進行詳細分析、解答和詢問，通過模擬真實世界醫(yī)生和病人的問診過程，從而幫助用戶更好的處理病患或健康相關問題。在此應用上，公司采用 NVIDIA GPU 用于訓練和推理，確保高效的運算性能和反應速度，極大地優(yōu)化了 AI 模型推理的效率和效果。同時，通過 TensorRT 的部署，優(yōu)化了深度學習模型，提高生產環(huán)境中的推理效率。同時，通過模型的量化和層融合技術，TensorRT 適用于所有規(guī)模的模型，能有效減少延遲并提升吞吐量。在模型并行部署時，采用 Triton Inference Server，根據(jù)需求動態(tài)調整資源分配，優(yōu)化整體的運算效率。

公司醫(yī)療 AI 應用也接入了大型視覺語言模型（LvLM），應用于食品、藥品、體檢報告和皮膚病檢測領域。例如，通過健康報告掃描器，用于解讀體檢報告，分析和提取關鍵信息，以全面了解用戶的健康情況。

為了支持實時醫(yī)療影像的分析與預處理，公司基于 MONAI Stream SDK 打造了高效的 AI 驅動解決方案進行醫(yī)療影像處理。MONAI 基于 PyTorch 構建，支持圖像分割、分類和配準等多種醫(yī)療影像任務，并提供專為醫(yī)療影像優(yōu)化的工具和算法。

0xmd正在逐步將現(xiàn)有系統(tǒng)更新至NVIDIA Clara，以獲得更廣泛的生態(tài)系統(tǒng)支持，預計在 2025 年第三季度完成。更新后的系統(tǒng)將進一步應用 MONAI Deploy SDK，提升預處理、增強和推理等環(huán)節(jié)中的深度學習模型的精準度和效率，確保更快速地分析 X 光片、MRI 和 CT 掃描等醫(yī)療影像。

MONAI Label 工具在訓練數(shù)據(jù)集標注上的優(yōu)勢，也有助于提升醫(yī)療影像分析模型的質量，從而增強整個系統(tǒng)的分析能力。

NVIDIA 高性能計算解決方案

助力 0xmd 醫(yī)療 AI 應用效能躍升

NVIDIA 技術在 0xmd 的應用中帶來了顯著的效果，在 NVIDIA GPU 和軟件庫的賦能下，0xmd 開發(fā)出更為高效和精準的醫(yī)療 AI 模型應用。NVIDIA GPU 的部署使得由小型到大型模型的推理變得更有效率，大幅提高了醫(yī)療影像分析和自然語言處理的反應速度。在模型訓練階段，也極大縮短了研發(fā)周期，幫助 0xmd 更快地迭代和優(yōu)化 AI 模型和應用。

通過引入 NVIDIA 的 Triton Inference Server，能夠在維持成本的同時靈活地擴展其服務。這一技術優(yōu)勢使得 0xmd 能夠在全球范圍內更高效地部署和管理其醫(yī)療AI解決方案，從而快速擴展業(yè)務，并在全球市場中取得領先地位。結合 MONAI 的應用，進一步增強了 0xmd 在醫(yī)療影像分析與數(shù)據(jù)處理上的效率。

0xmd 創(chuàng)始人及首席架構師區(qū)兆倫表示：“NVIDIA 的技術在我們的業(yè)務中起到了革命性的作用。它不僅提高了我們的運算效率，還大大縮短了產品開發(fā)周期。借助于 NVIDIA 的高性能計算解決方案，我們能夠提供市場領先的醫(yī)療 AI 產品，這在提高診斷準確性和加快疾病診斷速度方面發(fā)揮了至關重要的作用。”

NVIDIA 初創(chuàng)加速計劃

NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception)為免費會員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯(lián)合國內外知名的風投機構、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產品折扣、技術支持、市場宣傳、融資對接、業(yè)務推薦等一系列服務，加速創(chuàng)業(yè)公司的發(fā)展。