從物理信息神經(jīng)網(wǎng)絡(luò)（ PINN ）到神經(jīng)算子，開(kāi)發(fā)人員長(zhǎng)期以來(lái)一直在尋求通過(guò)實(shí)時(shí)傳感器數(shù)據(jù)流構(gòu)建實(shí)時(shí)數(shù)字雙胞胎的能力，這種雙胞胎具有真實(shí)形式的渲染、強(qiáng)健的可視化以及與現(xiàn)實(shí)世界中的物理系統(tǒng)的同步。 Modulus 的最新發(fā)布讓我們更接近這個(gè)現(xiàn)實(shí)。

Modulus 22.03， 用于開(kāi)發(fā)基于物理的機(jī)器學(xué)習(xí)模型的前沿框架，為開(kāi)發(fā)人員提供了關(guān)鍵功能，如新穎的物理知識(shí)和數(shù)據(jù)驅(qū)動(dòng)的人工智能架構(gòu)，以及與 Omniverse （ OV ）平臺(tái)的集成。

本次發(fā)布朝著使用 Modulus OV 擴(kuò)展為工程師和研究人員構(gòu)建精確模擬和交互式可視化功能邁出了重要一步。這種增強(qiáng)得到了新的人工智能體系結(jié)構(gòu)的支持，這種體系結(jié)構(gòu)可以使用神經(jīng)算子從數(shù)據(jù)中學(xué)習(xí)。在這個(gè)最新版本的模中添加了其他增強(qiáng)功能，以便于對(duì)湍流等問(wèn)題進(jìn)行精確建模，以及改進(jìn)訓(xùn)練收斂性的功能。

Omniverse 集成

在 OV 集成中，訓(xùn)練和推理工作流基于 Python API ，生成的訓(xùn)練模型輸出作為場(chǎng)景引入 OV ，使用此擴(kuò)展。

該擴(kuò)展可以將模訓(xùn)練模型的輸出導(dǎo)入到常見(jiàn)場(chǎng)景（如流線和 iso 曲面）的可視化管道中。它還提供了一個(gè)界面，允許交互探索設(shè)計(jì)變量和參數(shù)，以推斷新的系統(tǒng)行為。?通過(guò)利用 Omniverse 中的這個(gè)擴(kuò)展，您可以在數(shù)字孿生的上下文中可視化模擬行為。?

新的網(wǎng)絡(luò)架構(gòu)

Modulus 現(xiàn)在支持神經(jīng)運(yùn)算符，如 FNO 、 AFNO PINO 和 DeepONet 架構(gòu)。這使得數(shù)據(jù)驅(qū)動(dòng)的物理機(jī)器學(xué)習(xí)模型能夠用于有大量地面真實(shí)數(shù)據(jù)可供訓(xùn)練的用例。

FNO： 受物理啟發(fā)的神經(jīng)網(wǎng)絡(luò)模型，使用光譜空間中的全局卷積作為歸納偏差，用于訓(xùn)練物理系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型。它結(jié)合了重要的空間和時(shí)間相關(guān)性，這些相關(guān)性強(qiáng)烈地控制著許多可以用偏微分方程（ PDE ）描述的物理系統(tǒng)的動(dòng)力學(xué)。

AFNO： 一種自適應(yīng) FNO ，通過(guò)在操作員學(xué)習(xí)和標(biāo)記混合之間建立聯(lián)系，將自我注意力擴(kuò)展到視覺(jué)轉(zhuǎn)換器中的高分辨率圖像。 AFNO 基于 FNO ，允許幀令牌混合作為連續(xù)的全局卷積，而不依賴于輸入分辨率。由此產(chǎn)生的模型高度并行，具有準(zhǔn)線性復(fù)雜度，序列大小具有線性記憶。

PINO： PINO 是 FNO 的明確物理信息版本。 PINO 結(jié)合了操作學(xué)習(xí)和功能優(yōu)化框架。在算子學(xué)習(xí)階段， PINO 通過(guò)參數(shù)化 PDE 族的多個(gè)實(shí)例學(xué)習(xí)解算子。在測(cè)試時(shí)間優(yōu)化階段， PINO 優(yōu)化 PDE 查詢實(shí)例的預(yù)訓(xùn)練運(yùn)算符 ansatz 。在 PINO tutorial 中了解更多信息。

DeepONet： DeepOne 體系結(jié)構(gòu)由兩個(gè)子網(wǎng)絡(luò)組成，一個(gè)子網(wǎng)絡(luò)用于編碼輸入函數(shù)，另一個(gè)子網(wǎng)絡(luò)用于編碼位置，然后合并以計(jì)算輸出。結(jié)果表明，與全連通網(wǎng)絡(luò)相比，深網(wǎng)通過(guò)引入感應(yīng)偏差來(lái)減少泛化誤差。在 DeepONet Tutorial 中了解更多信息。

Modulus 支持這些不同的體系結(jié)構(gòu)，使我們的用戶生態(tài)系統(tǒng)能夠選擇適合其用例的正確方法。

更多關(guān)鍵增強(qiáng)功能

兩個(gè)方程（ 2-eqn 。）湍流模型 ： 支持兩方程湍流（ k-e 和 k-w ）模型，用于模擬充分發(fā)展的湍流。文檔中包含了使用墻函數(shù)的通道情況（ 1D 和 2D ）的參考應(yīng)用程序。它展示了兩種墻功能（標(biāo)準(zhǔn)和流槽剝落）。在 2-eqn tutorial 中了解更多信息。

損失平衡的新算法： 為了提高收斂性，引入了三種新的損耗平衡算法，即梯度范數(shù)、隨機(jī)回溯的相對(duì)損耗平衡（ReLoBRaLo）和軟適應(yīng)。這些算法根據(jù)不同損失的相對(duì)訓(xùn)練率動(dòng)態(tài)調(diào)整損失權(quán)重。

此外，還加入了神經(jīng)切線核（ NTK ）分析。 NTK 是一種神經(jīng)網(wǎng)絡(luò)分析工具，用于指示每個(gè)組件的收斂速度。它將為不同損失條件下的權(quán)重提供一個(gè)可解釋的選擇。通過(guò)對(duì)損失的均方誤差進(jìn)行分組，可以實(shí)時(shí)計(jì)算 NTK 。

支持新的優(yōu)化器： Modulus 現(xiàn)在支持 30 多個(gè)優(yōu)化器，包括內(nèi)置的 PyTorch 優(yōu)化器和 火炬優(yōu)化器庫(kù)。 包括對(duì) AdaHessian 的支持， AdaHessian 是一個(gè)二階隨機(jī)優(yōu)化器，它近似于 Hessian 對(duì)角線的指數(shù)移動(dòng)平均值，用于梯度向量的自適應(yīng)預(yù)處理。

關(guān)于作者

Bhoomi Gadhia 是 NVIDIA 的高級(jí)產(chǎn)品營(yíng)銷經(jīng)理，專注于 NVIDIA Modular ，一個(gè)用于開(kāi)發(fā)物理信息機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的人工智能框架。她在計(jì)算機(jī)輔助工程應(yīng)用領(lǐng)域擁有超過(guò) 10 年的經(jīng)驗(yàn)，在 Hexagon MSC Software 和 Ansys 擔(dān)任技術(shù)和產(chǎn)品營(yíng)銷職務(wù)。布米居住在加利福尼亞州，擁有機(jī)械工程碩士學(xué)位。

審核編輯：郭婷