無論是設計微芯片還是構(gòu)建新的蛋白質(zhì)，神經(jīng)網(wǎng)絡似乎可以做任何事情。然而，令人不快的是，這些由大腦啟發(fā)的人工智能（AI）系統(tǒng)以神秘的方式工作，這引發(fā)了人們的擔憂，即他們所做的事情也可能毫無意義。

一項新的研究表明，已有200年歷史的數(shù)學方法或有助于揭示神經(jīng)網(wǎng)絡如何執(zhí)行諸如預測氣候或模擬湍流等復雜任務。研究人員表示，這反過來有助于提高神經(jīng)網(wǎng)絡的準確性和學習速度。

在人工神經(jīng)網(wǎng)絡中，被稱為神經(jīng)元的部件（類似于人腦中的神經(jīng)元，因為它們是其系統(tǒng)的基本部件）通過數(shù)據(jù)和協(xié)作以解決問題，例如識別人臉。如果神經(jīng)網(wǎng)絡擁有多層神經(jīng)元，則稱之為“深層”。

長期以來，神經(jīng)網(wǎng)絡得出結(jié)論的方式一直被認為是一個神秘的黑匣子，也就是說，網(wǎng)絡無法解釋它是如何得出結(jié)論的。休斯頓萊斯大學流體動力學專家、研究高級作者Pedram Hassanzadeh表示，盡管研究人員已經(jīng)開發(fā)出了檢查神經(jīng)網(wǎng)絡內(nèi)部工作的方法，但在涉及許多科學和工程應用的網(wǎng)絡時，這些方法往往收效甚微。

為了分析設計用于物理的神經(jīng)網(wǎng)絡，Hassanzadeh和他的同事們嘗試使用物理中常用的數(shù)學技術。該方法被稱為傅里葉分析（Fourier analysi），用于識別數(shù)據(jù)在空間和時間上的規(guī)則模式。

在這項新的研究中，研究人員對一個深度神經(jīng)網(wǎng)絡進行了實驗，該網(wǎng)絡經(jīng)過訓練，可以分析大氣中的空氣或海洋中的水中出現(xiàn)的復雜湍流，并預測這些湍流隨時間的變化。Hassanzadeh說，更好地理解神經(jīng)網(wǎng)絡為分析這些復雜系統(tǒng)而學習的概念，有助于建立更精確的模型，而訓練所需的數(shù)據(jù)更少。

科學家們對深度神經(jīng)網(wǎng)絡的控制方程進行了傅里葉分析。每個模型大約有100萬個參數(shù)，神經(jīng)元之間的連接就像乘數(shù)，在計算過程中調(diào)整這些方程中的特定運算。這些參數(shù)被分為40000個五乘五矩陣，稱為內(nèi)核。

未經(jīng)訓練的神經(jīng)網(wǎng)絡的參數(shù)通常具有隨機值。在訓練過程中，隨著神經(jīng)網(wǎng)絡逐漸學會計算越來越接近訓練案例中已知結(jié)果的解，神經(jīng)網(wǎng)絡的參數(shù)會被修改和磨練。然后，研究人員可以使用經(jīng)過充分訓練的神經(jīng)網(wǎng)絡來分析以前從未見過的數(shù)據(jù)。

自大約200年前傅里葉分析首次出現(xiàn)以來，研究人員還開發(fā)了其他工具來分析數(shù)據(jù)中的模式，例如篩選背景噪聲的低通濾波器、幫助分析背景信號的高通濾波器，以及圖像處理中經(jīng)常使用的Gabor濾波器。

Hassanzadeh說：“多年來，我們聽說神經(jīng)網(wǎng)絡是黑匣子，有太多的參數(shù)需要理解和分析。當然，當我們只是查看其中的一些參數(shù)時，它們沒有太多意義，而且看起來都不一樣?！?然而，在對所有這些核進行傅立葉分析后，他說，“我們意識到它們是這些光譜濾波器。”

多年來，科學家們一直試圖用該技術來分析氣候和湍流。然而，這些組合在對復雜系統(tǒng)進行建模時往往并不成功。Hassanzadeh說，神經(jīng)網(wǎng)絡學會了正確組合這些濾波器的方法。

Hassanzadeh解釋道：“許多氣候科學家和機器學習科學家小組正在美國和世界各地合作開發(fā)神經(jīng)網(wǎng)絡增強氣候模型，即混合模型，使用傳統(tǒng)的偏微分方程求解器和神經(jīng)網(wǎng)絡一起進行更快、更好的氣候預測?！?他補充道，傅里葉分析可以幫助科學家為這些目標設計更好的神經(jīng)網(wǎng)絡，并幫助他們更好地理解氣候和湍流的基本物理情況。

Hassanzadeh說，除了氣候和湍流模型，傅里葉分析可能有助于研究神經(jīng)網(wǎng)絡，這些神經(jīng)網(wǎng)絡被設計用于分析廣泛的其他復雜系統(tǒng)。這些包括“噴氣發(fā)動機內(nèi)的燃燒、風電場內(nèi)的氣流、許多物質(zhì)、木星和其他行星的大氣層、等離子體、太陽和地球內(nèi)部的對流等等”。Hassanzadeh說，研究人員開發(fā)了一個通用框架，以幫助將這種方法應用于“任何物理系統(tǒng)和任何神經(jīng)網(wǎng)絡架構(gòu)”。

此外，這種方法可能有助于分析“用于圖像分類或神經(jīng)科學的神經(jīng)網(wǎng)絡”，Hassanzadeh補充道。然而，他表示，“我們的工作在多大程度上揭開了這些領域的情況，仍有待研究?！?/p>

當涉及神經(jīng)網(wǎng)絡時，一個主要的問題是它們的可推廣性如何，它們是否能夠分析不同于它們所訓練的系統(tǒng)。用于幫助神經(jīng)網(wǎng)絡從一個系統(tǒng)外推到另一個系統(tǒng)的一種方法被稱為轉(zhuǎn)移學習。這種方法專注于重新訓練神經(jīng)網(wǎng)絡中的少量關鍵神經(jīng)元，以幫助其分析其他系統(tǒng)。這些新發(fā)現(xiàn)可能會確定最佳的神經(jīng)元進行再訓練。

Hassanzadeh說，特別是，轉(zhuǎn)移學習中的傳統(tǒng)智慧是，最好對最接近模型產(chǎn)生的輸出的最深層的神經(jīng)元進行再訓練。然而，這項新研究表明，當涉及跨時間和空間數(shù)據(jù)模式的復雜系統(tǒng)時，他表示，重新訓練最淺的層靠近模型接收的輸入可能會得到更好的性能，而重新訓練最深的層可能會被證明完全無效。

Hassanzadeh說，未來，研究人員的目標是確定神經(jīng)網(wǎng)絡如何學習組合濾波器以達到最佳結(jié)果。1月23日，他和他的同事在PNAS Nexus雜志上詳細介紹了他們的發(fā)現(xiàn)，https://academic.oup.com/pnasnexus/article/2/3/pgad015/6998042。

審核編輯 ：李倩