torch.nn

pytorch中文文檔鏈接：torch.nn

在__init__()函數(shù)里定義，定義的是一個類：

torch.nn.functional

pytorch中文文檔鏈接：torch.nn.functional

在__forward()__函數(shù)里定義，定義的是一個函數(shù)：

兩者的區(qū)別

torch.nn中是一個定義的類，以class xx來定義的，可以提取變化的學(xué)習(xí)參數(shù)。

torch.nn.functional是一個函數(shù)，由def function( )定義，是一個固定的運算公式。

深度學(xué)習(xí)中會有很多權(quán)重是在不斷更新的，所以需要采用類的方式，以確保能在參數(shù)發(fā)生變化時仍能使用我們之前定好的運算步驟。因此如果模型有可學(xué)習(xí)的參數(shù)，應(yīng)該使用nn.Module，否則兩個沒有區(qū)別。但是簡單的計算不需要新建一個類來做，所以使用nn.functional定義函數(shù)就可以。

即：層內(nèi)有variable的情況用nn定義，否則用nn.functional定義。

學(xué)習(xí)更多編程知識，請關(guān)注我的公眾號：

[代碼的路]