記錄一下RNN為什么可以記錄以前歷史信息，如何從公式中體現(xiàn)出？

那么首先介紹一下為什么普通的神經(jīng)網(wǎng)絡(luò)不能記憶以前的歷史信息，然后引出RNN的相應(yīng)能力，因?yàn)槿绻胀ǖ纳窠?jīng)網(wǎng)絡(luò)能夠記錄以前的歷史信息的話，那么也就不會(huì)有RNN思想的誕生了。

1普通神經(jīng)網(wǎng)絡(luò)(MLP)

首先我們有一個(gè)任務(wù)，就是進(jìn)行詞性標(biāo)注，下面有兩個(gè)訓(xùn)練數(shù)據(jù)。

他向我表白我覺(jué)得他的表白不夠真誠(chéng)

正確的詞性是：

那么將這些訓(xùn)練數(shù)據(jù)送給神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，比如第一個(gè)數(shù)據(jù) “他/r”，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) “他->r”的一個(gè)映射，第二個(gè)數(shù)據(jù) “向/p”，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個(gè) “向->p”的映射，這樣一直將訓(xùn)練數(shù)據(jù)學(xué)習(xí)完，更新到最后的參數(shù)，從而學(xué)習(xí)到model，但是問(wèn)題來(lái)了。

學(xué)習(xí)示例圖如下：

在上面的訓(xùn)練數(shù)據(jù)中，有些詞語(yǔ)的詞性并不是唯一的，比如“表白”一詞，在“他向我表白”這句話中作為動(dòng)詞v，在“我覺(jué)得他的表白不夠真誠(chéng)”這句話中作為名詞n，所以對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，它是會(huì)學(xué)亂的。

一下子神經(jīng)網(wǎng)絡(luò)要學(xué)習(xí)“表白”是動(dòng)詞，一下子又要學(xué)習(xí)“表白”是名詞，神經(jīng)網(wǎng)絡(luò)也很無(wú)辜呀，它沒(méi)有能力來(lái)處理什么情況下應(yīng)該將“表白”判別為名詞，什么情況下降“表白”判斷為動(dòng)詞，因?yàn)樯窠?jīng)網(wǎng)絡(luò)學(xué)習(xí)不到周圍的語(yǔ)境。喂給神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)和之前的數(shù)據(jù)并沒(méi)有聯(lián)系。

所以我們這個(gè)時(shí)候就需要一個(gè)能夠記憶以前歷史信息的網(wǎng)絡(luò)出現(xiàn)，比如在第一句話中，碰到表達(dá)一詞的時(shí)候，我知道他前面的詞是“我”/代詞，那么代詞后面的表白作為動(dòng)詞的概率就遠(yuǎn)大于名詞的表白，當(dāng)然RNN還能夠看到他前面好幾個(gè)詞語(yǔ)，理論上rnn可以記憶當(dāng)前詞語(yǔ)前面的任何詞。

同理在第二句話的時(shí)候，碰到“表白”一詞的時(shí)候，我們的網(wǎng)絡(luò)能夠知道他前面的詞是“的”/助詞，那么助詞后面的“表白”作為名詞的概率就遠(yuǎn)大于動(dòng)詞的”表白“。

所以我們希望能夠有一個(gè)網(wǎng)絡(luò)在預(yù)測(cè)當(dāng)前任務(wù)的時(shí)候，能夠記憶以前的知識(shí)幫助當(dāng)前的任務(wù)完成，這樣RNN就閃亮登場(chǎng)了，可能有些小伙伴會(huì)說(shuō)，它存在很多問(wèn)題，比如不能長(zhǎng)期記憶，但是這篇文章不介紹，但是無(wú)論如何，RNN提供了這種問(wèn)題解決的可能。

2循環(huán)神經(jīng)網(wǎng)絡(luò)記錄歷史信息RNN

首先來(lái)介紹一下RNN

首先看一個(gè)簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)如，它由輸入層、一個(gè)隱藏層和一個(gè)輸出層組成：

不知道初學(xué)的同學(xué)能夠理解這個(gè)圖嗎，反正我剛開(kāi)始學(xué)習(xí)的時(shí)候是懵逼的，每個(gè)結(jié)點(diǎn)到底代表的是一個(gè)值的輸入，還是說(shuō)一層的向量結(jié)點(diǎn)集合，如何隱藏層又可以連接到自己，等等這些疑惑~這個(gè)圖是一個(gè)比較抽象的圖。

我們現(xiàn)在這樣來(lái)理解，如果把上面有W的那個(gè)帶箭頭的圈去掉，它就變成了最普通的全連接神經(jīng)網(wǎng)絡(luò)。x是一個(gè)向量，它表示輸入層的值（這里面沒(méi)有畫(huà)出來(lái)表示神經(jīng)元節(jié)點(diǎn)的圓圈）；s是一個(gè)向量，它表示隱藏層的值（這里隱藏層面畫(huà)了一個(gè)節(jié)點(diǎn)，你也可以想象這一層其實(shí)是多個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)數(shù)與向量s的維度相同）；