基于BP算法的前饋神經(jīng)網(wǎng)絡(luò)
首先給出只包含一個(gè)隱層的BP神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）：
BP神經(jīng)網(wǎng)絡(luò)其實(shí)由兩部分組成：
- 前饋神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)是前饋的，其權(quán)重都不回送到輸入單元，或前一層輸出單元（數(shù)據(jù)信息是單向傳播的，不會(huì)回流），區(qū)別于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。
- BP算法（Back Propagation）：誤差反向傳播算法，用于更新網(wǎng)絡(luò)中的權(quán)重。
BP神經(jīng)網(wǎng)絡(luò)思想：
- 表面上：1. 數(shù)據(jù)信息的前向傳播，從輸入層到隱含層，最后到輸出層。2. 誤差的反向傳播：輸出結(jié)果與真實(shí)結(jié)果的誤差值，從輸出層傳遞到隱含層，最后到輸入層。
- 本質(zhì)上：針對(duì)每個(gè)輸入樣本，采用隨機(jī)梯度下降算法，動(dòng)態(tài)更新網(wǎng)絡(luò)中的權(quán)重和偏倚，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。
BP神經(jīng)網(wǎng)絡(luò)算法推導(dǎo)（更新權(quán)重和偏倚）：
從上面推導(dǎo)可以發(fā)現(xiàn)：
對(duì)于任意從神經(jīng)元i（輸出神經(jīng)元/隱層神經(jīng)元）至 神經(jīng)元j（隱層神經(jīng)元/輸出層神經(jīng)元）的權(quán)重w ijwijw_{ij}，其權(quán)重更新量Δw ijΔwijDelta w_{ij}=學(xué)習(xí)步長(zhǎng)η ηeta × × imes 前一層神經(jīng)元的輸出（x ixix_{i} 或y jyjy_{j}）× × imes 后一層神經(jīng)元（y jyjy_{j}或o koko_{k}）的誤差
神經(jīng)元偏倚的變化量：ΔΘ ΔΘ Delta Theta=學(xué)習(xí)步長(zhǎng)η ηeta × × imes 乘以神經(jīng)元的誤差
BP神經(jīng)網(wǎng)絡(luò)算法過(guò)程
網(wǎng)絡(luò)的初始化：包括權(quán)重和偏倚的初始化
計(jì)算隱含層的輸入輸出
計(jì)算輸出層的輸入輸出
誤差的計(jì)算：隱層和輸出層的誤差
權(quán)值的更新：1. 輸入層—隱層。2. 隱層—輸出層
偏倚的更新：神經(jīng)元的步長(zhǎng)η ηeta × × imes 相應(yīng)的誤差err
判斷算法迭代是否結(jié)束：1.超過(guò)迭代次數(shù)，2.相鄰的兩次誤差之間的差別小于閾值等。
誤差的反向傳播描述
反向傳播過(guò)程是這樣的：輸出層每個(gè)節(jié)點(diǎn)都會(huì)得到一個(gè)誤差e（d k ?o kdk?okd_{k}-o_{k}），把e作為輸出層反向輸入，這時(shí)候就像是輸出層當(dāng)輸入層一樣把誤差往回傳播，先得到輸出層誤差err kerrkerr_{k}，然后將輸出層err kerrkerr_{k}根據(jù)連接權(quán)重往隱層傳輸，得到隱層誤差err jerrjerr_{j}。具體如下圖所示（畫(huà)的有點(diǎn)難看，將就看吧。。）
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103575 -
BP神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
2文章
127瀏覽量
30996
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)原則
BP（back propagation）神經(jīng)網(wǎng)絡(luò)是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)
BP神經(jīng)網(wǎng)絡(luò)的調(diào)參技巧與建議
BP神經(jīng)網(wǎng)絡(luò)的調(diào)參是一個(gè)復(fù)雜且關(guān)鍵的過(guò)程，涉及多個(gè)超參數(shù)的優(yōu)化和調(diào)整。以下是一些主要的調(diào)參技巧與建議： 一、學(xué)習(xí)率（Learning Rate） 重要性 ：學(xué)習(xí)率是BP神經(jīng)網(wǎng)絡(luò)中最重要
BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較
BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)方面存在顯著差異，以下是對(duì)兩者的比較： 一、結(jié)構(gòu)特點(diǎn) BP神經(jīng)網(wǎng)絡(luò) ：
如何優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率
優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率是提高模型訓(xùn)練效率和性能的關(guān)鍵步驟。以下是一些優(yōu)化BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的方法： 一、理解學(xué)習(xí)率的重要性 學(xué)習(xí)率決定了模型參數(shù)在每次迭代時(shí)更新的幅度。過(guò)大的學(xué)習(xí)率可
BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)步驟詳解
BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)步驟主要包括以下幾個(gè)階段：網(wǎng)絡(luò)初始化、前向傳播、誤差計(jì)算、反向傳播和權(quán)重更新。以下是對(duì)這些步驟的詳細(xì)解釋： 一、網(wǎng)絡(luò)初始化
BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)分析
BP神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network）作為一種常用的機(jī)器學(xué)習(xí)模型，具有顯著的優(yōu)點(diǎn)，同時(shí)也存在一些不容忽視的缺點(diǎn)。以下是對(duì)BP神經(jīng)網(wǎng)絡(luò)優(yōu)缺點(diǎn)的分析
什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法
BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法（Backpropagation Algorithm）是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的有效方法。以下是關(guān)于BP
BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系
），是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它通過(guò)反向傳播算法進(jìn)行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)由輸入層、一個(gè)或多個(gè)隱藏層和
BP神經(jīng)網(wǎng)絡(luò)的基本原理
BP神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network）的基本原理涉及前向傳播和反向傳播兩個(gè)核心過(guò)程。以下是關(guān)于BP神經(jīng)網(wǎng)絡(luò)
BP神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中的應(yīng)用
傳播神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network），是一種多層前饋神經(jīng)網(wǎng)絡(luò)，主要通過(guò)反向傳播算法進(jìn)行學(xué)習(xí)。它通常
如何訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)模型
BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)模型，其訓(xùn)練過(guò)程主要分為兩個(gè)階段：前向傳播和反向傳播。以下是訓(xùn)練BP
人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法
在上一篇文章中，我們介紹了傳統(tǒng)機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)和多種算法。在本文中，我們會(huì)介紹人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法，供各位老師選擇。 01 人工神經(jīng)網(wǎng)絡(luò) ? 人工
卷積神經(jīng)網(wǎng)絡(luò)的基本原理與算法
卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks
RNN模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的區(qū)別
傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（前饋神經(jīng)網(wǎng)絡(luò)） 2.1 結(jié)構(gòu) 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，通常指的是前
BP網(wǎng)絡(luò)的基本概念和訓(xùn)練原理
）的多層前饋神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)自1985年提出以來(lái)，因其強(qiáng)大的學(xué)習(xí)和適應(yīng)能力，在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別等領(lǐng)域得到了廣泛應(yīng)用。以下將對(duì)
工商網(wǎng)監(jiān)
評(píng)論