http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95

成都創(chuàng)新互聯(lián)公司是一家專(zhuān)業(yè)提供米脂企業(yè)網(wǎng)站建設(shè),專(zhuān)注與成都網(wǎng)站建設(shè)、成都網(wǎng)站制作、H5場(chǎng)景定制、小程序制作等業(yè)務(wù)。10年已為米脂眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專(zhuān)業(yè)網(wǎng)站制作公司優(yōu)惠進(jìn)行中。

 反向傳播算法的思路如下：給定一個(gè)樣例 ，我們首先進(jìn)行“前向傳導(dǎo)”運(yùn)算，計(jì)算出網(wǎng)絡(luò)中所有的激活值，包括  的輸出值。之后，針對(duì)第  層的每一個(gè)節(jié)點(diǎn) ，我們計(jì)算出其“殘差” ，該殘差表明了該節(jié)點(diǎn)對(duì)最終輸出值的殘差產(chǎn)生了多少影響。對(duì)于最終的輸出節(jié)點(diǎn)，我們可以直接算出網(wǎng)絡(luò)產(chǎn)生的激活值與實(shí)際值之間的差距，我們將這個(gè)差距定義為  （第  層表示輸出層）。對(duì)于隱藏單元我們?nèi)绾翁幚砟兀课覀儗⒒诠?jié)點(diǎn)（譯者注：第  層節(jié)點(diǎn)）殘差的加權(quán)平均值計(jì)算 ，這些節(jié)點(diǎn)以  作為輸入。

$ delta 3=frac{d Error}{d x_3}=frac{d 1/2*(t-y_3)^2}{d x} =-(t-y_3)*y_{3}^{'} $

$ delta 2=frac{d Error}{d x_2}=frac{d E}{d x_3} frac{d x_3}{d y_2} frac{d y_2}{d x_2}= delta 3*w2*y_{2}^{'} $

計(jì)算我們需要的偏導(dǎo)數(shù)，計(jì)算方法如下：

（$a^(l)_j$是activation, j是前一層，i是后一層）

是sum上面一層，而forward是sum下面一層。

若不是sigmoid，則$Delta wi=exi$

還有一個(gè)問(wèn)題，當(dāng)f(x)接近1或接近0時(shí)，gradient非常小，幾乎為0，這時(shí)沒(méi)法更新weight，錯(cuò)誤無(wú)法修正

 

tj只有當(dāng)是結(jié)果是才為1，其余時(shí)候?yàn)?.

網(wǎng)站題目：backpropagation-創(chuàng)新互聯(lián)
轉(zhuǎn)載來(lái)源：http://jinyejixie.com/article24/cceije.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、建站公司、電子商務(wù)、企業(yè)建站、網(wǎng)站內(nèi)鏈、網(wǎng)頁(yè)設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)