1
雷鋒網按：本文為雷鋒字幕組編譯的技術博客，原標題 Step-by-step walkthrough of RNN Training - Part II，作者為 Eniola Alese。
翻譯 | 陳濤 整理 | 凡江
RNN 的反向傳播是為了計算出關于損失函數的梯度值
讀者可以在這里看到本文的 Part I（http://m.ozgbdpf.cn/news/201805/ZMeniGUPBZ50lyvk.html）。
單個 RNN 單元的反向傳播
RNN 中反向傳播的目的是計算出最終的損失值 L 分別對權值矩陣（W_xh，W_ah，W_ao）和偏置向量（b_h，b_o）的偏導數值。
推導出所需的導數值非常簡單，我們只需要利用鏈式法則就能計算出它們。
第一步：為了計算代價，需要先定義損失函數。一般根據具體手中的任務來選擇該損失函數。在這個例子里，對于多分類輸出問題，我們采用交叉熵損失函數 L?t?，其具體計算過程如下：
第二步：接下來我們開始往后計算損失函數 L?t? 對預測輸出值的激活值 ??t? 的偏導數值。因為在前向傳播過程中 softmax 函數以多分類的輸出值作為輸入，因此下面的偏導數值
的計算分為兩種情況：分類 i 時和分類 k 時：
第三步：接著利用分類 i 時和分類 k 時的偏導數值
，可以計算出損失函數 L?t? 對預測輸出值 o?t? 的偏導數值：
第四步：利用偏導數值
及鏈式法則，計算出損失函數 L?t? 對輸出過程中的偏置向量 b_o 的偏導數值：
第五步：利用偏導數值
及鏈式法則，計算出損失函數 L?t? 對隱層至輸出層中的權值矩陣 W_ao 的偏導數值：
第六步： 利用偏導數值
、
及鏈式法則，計算出損失函數 L?t? 對隱狀態(tài)的激活值 a?t? 的偏導數值：
第七步： 利用偏導數值
及鏈式法則，計算出損失函數 L?t? 對隱狀態(tài) h?t? 的偏導數值：
第八步： 利用偏導數值
及鏈式法則，計算出損失函數 L?t? 對隱狀態(tài)的偏置向量 b_h 的偏導數值：
第九步：利用偏導數值
及鏈式法則，計算出損失函數 L?t? 對輸入層至隱層中的偏置矩陣 W_xh 的偏導數值：
第十步：利用偏導數值
及鏈式法則，計算出損失函數 L?t? 對輸入層至隱層中的偏置矩陣 W_ah 的偏導數值：
隨時間反向傳播（BPTT）
就像前文中提到的前向傳播過程一樣，將循環(huán)網絡展開，BPTT 將沿此一直運行著上述步驟。
主要的區(qū)別在于我們必須將每個時間步 t 的偏導數值
累加起來，從而更新權值和偏置，這是因為這些參數在前向傳播的過程中是被各個時間步所共享的。
總結
在本文的第一部分和第二部分中，我們了解了循環(huán)神經網絡訓練過程中所涉及到的前向傳播和反向傳播。接下來，我們將著眼于 RNN 中所存在的梯度消失問題，并討論 LSTM 和 GRU 網絡的進展。
博客原址：https://medium.com/learn-love-ai/step-by-step-walkthrough-of-rnn-training-part-ii-7141084d274b
雷鋒網雷鋒網
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
