從動(dòng)圖中理解 RNN，LSTM 和 GRU

本文作者： AI研習(xí)社-譯站

2019-07-15 14:42

導(dǎo)語：遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)是一類常用的序列數(shù)據(jù)人工神經(jīng)網(wǎng)絡(luò)。

原標(biāo)題 | Animated RNN, LSTM and GRU
作者 | Raimi Karim
譯者 | 汪鵬(重慶郵電大學(xué))、Overfitting
本文編輯：王立魚
英文原文：
https://towardsdatascience.com/animated-rnn-lstm-and-gru-ef124d06cf45

從動(dòng)圖中理解 RNN，LSTM 和 GRU

遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)是一類常用的序列數(shù)據(jù)人工神經(jīng)網(wǎng)絡(luò)。三種最常見的遞歸神經(jīng)網(wǎng)絡(luò)類型分別是：

vanilla RNN
長短記憶RNN(LSTM)，由 Hochreiter和 Schmidhuber 在1997年提出
門控循環(huán)單元(GRU)，由Cho等人在2014年提出賽普·霍克賴特

要指出的一點(diǎn)是，我將使用"RNNS"來統(tǒng)稱本質(zhì)上是遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，"vanilla RNN"來指代在圖一所展示的最簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).

有很多關(guān)于遞歸神經(jīng)網(wǎng)絡(luò)的圖解.

我個(gè)人最喜歡的一個(gè)是Michael Nguyen發(fā)表在《走向數(shù)據(jù)科學(xué)》(Towards Data Science)的這篇文章，因?yàn)樗粌H給我們提供了對這些模型的直覺，更重要的是這些漂亮的插圖，使我們更容易理解。但我發(fā)表這篇文章的動(dòng)機(jī)是為了更好地理解這些單元中發(fā)生了什么，節(jié)點(diǎn)是如何共享的，以及它們是如何轉(zhuǎn)換為輸出節(jié)點(diǎn)。這里，我也受到了Michael的動(dòng)畫啟發(fā)。

本文研究了vanilla RNN、LSTM和GRU單元。這是一個(gè)簡短的概述，是為那些讀過關(guān)于這些主題的文章的人準(zhǔn)備的。(我建議在閱讀本文之前先閱讀Michael的文章)，需要注意的是，以下動(dòng)畫是按順序引導(dǎo)的，但在向量化的機(jī)器計(jì)算過程中并不反映時(shí)間上的順序。

下面是我用來做說明的圖例：

從動(dòng)圖中理解 RNN，LSTM 和 GRU

圖0：動(dòng)畫圖例

在我的動(dòng)畫中，我使用了大小為3(綠色)的輸入和2個(gè)隱藏單元(紅色)，批量大小為1。

讓我們開始吧！

Vanilla RNN

從動(dòng)圖中理解 RNN，LSTM 和 GRU

圖1：vanilla RNN 示意動(dòng)畫

t—時(shí)間步長
X—輸入
h—隱藏狀態(tài)
X的長度—輸入的大小
h的長度—隱藏單元。
請注意不同的庫以不同的方式調(diào)用它們，但它們的含義相同：
- Keras?—?state_size ,units
- PyTorch?—?hidden_size
- TensorFlow?—?num_units

LSTM（長短期記憶網(wǎng)絡(luò)）

從動(dòng)圖中理解 RNN，LSTM 和 GRU

圖2：LSTM 示意動(dòng)畫

C - 單元狀態(tài)

注意，單元狀態(tài)的維度與隱藏狀態(tài)的維度相同。

GRU

從動(dòng)圖中理解 RNN，LSTM 和 GRU

圖3：GRU 示意動(dòng)畫

希望這些動(dòng)畫能以某種方式幫助你！以下是靜態(tài)圖像中的概況：

從動(dòng)圖中理解 RNN，LSTM 和 GRU

圖4：Vanilla RNN 單元

從動(dòng)圖中理解 RNN，LSTM 和 GRU

圖5：LSTM 單元

從動(dòng)圖中理解 RNN，LSTM 和 GRU

圖6：GRU 單元

一個(gè)提醒：我使用Google繪圖來創(chuàng)建的這些示意圖。

參考資料

了解LSTM Networks - colah 的博客。
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
LSTM和GRU的插圖指南：逐步解釋
https://towardsdatascience.com/illustrated-guide-to-lstms-and-gru-s-a-step-by-step-explanation-44e9eb85bf21

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

點(diǎn)擊【從動(dòng)圖中理解 RNN，LSTM 和 GRU】即可訪問!

今日資源推薦：CCF-GAIR | 張大鵬教授演講 PPT：生物特征識(shí)別的新進(jìn)展 - 紀(jì)念中國人工智能40年

非常高興受邀參加本次會(huì)議，讓我有機(jī)會(huì)匯報(bào)我的最新工作。今天我的講題是“紀(jì)念中國人工智能40周年”，而我本人是中國學(xué)位法公布后首屆入學(xué)的研究生，也是哈工大畢業(yè)的首個(gè)計(jì)算機(jī)博士，從 1980 年入學(xué)開始算起，我基本見證了中國人工智能這 40 年的發(fā)展歷程。

這是我研究生期間所能找到最早的一篇論文，選題與指紋識(shí)別有關(guān)。 1984 年，陳光熙教授是我的博士生導(dǎo)師，圖片展示的是當(dāng)年哈工大進(jìn)行博士學(xué)位論文答辯的場景。

點(diǎn)擊鏈接獲取：https://ai.yanxishe.com/page/resourceDetail/905

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。