CNN解讀：
狗還是小馬？

下面是一個(gè)圖像識(shí)別角色的例子。人類在看到大丹犬時(shí)，知道盡管它體型很大，但它仍然是一條狗。計(jì)算機(jī)則只看數(shù)據(jù)。那么計(jì)算機(jī)如何知道這是一條大丹犬而不是小馬？由于像素的數(shù)值表示可以通過CNN的多個(gè)層進(jìn)行處理。許多大丹犬的特征可以通過這種方式識(shí)別出來，最終得出這是一條狗的答案。

現(xiàn)在讓我們來深入探查CNN，從更多的技術(shù)層面了解它的本質(zhì)。

CNN由輸入層（例如由像素?cái)?shù)表示的圖像）、一個(gè)或多個(gè)隱含層以及輸出層構(gòu)成。

這些數(shù)學(xué)運(yùn)算層會(huì)幫助計(jì)算機(jī)一次一點(diǎn)點(diǎn)地定義圖像細(xì)節(jié)，并最終（可能性很大）識(shí)別特定對(duì)象、動(dòng)物或其他任何目標(biāo)。不過，失誤經(jīng)常在所難免，尤其是在訓(xùn)練初期。

卷積層：

在數(shù)學(xué)中，卷積是一種分組函數(shù)。就CNN而言，卷積發(fā)生在兩個(gè)矩陣（以列和行排列的矩形數(shù)組）之間，它可以形成第三個(gè)矩陣作為輸出。

CNN在卷積層中使用這些卷積來篩選輸入數(shù)據(jù)并查找信息。



在CNN中，卷積層將完成大部分計(jì)算繁重的工作。它起著數(shù)學(xué)過濾器的作用，幫助計(jì)算機(jī)查找圖像邊緣、明暗區(qū)、顏色及其他細(xì)節(jié)（例如高度、寬度和深度）。

通常，一張圖像上會(huì)應(yīng)用多種卷積層過濾器。

池化層：池化層通常夾在卷積層之間。它們將用于縮減卷積層所創(chuàng)建的表示的大小，同時(shí)減少內(nèi)存需求，從而實(shí)現(xiàn)更多的卷積層。

歸一化層：歸一化是一項(xiàng)用于改進(jìn)神經(jīng)網(wǎng)絡(luò)性能和穩(wěn)定性的技術(shù)。它通過將所有輸入都轉(zhuǎn)換為均值為0且方差為1，從而使每個(gè)層的輸入更便于管理?？梢詫⑵湟暈閿?shù)據(jù)的規(guī)范化調(diào)整。

全連接層：全連接層用于將一層中的各個(gè)神經(jīng)元連接到另一層中的所有神經(jīng)元。

有關(guān)更深入的技術(shù)說明，可參閱NVIDIA開發(fā)者網(wǎng)站上的 CNN 頁面。

CNN非常適合計(jì)算機(jī)視覺應(yīng)用，但在提供足夠數(shù)據(jù)的情況下，還可將其用于視頻、語音、音樂和文本等多個(gè)領(lǐng)域。



CNN可以在這些隱含層中使用一系列過濾器（或神經(jīng)元），從而優(yōu)化圖像識(shí)別效率。CNN 被稱為“前饋”神經(jīng)網(wǎng)絡(luò)，因?yàn)樾畔⑹菑囊粚羽佀椭料乱粚印?br />
另一方面，RNN與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)和CNN共用大部分相同的架構(gòu)，不同之處在于RNN具有可用作反饋環(huán)路的存儲(chǔ)器。就像人類大腦一樣（尤其是在談話時(shí)），側(cè)重點(diǎn)被放在了信息的新近度上，以求對(duì)后面的話做出預(yù)測(cè)。

因此，RNN適合預(yù)測(cè)一系列單詞的后續(xù)內(nèi)容。此外，RNN還可饋入不同長(zhǎng)度的數(shù)據(jù)序列，而CNN則采用固定的輸入數(shù)據(jù)。

RNN簡(jiǎn)史

RNN也誕生于20世紀(jì)80年代。1982年，John Hopfield發(fā)明了Hopfield網(wǎng)絡(luò)，即RNN的雛形。

而RNN所使用的所謂長(zhǎng)短期記憶 (LSTM) 網(wǎng)絡(luò)則是由Sepp Hochreiter和Jürgen Schmidhuber于1997年發(fā)明的。2007年前后，LSTM在語音識(shí)別方面取得了飛躍式發(fā)展。

2009年，RNN在手寫模式識(shí)別大賽中獲勝。2014年，百度搜索引擎突破了Switchboard Hub5’00語音識(shí)別標(biāo)準(zhǔn)，堪稱新的里程碑。

RNN解讀
午餐吃什么？

RNN是一個(gè)帶有活動(dòng)數(shù)據(jù)存儲(chǔ)器的神經(jīng)網(wǎng)絡(luò)。它可以應(yīng)用于一系列數(shù)據(jù)，幫助猜測(cè)接下來會(huì)發(fā)生什么。

借助RNN，有些層的輸出會(huì)被反饋給前一層的輸入，從而構(gòu)成反饋環(huán)路。

以下是一個(gè)簡(jiǎn)單RNN的典型例子。自助餐廳對(duì)每周同一天供應(yīng)的菜品有嚴(yán)格的時(shí)間表，RNN的目的是追蹤供應(yīng)主菜的日期。不妨設(shè)想如下：周一為漢堡，周二為炸玉米餅，周三為披薩，周四為壽司，周五則為意大利面。

對(duì)于RNN而言，如果將“壽司”（輸出）反饋至網(wǎng)絡(luò)以確定周五的菜品，那么RNN就會(huì)知道序列中的下一個(gè)主菜是意大利面（因?yàn)樗罆?huì)有一個(gè)順序，而周四的菜品剛剛完成，因此接下來就應(yīng)該是周五的菜品）。

另一個(gè)示例是句子：我剛跑了10公里，需要來一杯____。人類可以根據(jù)過去的經(jīng)驗(yàn)來猜想如何填空。得益于RNN的記憶功能，它可以預(yù)測(cè)接下來會(huì)發(fā)生什么，因?yàn)樗鼘?duì)類似這樣以“水”結(jié)束的句子已有足夠的訓(xùn)練記憶，完全可以做出解答。

RNN的應(yīng)用不僅限于自然語言處理和語音識(shí)別。它們還可用于語言翻譯、股票預(yù)測(cè)和算法交易。

現(xiàn)在人們?cè)谟玫纳窠?jīng)圖靈機(jī) (NTM) 也是可以訪問外部存儲(chǔ)器的RNN。

最后一點(diǎn)，所謂的雙向RNN其實(shí)是獲取一個(gè)輸入向量并在兩個(gè)RNN上進(jìn)行訓(xùn)練。其中一個(gè)在常規(guī)RNN輸入序列上接受訓(xùn)練，而另一個(gè)則逆序接受訓(xùn)練。接下來，兩個(gè)RNN的輸出會(huì)進(jìn)行連結(jié)或組合。

如今，CNN和RNN已經(jīng)讓應(yīng)用程序、網(wǎng)絡(luò)和機(jī)器遠(yuǎn)遠(yuǎn)超越了視覺和語音能力。沒有這兩個(gè)AI主力軍，我們的機(jī)器就會(huì)無聊之至。