《深度學(xué)習(xí)--深度信念網(wǎng)絡(luò)(DeepBeliefNetwork)》由會(huì)員分享，可在線閱讀，更多相關(guān)《深度學(xué)習(xí)--深度信念網(wǎng)絡(luò)(DeepBeliefNetwork)（9頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。
1、
1
深度學(xué)習(xí)--深度信念網(wǎng)絡(luò)(Deep Belief Network)
概述
由 Geoffrey Hinton 在
深度信念網(wǎng)絡(luò) (Deep Belief Network, DBN) 2006 年提出。它是一種生成模型，通過訓(xùn)練其神經(jīng)元間的權(quán)重，我們可以讓
整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)據(jù)。我們不僅可以使用 DBN識別特
征、分類數(shù)據(jù)，還可以用它來生成數(shù)據(jù)。下面的圖片展示的是用 DBN 識別手
寫數(shù)字：
圖1用深度信念網(wǎng)絡(luò)識別手寫數(shù)字。圖中右下角是待識別數(shù)字的黑白位圖， 它 的上方有三層隱性神經(jīng)元。每一個(gè)黑色矩形代表一層神經(jīng)元，白點(diǎn)代表處
2、于開啟 狀態(tài)的神經(jīng)元，黑色代表處于關(guān)閉狀態(tài)的神經(jīng)元。注意頂層神經(jīng)元的左下方即使 別結(jié)果，與畫面左上角的對應(yīng)表比對，得知這個(gè) DBN 正確地識別了該數(shù)字。
F面是展示了一個(gè)學(xué)習(xí)了大量英文維基百科文章的 DBN所生成的自然語
言段落: In 1974 Norther n Denver had bee n overshadowed by CNL, and several Irish intelligenee agencies in the Mediterranean region. However, on the Victoria, Ki ngs Hebrew stated that Charl
3、es decided to escape duri ng an
allianee. The mansion house was completed in 1882, the second in its bridge are omitted, while closing is the proton reticulum composed below it aims, such that it is the blurring of appearing on any well-paid type of box prin ter.
DBN 由多層神經(jīng)元構(gòu)成，這些神經(jīng)元又分為 顯性神經(jīng)元 和隱性神經(jīng)元
4、(以 下簡稱顯元和隱元)。顯元用于接受輸入，隱元用于提取特征。因此隱元也有個(gè) 別名，叫特征檢測器(feature detectors) 。最頂上的兩層間的連接是無向的，
組成聯(lián)合內(nèi)存(associative memory) 。較低的其他層之間有連接上下的有向
連接。最底層代表了數(shù)據(jù)向量(data vectors)，每一個(gè)神經(jīng)元代表數(shù)據(jù)向量的 一維。
DBN 的組成元件是受限玻爾茲曼機(jī)(Restricted Boltzmann
Machines, RBM)。訓(xùn)練 DBN 的過程是一層一層地進(jìn)行的。在每一層中，用 數(shù)據(jù)向量來推斷隱層，再把這一隱層當(dāng)作下一層 (高一層)的數(shù)據(jù)向量。
受限玻
5、爾茲曼機(jī)
如前所述，RBM是DBN的組成元件。事實(shí)上，每一個(gè) RBM都可以單獨(dú)
用作聚類器
RBM 只有兩層神經(jīng)元，一層叫做 顯層(visible layer)，由顯元(visible
units)組成，用于輸入訓(xùn)練數(shù)據(jù)。另一層叫做 隱層(Hidden layer)，相應(yīng)地,
由隱元(hidden units) 組成，用作特征檢測器(feature detectors) 。
hhldeii units
visible units
圖2受限玻爾茲曼機(jī)的結(jié)構(gòu)。圖中的較上一層神經(jīng)元組成隱層， 較下的神經(jīng)元 組成顯元。每一層都可以用一個(gè)向量來表示， 每一維表示每個(gè)神經(jīng)元。注意這
6、兩
層間的對稱(雙向)連接
神經(jīng)元之間的條件獨(dú)立性
應(yīng)注意到，顯層和隱層內(nèi)部的神經(jīng)元都沒有互連， 只有層間的神經(jīng)元有對稱的連 接線。這樣的好處是，在給定所有顯元的值的情況下，每一個(gè)隱元取什么值是互 不相關(guān)的。也就是說，
P(h | v) = | v)
同樣，在給定隱層時(shí)，所有顯元的取值也互不相關(guān):
P(v |h)=匸［二 F(u| h) 有了這個(gè)重要性質(zhì)，我們在計(jì)算每個(gè)神經(jīng)元的取值情況時(shí)就不必每次計(jì)算一個(gè), 而是同時(shí)并行地計(jì)算整層神經(jīng)元。
使用RBM的過程
假設(shè)我們現(xiàn)在已經(jīng)得到一個(gè)訓(xùn)練好的
RBM，
每個(gè)隱元與顯元間的權(quán)重用矩陣
4
#
W表示，且
7、:
^i,i
Wl,2
其中Wij代表從第i個(gè)顯元到第j個(gè)隱元的權(quán)重，M代表顯元的個(gè)數(shù)，N代表
隱元的個(gè)數(shù)。那么，當(dāng)我們把一條新來的數(shù)據(jù) X '' ，J '附
給（clamp to） 顯層后，RBM 將會(huì)依照權(quán)值 W來決定開啟或關(guān)閉隱元。具體
的操作如下:
首先，將每個(gè)隱元的激勵(lì)值 （activatio n） 計(jì)算出來:
h = Wx
注意，這里用到了前面提到的神經(jīng)元之間的條件獨(dú)立性。
然后，將每個(gè)隱元的激勵(lì)值都用
S形函數(shù)進(jìn)行標(biāo)準(zhǔn)化，變成它們處于開啟
#
#
狀（用1表示）的概率值:
=1)
=H%) =
1 + e
#
8、
#
此處的S形函數(shù)我們采用的是 Logistic 函數(shù):
#
a -1+「
至此，每個(gè)隱元hj
開啟的概率被計(jì)算出來了。其處于關(guān)閉狀態(tài)(用0表示)的
概率自然也就是
P(hj =0) = 1 —P(曾=1)
那么到底這個(gè)元開啟還是關(guān)閉，我們需要將開啟的概率與一個(gè)從 0,1 均勻分 布中抽取的隨機(jī)值
u ~ t/(0; 1)
進(jìn)行如下比較
_ Pg = 1) >
)=|0, P(h. = l)
9、概率分布。也就是說, 要求一個(gè)分布，在這個(gè)分布里，訓(xùn)練樣本的概率最大。由于這個(gè)分布的決定性因 素在于權(quán)值W，所以我們訓(xùn)練 RBM 的目標(biāo)就是尋找最佳的權(quán)值。為了保持 讀者的興趣，這里我們不給出最大化對數(shù)似然函數(shù)的推導(dǎo)過程，直接說明如何訓(xùn)
練 RBM。
G. Hi nto n 提出了名為對比散度 (Co ntrastive Diverge nee) 的學(xué)習(xí)算法
F面我們來詳述它的具體過程
我們沿用前文的符號記法。
算法1.對比散度
對于訓(xùn)練集中的每一條記錄
算法h對比散度
對于訓(xùn)練集中的每…條記眾X有:
將葢附給顯層￥迪.計(jì)算它便隱◎?神經(jīng)元被開啟的概率 p溟:' =1 |嚴(yán)）
10、=鞏W嚴(yán)）
式巾啲上標(biāo)用于區(qū)別不同向止 下標(biāo)用干區(qū)別同…向曲t啲不同維。 然后*從計(jì)算山的概率分布「［抽取一個(gè)樣本
hW ~ P（的 | 評））
用h他重構(gòu)足層
P（咱二 1 I h⑼）=CT（W7 hi0））
同樣*抽取出顯層的-彳樣上
理"（嚴(yán)|們
再次用顯層神經(jīng)元{巫構(gòu)之S的）計(jì)鱒岀隱層神經(jīng)元被開啟的慨率 P（h；H = 1 | V⑴）=（7（W 2）
按下式刪HE：
W — W 十人（F（h朋=11 嚴(yán)）嚴(yán)丁 - Pfh（1） = 11 v{1））v（,,T
如此訓(xùn)練之后的RBM就能較為準(zhǔn)確地提取顯層的特征，或者根據(jù)隱層所代表 的特征還原顯層了。
深度信念網(wǎng)絡(luò)
11、前文我們已經(jīng)介紹了 RBM 的基本結(jié)構(gòu)和其訓(xùn)練、使用過程，接下來我們介紹
DBN 的相關(guān)內(nèi)容。
DBN 是由多層 RBM 組成的一個(gè)神經(jīng)網(wǎng)絡(luò)，它既可以被看作一個(gè)生成模型， 也可以當(dāng)作判別模型，其訓(xùn)練過程是：使用非監(jiān)督貪婪逐層方法去預(yù)訓(xùn)練獲得權(quán) 值。
訓(xùn)練過程：
1. 首先充分訓(xùn)練第一個(gè) RBM ;
2. 固定第一個(gè) RBM 的權(quán)重和偏移量，然后使用其隱性神經(jīng)元的狀態(tài)，作為 第二個(gè)RBM的輸入向量；
3. 充分訓(xùn)練第二個(gè) RBM后，將第二個(gè) RBM堆疊在第一個(gè)RBM的上 方；
4. 重復(fù)以上三個(gè)步驟任意多次；
5. 如果訓(xùn)練集中的數(shù)據(jù)有標(biāo)簽，那么在頂層的 RBM 訓(xùn)練時(shí)，這個(gè)RB
12、M 的 顯層中除了顯性神經(jīng)元，還需要有代表分類標(biāo)簽的神經(jīng)元，一起進(jìn)行訓(xùn)練：
a） 假設(shè)頂層RBM的顯層有500 個(gè)顯性神經(jīng)元，訓(xùn)練數(shù)據(jù)的分類一共分成
了 10 類；
b） 那么頂層 RBM 的顯層有510 個(gè)顯性神經(jīng)元，對每一訓(xùn)練訓(xùn)練數(shù)據(jù)，相 應(yīng)的標(biāo)簽神經(jīng)元被打開設(shè)為 1，而其他的則被關(guān)閉設(shè)為 0。
6. DBN 被訓(xùn)練好后如下圖：（示意）
圖3訓(xùn)練好的深度信念網(wǎng)絡(luò)。圖中的綠色部分就是在最頂層 RBM 中參與訓(xùn)
練的標(biāo)簽。注意調(diào)優(yōu) （FINE-TUNING） 過程是一個(gè)判別模型
另:
P（hjv）
hOO oo oo voo6 006 ***000
Data Rec
13、onstructed P（vjh）
調(diào)優(yōu)過程（Fine-Tuning） :
生成模型使用 Con trastive Wake-Sleep 算法進(jìn)行調(diào)優(yōu)，其算法過程是：
1. 除了頂層 RBM，其他層 RBM 的權(quán)重被分成向上的認(rèn)知權(quán)重和向下的生 成權(quán)重；
2. Wake 階段：認(rèn)知過程，通過外界的特征和向上的權(quán)重 （認(rèn)知權(quán)重）產(chǎn)生每 一層的抽象表示（結(jié)點(diǎn)狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重 （生成權(quán) 重）。也就是如果現(xiàn)實(shí)跟我想象的不一樣，改變我的權(quán)重使得我想
象的東西就是這樣的”。
3. Sleep 階段：生成過程，通過頂層表示 （醒時(shí)學(xué)得的概念）和向下權(quán)重，生 成底層的狀態(tài)，同時(shí)修改層間向上的權(quán)重。也就是 如果夢中的景象不是我腦中 的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個(gè)概
念”
念、 0
使用過程：
1. 使用隨機(jī)隱性神經(jīng)元狀態(tài)值，在頂層 RBM 中進(jìn)行足夠多次的吉布斯抽 樣；
2. 向下傳播，得到每層的狀態(tài)。
9
深度學(xué)習(xí)--深度信念網(wǎng)絡(luò)(DeepBeliefNetwork)
