《《深度學(xué)習(xí)》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《深度學(xué)習(xí)》PPT課件.ppt（36頁珍藏版）》請在裝配圖網(wǎng)上搜索。

DeepLearning 目錄 深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練方法深度學(xué)習(xí)常用的幾種模型和方法ConvolutionalNeuralNetworks卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò) CNN 在腦機(jī)接口中的應(yīng)用 WhatisDeepLearning Abriefintroduceofdeeplearning 機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí) MachineLearning 是一門專門研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為 以獲取新的知識或技能 重新組織已有的知識結(jié)構(gòu)市值不斷改善自身的性能的學(xué)科 簡單地說 機(jī)器學(xué)習(xí)就是通過算法 使得機(jī)器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律 從而對新的樣本做智能識別或預(yù)測未來 機(jī)器學(xué)習(xí)在圖像識別 語音識別 自然語言理解 天氣預(yù)測 基因表達(dá) 內(nèi)容推薦等很多方面的發(fā)展還存在著沒有良好解決的問題 特征的自學(xué)習(xí) 傳統(tǒng)的模式識別方法 通過傳感器獲取數(shù)據(jù) 然后經(jīng)過預(yù)處理 特征提取 特征選擇 再到推理 預(yù)測或識別 特征提取與選擇的好壞對最終算法的確定性齊了非常關(guān)鍵的作用 而特征的樣式目前一般都是靠人工提取特征 而手工選取特征費(fèi)時費(fèi)力 需要專業(yè)知識 很大程度上靠經(jīng)驗和運(yùn)氣 那么機(jī)器能不能自動的學(xué)習(xí)特征呢 深度學(xué)習(xí)的出現(xiàn)就這個問題提出了一種解決方案 深度學(xué)習(xí) 自2006年 深度學(xué)習(xí) DeepLearning 已經(jīng)成為機(jī)器學(xué)習(xí)研究中的一個新興領(lǐng)域 通常也被叫做深層結(jié)構(gòu)學(xué)習(xí)或分層學(xué)習(xí) 其動機(jī)在于建立 模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò) 它模擬人腦的機(jī)制來解釋數(shù)據(jù) 例如圖像 聲音和文本 深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種 深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究 含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu) 深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征 已發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示 人腦的視覺機(jī)理 1981年的諾貝爾醫(yī)學(xué)獎獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機(jī)制 他們發(fā)現(xiàn)了一種被稱為 方向選擇性細(xì)胞的神經(jīng)元細(xì)胞 當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣 而且這個邊緣指向某個方向時 這種神經(jīng)元細(xì)胞就會活躍 由此可知人的視覺系統(tǒng)的信息處理是分級的 高層的特征是低層特征的組合 從低層到高層的特征表示越來越抽象 越來越能表現(xiàn)語義或者意圖 抽象層面越高 存在的可能猜測就越少 就越利于分類 淺層學(xué)習(xí)與深度學(xué)習(xí) 傳統(tǒng)機(jī)器學(xué)習(xí)和信號處理技術(shù)探索僅含單層非線性變換的淺層學(xué)習(xí)結(jié)構(gòu) 淺層模型的一個共性是僅含單個將原始輸入信號轉(zhuǎn)換到特定問題空間特征的簡單結(jié)構(gòu) 典型的淺層學(xué)習(xí)結(jié)構(gòu)包括傳統(tǒng)隱馬爾科夫模型 HMM 條件隨機(jī)場 CRFs 最大熵模型 MaxEnt 支持向量機(jī) SVM 核回歸及僅含單隱層的多層感知器 MLP 等 淺層結(jié)構(gòu)的局限性在于有限的樣本和計算單元情況下對復(fù)雜的函數(shù)表示能力有限 針對復(fù)雜分類問題其泛化能力受到一定的制約 受到大腦結(jié)構(gòu)分層的啟發(fā) 神經(jīng)網(wǎng)絡(luò)的研究發(fā)現(xiàn)多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力 學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫 從而有利于可視化或分類 而深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度 可以通過 逐層初始化 來有效克服 深度學(xué)習(xí)可以通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu) 實(shí)現(xiàn)復(fù)雜函數(shù)逼近 表征輸入數(shù)據(jù)分布式表示 并展現(xiàn)了強(qiáng)大的從少數(shù)樣本中集中學(xué)習(xí)數(shù)據(jù)及本質(zhì)特征的能力 深度學(xué)習(xí)的實(shí)質(zhì)通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù) 來學(xué)習(xí)更有用的特征 從而最終提升分類或預(yù)測的準(zhǔn)確性 因此 深度模型 是手段 特征學(xué)習(xí) 是目的 深度學(xué)習(xí)與淺層學(xué)習(xí)的區(qū)別強(qiáng)調(diào)了模型結(jié)構(gòu)的深度 通常有5 10多層的隱層節(jié)點(diǎn) 明確突出了特征學(xué)習(xí)的重要性 通過逐層特征變換 將樣本在原空間的特征表示變換到一個新特征空間 從而使分類或預(yù)測更加容易 與人工規(guī)則構(gòu)造特征的方法相比 利用大數(shù)據(jù)來學(xué)習(xí)特征 更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息 深度學(xué)習(xí)的訓(xùn)練方法 與神經(jīng)網(wǎng)絡(luò)的異同 深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同 神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí) 深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同 相同點(diǎn)二者均采用分層結(jié)構(gòu) 系統(tǒng)包括輸入層 隱層 多層 輸出層組成的多層網(wǎng)絡(luò) 只有相鄰層節(jié)點(diǎn)之間有連接 同一層以及跨層節(jié)點(diǎn)之間相互無連接 每一層可以看作是一個logistic回歸模型 不同點(diǎn) 采用不同的訓(xùn)練機(jī)制神經(jīng)網(wǎng)絡(luò) 采用BP算法調(diào)整參數(shù) 即采用迭代算法來訓(xùn)練整個網(wǎng)絡(luò) 隨機(jī)設(shè)定初值 計算當(dāng)前網(wǎng)絡(luò)的輸出 然后根據(jù)當(dāng)前輸出和樣本真實(shí)標(biāo)簽之間的差去改變前面各層的參數(shù) 直到收斂 深度學(xué)習(xí) BP算法不適合深度神經(jīng)網(wǎng)絡(luò) 如果對所有層同時訓(xùn)練 時間復(fù)雜度會太高 如果每次訓(xùn)練一層 偏差逐層傳遞會出現(xiàn)過擬合 因此深度學(xué)習(xí)整體上是是一個分層訓(xùn)練機(jī)制 深度學(xué)習(xí)的訓(xùn)練過程 自下而上的非監(jiān)督學(xué)習(xí) 從底層開始 一層一層的往頂層訓(xùn)練 分別得到各層參數(shù) 采用無標(biāo)簽數(shù)據(jù)分層訓(xùn)練各層參數(shù) 可以看作是特征學(xué)習(xí)的過程 自上而下的監(jiān)督學(xué)習(xí)基于第一步的得到的各層參數(shù)進(jìn)一步調(diào)整整個多層模型的參數(shù) 這一步是一個有監(jiān)督的訓(xùn)練過程 深度學(xué)習(xí)的幾種常用模型 AutoEncoder 自動編碼器 SparseCoding 稀疏編碼 RestrictedBoltzmannMachine 限制玻爾茲曼機(jī) DeepBeliefNetworks 深度信任網(wǎng)絡(luò) ConvolutionalNeuralNetworks 卷積神經(jīng)網(wǎng)絡(luò) ConvolutionalNeuralNetworks CNN ConvolutionalNeuralNetworks CNN 卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種 已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點(diǎn) 它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò) 降低了網(wǎng)絡(luò)模型的復(fù)雜度 減少了權(quán)值的數(shù)量 該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時表現(xiàn)的更為明顯 使圖像可以直接作為網(wǎng)絡(luò)的輸入 避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程 卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器 這種網(wǎng)絡(luò)結(jié)構(gòu)對平移 比例縮放 傾斜或者共他形式的變形具有高度不變性 卷積神經(jīng)網(wǎng)絡(luò)原理圖 如圖所示 輸入圖像 Input 通過和三個可訓(xùn)練的卷積核和可加偏置進(jìn)行卷積 卷積后在C1層產(chǎn)生三個特征映射圖 Featuremap 然后 C1層的Featuremap在經(jīng)過子采樣 Subsampling 后 加權(quán)值 加偏置 再通過一個Sigmoid函數(shù)得到三個S2層的特征映射圖 CNN的Convolution過程 如圖 原圖像是5 5大小 有25個神經(jīng)元 用一個3 3的卷積核對它進(jìn)行卷積 得到了如右圖所示的卷積后的Featuremap 該特征圖大小為3 3 假設(shè)一種卷積核只提取出圖像的一種特征 所以一般要多個卷積核來提取不同的特征 所以每一層一般都會有多張F(tuán)eaturemap 同一張F(tuán)eaturemap上的神經(jīng)元共用一個卷積核 這大大減少了網(wǎng)絡(luò)參數(shù)的個數(shù) CNN的Pooling過程 如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域 并且只是池化相同 重復(fù) 的隱藏單元產(chǎn)生的特征 那么 這些池化單元就具有平移不變性 translationinvariant 這就意味著即使圖像經(jīng)歷了一個小的平移之后 依然會產(chǎn)生相同的 池化的 特征 圖像具有一種 靜態(tài)性 stationarity 的屬性 可以對圖像某一個區(qū)域上的特征取平均值 或最大值 這種聚合的操作就叫做池化 pooling CNN的優(yōu)點(diǎn) 參數(shù)減少與權(quán)值共享如下圖所示 如果我們有1000 x1000像素的圖像 有1百萬個隱層神經(jīng)元 那么他們?nèi)B接的話 每個隱層神經(jīng)元都連接圖像的每一個像素點(diǎn) 就有個連接 也就是10 12個權(quán)值參數(shù) 局部連接網(wǎng)絡(luò) 每一個節(jié)點(diǎn)與上層節(jié)點(diǎn)同位置附近10 x10的窗口相連接 則1百萬個隱層神經(jīng)元就只有 即10 8個參數(shù) 其權(quán)值連接個數(shù)比原來減少了四個數(shù)量級 卷積神經(jīng)網(wǎng)絡(luò)避免了顯式的特征取樣 隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí) 這使得卷積神經(jīng)網(wǎng)絡(luò)明顯有別于其他基于神經(jīng)網(wǎng)絡(luò)的分類器 通過結(jié)構(gòu)重組和減少權(quán)值將特征提取功能融合進(jìn)多層感知器 它可以直接處理灰度圖片 能夠直接用于處理基于圖像的分類 卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn) a 輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合 b 特征提取和模式分類同時進(jìn)行 并同時在訓(xùn)練中產(chǎn)生 c 權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù) 使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單 適應(yīng)性更強(qiáng) 經(jīng)典例子 文字識別系統(tǒng)LeNet 5 1 輸入圖像是32x32的大小 卷積核的大小是5x5的 則C1層的大小是28x28 這里設(shè)定有6個不同的C1層 每一個C1層內(nèi)的權(quán)值是相同的 2 S2層是一個下采樣層 由4個點(diǎn)下采樣為1個點(diǎn) 也就是4個數(shù)的加權(quán)平均 加權(quán)系數(shù)也需要通過學(xué)習(xí)得到 這個過程也叫做Pool 3 我們很容易得到C3層的大小為10 x10 不過 C3層有16個10 x10網(wǎng)絡(luò) 我們只需要按照一定的規(guī)則來組合S2的特征圖 具體的組合規(guī)則在LeNet 5系統(tǒng)中給出了下面的表格 4 S4層是在C3層基礎(chǔ)上進(jìn)行下采樣 前面已述 在后面的層中每一層節(jié)點(diǎn)個數(shù)比較少 都是全連接層 這里不再贅述 小結(jié) 經(jīng)過計算 LeNet 5系統(tǒng)總共需要大約13萬個參數(shù) 這與前面提到的全連接系統(tǒng)每個隱藏層就需要百萬個參數(shù)有著天壤之別 極大地減少了計算量 在以上的識別系統(tǒng)中 每個特征圖提取后都緊跟著一個用來求局部平均與二次提取的亞取樣層 這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對輸入樣本有較高的畸變?nèi)萑棠芰?也就是說 卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野 共享權(quán)值和亞取樣來保證圖像對位移 縮放 扭曲的魯棒性 ConvolutionalNeuralNetworksforP300DetectionwithApplicationtoBrain ComputerInterfaces P300檢測 P300檢測 檢測P300的響應(yīng) 二分類 信號呈一個P300波形 則認(rèn)為檢測到 否則 檢測不到 挑戰(zhàn)性 盡管我們可以從實(shí)驗中的范例得知P300的預(yù)期響應(yīng)在什么時候 但是P300的響應(yīng)取決于被試者 實(shí)際上 即使一個P300響應(yīng)可以被預(yù)測為在一個特定的時間點(diǎn) 但是被試者很可能不會在像人工產(chǎn)品一樣在正確的時刻產(chǎn)生P300響應(yīng) 輸入正則化 原始信號 由電極采集的EEG信號輸入數(shù)據(jù)正則化 1 從EEG信號樣本中提取子樣本 從而降低數(shù)據(jù)的大小以便分析 等同于把信號用120HZ的抽樣率采樣 2 用0 1到20HZ的帶通濾波器處理輸入數(shù)據(jù)CNN的輸入 一個矩陣 其中是我們采集EEG信號時所有的電極的數(shù)量 是每個電極采集到的EEG信號正則化以后長度 我們令 每個樣本代表一部分經(jīng)過650ms頻閃燈后采集的信號 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是分類器的關(guān)鍵特征 網(wǎng)絡(luò)由五層組成 每一層由一個或多個特征圖組成 一個特征圖代表一層的本質(zhì) 含有一個特殊的語義 1 第一層隱層的每個特征圖代表一個電極通道的特征 2 第二層隱層時間域上對信號進(jìn)行下采樣和變換 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) CNN的學(xué)習(xí)規(guī)律 2020 1 12 在卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程當(dāng)中 主要運(yùn)用前向傳播和反向傳播兩種學(xué)習(xí)法則來優(yōu)化權(quán)值 學(xué)習(xí)到一個最優(yōu)的濾波器來提取特征 1 前向傳播如果用l來表示當(dāng)前的網(wǎng)絡(luò)層 那么當(dāng)前網(wǎng)絡(luò)層的輸出為 其中 為網(wǎng)絡(luò)的輸出激活函數(shù) 輸出激活函數(shù)一般選用sigmoid函數(shù)或者選用雙曲線正切函數(shù) 2 反向傳播算法我們假設(shè)訓(xùn)練集有N個訓(xùn)練樣本 一共分成2類 對于每一個訓(xùn)練樣本 我們會給予一個標(biāo)簽 通過調(diào)整網(wǎng)絡(luò)輸出與給定標(biāo)簽之間的誤差來訓(xùn)練與改變權(quán)值 在代價函數(shù)方面 我們選擇采用平方誤差代價函數(shù) 因此N個訓(xùn)練樣本的代價函數(shù)如下 2020 1 12 對于N個訓(xùn)練樣本中的第n個訓(xùn)練樣本 它的代價函數(shù)表示為 接下來需要根據(jù)每個樣本的輸出誤差來反向調(diào)節(jié)每一層當(dāng)中的權(quán)值系數(shù) 即計算代價函數(shù)對應(yīng)于卷積神經(jīng)網(wǎng)絡(luò)中的每個權(quán)值的偏導(dǎo)數(shù) 可以看到誤差對于bias基b的靈敏度和誤差對于一個節(jié)點(diǎn)的輸入u的導(dǎo)數(shù)是相等的 對于非輸出層 第l層靈敏度可以表示為 而對于輸出層L的靈敏度為 2020 1 12 對于第l層 誤差對于每個權(quán)值的偏導(dǎo)數(shù)如下 當(dāng)前層神經(jīng)元的權(quán)值更新值如下 3 卷積層當(dāng)接在卷積層的下一層為池化層時 由于池化層是有下采樣的 池化層和卷積層的神經(jīng)元無法一一對應(yīng) 因此我們對池化層當(dāng)中每一個神經(jīng)元的靈敏度組成的一個靈敏度圖進(jìn)行上采樣 這樣一來 得到的靈敏度圖的大小便和卷積層的特征圖的大小相同了 公式如下 2020 1 12 4 池化層對于池化層來說 輸入和輸出的特征圖數(shù)量是相等的 而不同的是每個特征圖的大小 池化層對每個特征圖進(jìn)行下采樣 所以輸出的特征圖比起輸入的特征圖要變小了 按照卷積神經(jīng)網(wǎng)絡(luò)的反向傳播算法的思路 我們應(yīng)該先計算到池化層每個神經(jīng)元的靈敏度 然后再通過這個靈敏度更新偏置b和偏置參數(shù) 其中偏置basi基b因為只是一個加性基 所以跟上述卷積層當(dāng)中的計算一樣 把靈敏度圖當(dāng)中的所有元素相加便可以得到 偏置是一個乘性基 所以會與前向傳播當(dāng)中的池化過程的特征圖的計算相關(guān) 為了簡便計算 我們會在前向傳播時保存好相對應(yīng)的特征圖 那么在反向傳播過程中就不需要再另外計算了 因此 我們定義 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) ThankYou