《《深度學(xué)習(xí)》入門教程課件》由會員分享，可在線閱讀，更多相關(guān)《《深度學(xué)習(xí)》入門教程課件（52頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實(shí)現(xiàn)of6516.5手寫體數(shù)字識別項(xiàng)目實(shí)例6.6深度學(xué)習(xí)應(yīng)用習(xí)題第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)66.1概述第六章深度學(xué)習(xí)of652深度學(xué)習(xí)（DeepLearning）的概念是由Hinton、YoshuaBengio和YannLecun等人提出的，涉及神經(jīng)網(wǎng)絡(luò)、圖建模、人工智能、模式識別、最優(yōu)化理論和信號處理等領(lǐng)域。由于深度學(xué)習(xí)在各類競賽中，相對于傳統(tǒng)方法有著顯著的性能提升，越來越多的學(xué)術(shù)機(jī)構(gòu)和企業(yè)把目光轉(zhuǎn)向了深度學(xué)習(xí)領(lǐng)域。例如：u2010年美國國防部DARPA首次資助深度學(xué)習(xí)項(xiàng)目；u2012

2、年11月，微軟在天津展示了全自動同聲傳譯系統(tǒng)，用英文演講，采用深度學(xué)習(xí)作為支撐，后臺計(jì)算機(jī)自動完成了語音識別、中英機(jī)器翻譯和中文語音合成；u2013年1月，百度創(chuàng)始人宣布成立百度研究院，其中第一個成立的就是“深度學(xué)習(xí)研究所”；u2013年4月，麻省理工學(xué)院技術(shù)評論雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)之首。6.1概述第六章深度學(xué)習(xí)of652深度學(xué)習(xí)（DeepLe6.1概述第六章深度學(xué)習(xí)6.1.1人工智能簡史of653發(fā)展歷程三個階段20世紀(jì)40年代中期到50年代末期被稱為人工智能的啟蒙探索階段。20世紀(jì)60年代初期到80年代末期被稱為人工智能的發(fā)展階段。20世紀(jì)90年代初期到現(xiàn)在被稱為人工

3、智能的繁榮階段。6.1概述第六章深度學(xué)習(xí)6.1.1人工智能簡史of653發(fā)6.1概述第六章深度學(xué)習(xí)of654（1）20世紀(jì)40年代中期到50年代末期1950年，英國數(shù)學(xué)家圖靈在論文計(jì)算的機(jī)器與智能為計(jì)算機(jī)的出現(xiàn)奠定了理論基礎(chǔ)。同時期，W.McCullocli和W.Pitts發(fā)表了神經(jīng)活動內(nèi)在概念的邏輯演算，證明了可以嚴(yán)格定義的神經(jīng)網(wǎng)絡(luò)。1956年，美國達(dá)特茅斯大學(xué)的一次暑期專題研討會上第一次提出了人工智能，開創(chuàng)了人工智能的這一研究領(lǐng)域。1957年，A.Newell和H.Simon等人編寫了邏輯理論機(jī)的數(shù)學(xué)定理證明的程序，該程序證明了數(shù)學(xué)原理書中的38個定理。1956年Samuel編寫的西洋跳棋

4、程序，到1959年這個程序戰(zhàn)勝了他本人，1962年還擊敗了美國Connecticut州的跳棋冠軍。人工智能的啟蒙探索階段6.1概述第六章深度學(xué)習(xí)of654（1）20世紀(jì)40年代中6.1概述第六章深度學(xué)習(xí)of655（2）20世紀(jì)60年代初期到80年代末期1968年，第一個用于質(zhì)譜儀分析有機(jī)化合物的分子結(jié)構(gòu)的專家系統(tǒng)DENDRAL研制成功。20世紀(jì)70年代初，Winograd提出了積木世界中理解自然語言的程序等。1974年，N.J.Nillson對之前的一些工作進(jìn)行了綜述，并寫了一篇論文，把對人工智能的研究歸納為4個核心課題。1980年早期，人工智能的研究者研究出了專家系統(tǒng)，并產(chǎn)生了巨大的經(jīng)濟(jì)效益

5、。1982年日本開始了使得邏輯推理與數(shù)值運(yùn)算一樣快的第五代計(jì)算機(jī)的研制計(jì)劃。1986年，Rumelhart提出了反向傳播算法，用以解決人工神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)問題，進(jìn)而人們進(jìn)一步轉(zhuǎn)向?qū)θ斯ど窠?jīng)元的研究。1987年，第一次神經(jīng)網(wǎng)絡(luò)國際會議在美國召開，宣告了這一新學(xué)科的誕生。人工智能的發(fā)展階段6.1概述第六章深度學(xué)習(xí)of655（2）20世紀(jì)60年代初6.1概述第六章深度學(xué)習(xí)of656（3）20世紀(jì)90年代初期至今1997年IBM公司研制了“深藍(lán)計(jì)算機(jī)”，首次在正式比賽中以3.52.5的比分戰(zhàn)勝了人類國際象棋世界冠軍。2016年3月15日，谷歌人工智能AlphaGo與圍棋世界冠軍李世石的人機(jī)大戰(zhàn)，最終李

6、世石與AlphaGo以14認(rèn)輸結(jié)束。人工智能的繁榮階段6.1概述第六章深度學(xué)習(xí)of656（3）20世紀(jì)90年代初6.1概述第六章深度學(xué)習(xí)6.1.2大數(shù)據(jù)與深度學(xué)習(xí)of6572006年Hinton等人提出深度學(xué)習(xí)的概念，該方法基于深度置信網(wǎng)絡(luò)提出非監(jiān)督逐層訓(xùn)練的算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來了希望，掀起了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。隨著CPU和GPU計(jì)算能力的大幅提升，深度學(xué)習(xí)擁有了的更高效的硬件平臺作為支撐。大數(shù)據(jù)時代的海量數(shù)據(jù)解決了早期神經(jīng)網(wǎng)絡(luò)由于訓(xùn)練樣本不足出現(xiàn)的過擬合、泛化能力差等問題。因此，大數(shù)據(jù)需要深度學(xué)習(xí)，深度學(xué)習(xí)的發(fā)展又需要大數(shù)據(jù)的支撐。在未來幾年，深度學(xué)習(xí)將會被廣泛

7、應(yīng)用于大數(shù)據(jù)的預(yù)測，而不是停留在淺層模型上，這將推動“大數(shù)據(jù)+深度模型”時代的來臨，以及人工智能和人機(jī)交互的前進(jìn)步伐。6.1概述第六章深度學(xué)習(xí)6.1.2大數(shù)據(jù)與深度學(xué)習(xí)of656.1概述第六章深度學(xué)習(xí)6.1.3人工智能的未來of348人工智能一直處于計(jì)算機(jī)技術(shù)的前沿，計(jì)算機(jī)技術(shù)的發(fā)展方向?qū)⒑艽蟪潭壬弦蕾嚾斯ぶ悄芾碚摲矫娴难芯亢桶l(fā)現(xiàn)。人工智能對現(xiàn)代社會已經(jīng)產(chǎn)生了巨大的影響，在工業(yè)領(lǐng)域尤其是制造業(yè)，已經(jīng)成功地使用了人工智能技術(shù)，例如，智能設(shè)計(jì)、在線分析、仿真、虛擬制造、智能調(diào)度和規(guī)劃等。在金融業(yè)，股票商利用人工智能系統(tǒng)進(jìn)行分析、判斷和決策，信用卡欺詐檢測系統(tǒng)也得到了普遍應(yīng)用；在傳媒領(lǐng)域，新華網(wǎng)推出

8、了自主研發(fā)的第一代生物傳感智能機(jī)器人“Star”。人工智能還對人們的日常生活產(chǎn)生了影響，Siri、實(shí)時在線地圖、語音搜索等一系列智能產(chǎn)品已經(jīng)給我們的生活帶來了極大的方便。6.1概述第六章深度學(xué)習(xí)6.1.3人工智能的未來of3486.1概述第六章深度學(xué)習(xí)of659人工智能的未來人工智能結(jié)合數(shù)據(jù)協(xié)助醫(yī)生診斷病癥人工智能操作家用電器，人工智能汽車還可以經(jīng)預(yù)測降低交通事故的發(fā)生率在極端的施工場地承擔(dān)危險(xiǎn)的工作，幫助人類降低傷亡的風(fēng)險(xiǎn)幫助人類從事詩歌寫作、繪畫藝術(shù)等復(fù)雜的精神活動未來應(yīng)該是一個人工智能的世界。一朵花可能擁有智能，根據(jù)主人的心情來開放；每個人都有一個智能伴侶，讓我們更加理性地購物；甚至還能

9、幫助信徒?jīng)Q定他們的人生信仰等。未來的人工智能將很多領(lǐng)域代替人類，并能服務(wù)我們?nèi)祟愖陨恚幚砦覀內(nèi)粘５纳睢?.1概述第六章深度學(xué)習(xí)of659人工智能的未來人工智能結(jié)第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實(shí)現(xiàn)全國高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用of65106.6深度學(xué)習(xí)應(yīng)用習(xí)題6.5手寫體數(shù)字識別項(xiàng)目實(shí)例第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)66.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.1探秘大腦的工作原理of6511大腦是人類活動的“信息處理中心”，支配著人類大多數(shù)的生命活動。大腦中存在著無數(shù)神經(jīng)元，是大腦處

10、理信息的基本單元。神經(jīng)元之間相互連接，構(gòu)成神經(jīng)網(wǎng)絡(luò)，不同區(qū)域的神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)不同的功能，各區(qū)域相互協(xié)作，完成大腦的所有處理活動。當(dāng)外界信息通過感官系統(tǒng)，傳到大腦時，大腦對其做一個簡單的模式分析和識別，再將其交給對應(yīng)的處理區(qū)域。在學(xué)習(xí)過程中，大腦接收的信息越多，各個區(qū)域存儲的模式以及模式之間的聯(lián)系也就越多。如此積累下去，大腦逐漸理解模式分類的規(guī)則以及模式之間的聯(lián)系，最終形成我們對世界各種事物的認(rèn)知。6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.1探秘大6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.2人腦神經(jīng)元結(jié)構(gòu)of6512神經(jīng)元結(jié)構(gòu)示意圖樹突是神經(jīng)元兩端呈樹枝狀的突起，是接收其他神經(jīng)元信

11、息的入口。軸突是神經(jīng)元中一個細(xì)長的突起，每個神經(jīng)元只有一個。突觸是兩個神經(jīng)元傳遞沖動相互接觸的地方。與其他神經(jīng)元的樹突相連，當(dāng)興奮達(dá)到一定閾值時，突觸前膜向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)，實(shí)現(xiàn)神經(jīng)元之間的信息傳遞。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元模仿了生物神經(jīng)元的這一特性，利用激活函數(shù)將輸入結(jié)果映射到一定范圍內(nèi)，若映射后的結(jié)果大于閾值，則神經(jīng)元被激活。生物神經(jīng)元又叫神經(jīng)細(xì)胞，是一個長突起的細(xì)胞，主要由細(xì)胞體、樹突、軸突、突觸構(gòu)成。6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.2人腦神6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.3人腦神經(jīng)網(wǎng)絡(luò)of6513人類的大腦并不是一開始就能處理一些復(fù)雜的問

12、題，而是由外界刺激決定了神經(jīng)網(wǎng)絡(luò)的生長，各種信息刺激了腦部發(fā)育，腦內(nèi)的神經(jīng)元之間不斷重組，連接，形成更復(fù)雜的神經(jīng)網(wǎng)絡(luò)，使個體漸漸具有其他的活動能力。6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.3人腦神6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of65141、感知器是一種權(quán)衡依據(jù)做出的決策方法，隨著權(quán)重和閾值的變化，可以得到不同的決策模型。Rosenblatt提出了一個簡單算法來計(jì)算輸出：通過帶權(quán)重的連接，表示相應(yīng)輸入對輸出的重要性，神經(jīng)元的輸出由加權(quán)和和閾值決定，具體的表達(dá)形式如下：6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神6.2人腦神經(jīng)系統(tǒng)與深度學(xué)

13、習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of65152、神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本單元，通過調(diào)整內(nèi)部節(jié)點(diǎn)之間的相互連接關(guān)系，達(dá)到處理信息的目的。神經(jīng)元使用一個非線性的激活函數(shù)，得到一個輸出，以最簡單的兩層神經(jīng)網(wǎng)絡(luò)為例。這個神經(jīng)網(wǎng)絡(luò)有3個神經(jīng)元：，+1表示偏置節(jié)點(diǎn)的運(yùn)算，則相應(yīng)的輸出為：6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of6516（1）階躍函數(shù)：，函數(shù)圖像如圖所示：階躍函數(shù)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of651

14、7（2）Sigmoid函數(shù)：，Sigmod函數(shù)是一個輸出在（0,1）的開區(qū)間的有界函數(shù)，函數(shù)圖像如圖所示。雙曲線正切函數(shù)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of6518（3）雙曲線正切函數(shù)：，雙曲正切函數(shù)是一個輸出在（-1,1）開區(qū)間有界函數(shù)，函數(shù)圖像如圖所示。Sigmoid函數(shù)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of6519Rectifier函數(shù)示意圖（4）Rectifier函數(shù)：，函數(shù)圖像如圖所示。其中，當(dāng)激

15、活函數(shù)為階躍函數(shù)時，神經(jīng)元模型就是感知器。6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)3、神經(jīng)網(wǎng)絡(luò)的架構(gòu)of6520一般的神經(jīng)網(wǎng)絡(luò)是層級結(jié)構(gòu)，每層神經(jīng)元與下一層神經(jīng)元相互連接，同層神經(jīng)元及跨層神經(jīng)元之間相互無連接，每一層神經(jīng)元的輸出作為下一層神經(jīng)元的輸入，這種網(wǎng)絡(luò)被稱為前饋神經(jīng)網(wǎng)絡(luò)。最左邊的一層（第一層）稱為輸入層，其中的神經(jīng)元稱為輸入神經(jīng)元。最右邊的一層（最后一層）稱為輸出層，其中的神經(jīng)元稱為輸出神經(jīng)元。中間一層則被稱為隱藏層，既不是輸入層也不是輸出層。本例討論的是只有一個輸出和一個隱藏層。但是，在實(shí)際中神經(jīng)網(wǎng)絡(luò)可以有多個輸出和多個隱藏

16、層。這種多層網(wǎng)絡(luò)有時被稱為多層感知器。三層神經(jīng)網(wǎng)絡(luò)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)3、神經(jīng)網(wǎng)絡(luò)的架6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)of6521多層神經(jīng)網(wǎng)絡(luò)中除了輸入層，每個神經(jīng)元都是一個多輸入單輸出信息處理單元。如圖所示，它表示了一個多層神經(jīng)網(wǎng)絡(luò)，需要注意，網(wǎng)絡(luò)中所有連接都有對應(yīng)的權(quán)重和偏置。但是圖中只標(biāo)記了三個權(quán)重w1，w2，w3。多層神經(jīng)網(wǎng)絡(luò)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)of6521多層6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)4、誤差逆?zhèn)鞑ニ惴╫f6522多層網(wǎng)絡(luò)的學(xué)習(xí)能力比單層感知機(jī)強(qiáng)得多，如果想要訓(xùn)練多層網(wǎng)絡(luò)，誤差逆?zhèn)鞑ィê喎QBP）是迄今為

17、止最杰出的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。BP是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。梯度下降示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)4、誤差逆?zhèn)鞑ニ愕诹律疃葘W(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實(shí)現(xiàn)全國高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用of65236.5手寫體數(shù)字識別項(xiàng)目實(shí)例6.6深度學(xué)習(xí)應(yīng)用習(xí)題第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)66.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.1整體架構(gòu)of6524深度神經(jīng)網(wǎng)絡(luò)發(fā)展到今天，學(xué)術(shù)界已經(jīng)提出了多種網(wǎng)絡(luò)模型，其中影響力較大的有以下幾種：卷積神經(jīng)網(wǎng)絡(luò)包

18、含三種類型的層，分別是卷積層、下采樣層及全連接層。通過卷積核與上一層輸出進(jìn)行卷積作為卷積層的輸出，這樣可以達(dá)到權(quán)值共享的目的；下采樣是在卷積層的基礎(chǔ)上，在一個固定區(qū)域中采樣一個點(diǎn)，使得整個網(wǎng)絡(luò)具有一定的縮放、平移及形變不變性。深度置信網(wǎng)絡(luò)由若干層受限玻爾茲曼機(jī)及一個反向傳播網(wǎng)絡(luò)組成。深度置信網(wǎng)絡(luò)的訓(xùn)練過程分為兩步，首先利用貪婪算法無監(jiān)督地訓(xùn)練每一層受限玻爾茲曼機(jī)，然后將上一步訓(xùn)練得到的數(shù)據(jù)作為網(wǎng)絡(luò)初始值，利用BP算法有監(jiān)督地訓(xùn)練整個網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)該網(wǎng)絡(luò)與傳統(tǒng)前饋網(wǎng)絡(luò)的區(qū)別在于，隱層的輸入不僅包括輸入層的數(shù)據(jù)，還包括前一時刻的隱層數(shù)據(jù)。這種結(jié)構(gòu)的網(wǎng)絡(luò)能有效處理序列數(shù)據(jù)，如自然語言處理。6.3

19、深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.1整體架構(gòu)of656.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6525局部感受區(qū)域在卷積神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元只對視野中的某一區(qū)域產(chǎn)生響應(yīng)，被稱為局部感受區(qū)域。權(quán)值共享一個卷積層中的所有神經(jīng)元均由同一個卷積核對不同區(qū)域數(shù)據(jù)響應(yīng)而得到的，即共享同一個卷積核。降采樣一般在卷積層后面會進(jìn)行降采樣操作，對卷積層提取的特征進(jìn)行聚合統(tǒng)計(jì)。三個主要特點(diǎn)6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6526局部感受區(qū)域從大腦進(jìn)行人臉識別的過程圖可以看出，最底層是攝入的原始信息像素，往上逐漸組織形成

20、一些邊緣特征，再向上，邊緣特征組合形成更有表現(xiàn)力的物體局部特征，如眼睛、耳朵等，到了最頂層，不同的高級特征組合起來，形成最終完整的人臉圖像。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6527權(quán)值共享局部連接的卷積核會對全部圖像數(shù)據(jù)進(jìn)行滑動掃描，使得卷積層訓(xùn)練參數(shù)的數(shù)量急劇減少，提高了網(wǎng)絡(luò)的泛化能力。此外，權(quán)值共享意味著一個卷積層中的神經(jīng)元均在檢測同一種特征，與所處位置無關(guān)，所以，具有平移不變性。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6528降采

21、樣一般的做法是將前一層的局部區(qū)域值映射為單個數(shù)值，與卷積層不同的是，降采樣區(qū)域一般不存在重疊現(xiàn)象。降采樣簡化了卷積層的輸出信息，進(jìn)一步減少了訓(xùn)練參數(shù)的數(shù)量，增強(qiáng)了網(wǎng)絡(luò)的泛化能力。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.3深度置信網(wǎng)絡(luò)of6529深度置信網(wǎng)絡(luò)打破了深度神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練的觀點(diǎn)。深度置信網(wǎng)絡(luò)是一種生成模型，和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相似，網(wǎng)絡(luò)中存在若干隱藏層，并且同一隱藏層內(nèi)的神經(jīng)元沒有連接，隱藏層間的神經(jīng)元全連接。最上面兩層間為無向連接，其中包含標(biāo)簽神經(jīng)元，稱為聯(lián)合記憶層。其他層間為有向連接，自上而下為生成模型，指定輸出。自下而上則為判

22、定模型，可以用作圖像識別等任務(wù)。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.3深度置信網(wǎng)絡(luò)of6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.4循環(huán)（遞歸）神經(jīng)網(wǎng)絡(luò)of6530循環(huán)神經(jīng)網(wǎng)絡(luò)典型的前饋神經(jīng)網(wǎng)絡(luò)最大的區(qū)別最大區(qū)別在于網(wǎng)絡(luò)中存在環(huán)形結(jié)構(gòu)，隱藏層內(nèi)部的神經(jīng)元是互相連接的，可以存儲網(wǎng)絡(luò)的內(nèi)部狀態(tài)，其中包含序列輸入的歷史信息，實(shí)現(xiàn)了對時序動態(tài)行為的描述。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.4循環(huán)（遞歸）神經(jīng)6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.4循環(huán)（遞歸）神經(jīng)網(wǎng)絡(luò)of6531循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)圖循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.4循環(huán)（遞歸）神經(jīng)第六章深度學(xué)習(xí)6.1概述6

23、.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實(shí)現(xiàn)全國高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用of65326.5手寫體數(shù)字識別項(xiàng)目實(shí)例6.6深度學(xué)習(xí)應(yīng)用習(xí)題第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)66.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.1TensorFlowof6533TensorFlow實(shí)現(xiàn)了本地和分布式兩種接口機(jī)制。本地實(shí)現(xiàn)機(jī)制的client端、master端和worker均運(yùn)行在同一個機(jī)器中；分布式實(shí)現(xiàn)機(jī)制它與本地實(shí)現(xiàn)的代碼基本相同，但是client端、master端和worker進(jìn)程一般運(yùn)行在不同的機(jī)器中，所包含的不同任務(wù)由一個集群調(diào)度系統(tǒng)進(jìn)行管理。

24、具備如下優(yōu)點(diǎn)：1.多樣化部署；2.可被基于梯度的機(jī)器學(xué)習(xí)算法借鑒；3.靈活的Python接口；4.可映射到不同硬件平臺；5.支持分布式訓(xùn)練。6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.1TensorFlo6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.2Caffeof6534123模塊化表示和實(shí)現(xiàn)分離測試覆蓋456Python和Matlab接口預(yù)訓(xùn)練參考模型速度快Caffe特點(diǎn)6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.2Caffeof656.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of65351.CNTK2.MXNet3.Theano4.Torch5.Deeplearning4j6.4軟硬件實(shí)現(xiàn)第六章

25、深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件o6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6536CNTK的5個主要特點(diǎn)訓(xùn)練和測試多種神經(jīng)網(wǎng)絡(luò)的通用解決方案。AB用戶使用一個簡單的文本配置文件指定一個網(wǎng)絡(luò)。C盡可能無縫地把很多計(jì)算在一個GPU上進(jìn)行。D自動計(jì)算所需要的導(dǎo)數(shù)，網(wǎng)絡(luò)是由許多簡單的元素組成。E通過添加少量的C+代碼來實(shí)現(xiàn)必需塊的擴(kuò)展。6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件o6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6537MXNet的7個主要特點(diǎn)：（1）其設(shè)計(jì)說明可以被重新應(yīng)用到其他深度學(xué)習(xí)項(xiàng)目中。（2）任意計(jì)算圖的靈活配置。（3）整合了各種

26、編程方法的優(yōu)勢，最大限度地提高靈活性和效率。（4）輕量、高效的內(nèi)存，以及支持便攜式的智能設(shè)備，如手機(jī)等。（5）多GPU擴(kuò)展和分布式的自動并行化設(shè)置。（6）支持Python、R、C+和Julia。（7）對云計(jì)算友好，直接兼容S3、HDFS和Azure。6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件o6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6538Theano的6個主要特點(diǎn)01與NumPy緊密相關(guān)02透明地使用GPU03高效符號分化04速度和穩(wěn)定性的優(yōu)化05動態(tài)生成C代碼06廣泛的單元測試和自我驗(yàn)證6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件o6.4軟硬件

27、實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6539Torch的4個主要特點(diǎn)很多實(shí)現(xiàn)索引、切片、移調(diào)的程序。通過LuaJIT的C接口。快速、高效的GPU支持?？汕度搿⒁浦驳絠OS、Android和FPGA的后臺。6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件o6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6540依賴于廣泛使用的編程語言Java?？蓪ｉT用于處理大型文本集合。Canova向量化各種文件形式和數(shù)據(jù)類型。集合了Cuda內(nèi)核，支持CPU和分布式GPU。Deeplearning4j的4個主要特點(diǎn)：6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件o6.4

28、軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.4深度學(xué)習(xí)一體機(jī)of6541深度學(xué)習(xí)一體機(jī)外觀圖深度學(xué)習(xí)一體機(jī)服務(wù)器內(nèi)部圖6.4軟硬件實(shí)現(xiàn)第六章深度學(xué)習(xí)6.4.4深度學(xué)習(xí)一體機(jī)of第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實(shí)現(xiàn)全國高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用of65426.5手寫體數(shù)字識別項(xiàng)目實(shí)例6.6深度學(xué)習(xí)應(yīng)用習(xí)題第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)66.5手寫體數(shù)字識別項(xiàng)目實(shí)例第六章深度學(xué)習(xí)6.5.1數(shù)據(jù)準(zhǔn)備of6543測試集A測試集用來建立模型。訓(xùn)練集B訓(xùn)練集用來評估模型的預(yù)測能力。首先準(zhǔn)備一批圖像數(shù)據(jù)，將圖像數(shù)據(jù)集分為

29、測試集和訓(xùn)練集兩個部分。6.5手寫體數(shù)字識別項(xiàng)目實(shí)例第六章深度學(xué)習(xí)6.5.1數(shù)據(jù)準(zhǔn)6.5手寫體數(shù)字識別項(xiàng)目實(shí)例第六章深度學(xué)習(xí)6.5.2模型設(shè)計(jì)LeNet模型網(wǎng)絡(luò)結(jié)構(gòu)定義一定義二定義三定義四定義了全連接層ip1，非線性層relu1，全連接層ip2，實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)的高層表示。定義了分類準(zhǔn)確率層accuracy，損失層loss用于計(jì)算分類的準(zhǔn)確率accuracy和損失值loss。定義了兩個數(shù)據(jù)層，輸入LMDB格式的數(shù)據(jù)集，分別用于訓(xùn)練和測試階段。定義了卷積層conv1、池化層pool1、卷積層conv2、池化層pool2，用于逐層提取局部特征。of65446.5手寫體數(shù)字識別項(xiàng)目實(shí)例第六章深度學(xué)

30、習(xí)6.5.2模型設(shè)6.5手寫體數(shù)字識別項(xiàng)目實(shí)例第六章深度學(xué)習(xí)6.5.3模型訓(xùn)練of6545學(xué)習(xí)策略定義網(wǎng)絡(luò)結(jié)構(gòu)的文件路徑A測試的迭代次數(shù)B訓(xùn)練的迭代次數(shù)C網(wǎng)絡(luò)參數(shù)DE最大迭代次數(shù)F編寫模型訓(xùn)練腳本包括六點(diǎn)6.5手寫體數(shù)字識別項(xiàng)目實(shí)例第六章深度學(xué)習(xí)6.5.3模型訓(xùn)./build/tools/caffe.bintest-modelexamples/mnist/lenet_train_test.prototxt-weightsexamples/mnist/lenet_iter_10000.caffemodel-iterations1006.5手寫體數(shù)字識別項(xiàng)目實(shí)例第六章深度學(xué)習(xí)6.5.4模型測試of

31、6546利用最終訓(xùn)練好的模型權(quán)值文件，可以對測試數(shù)據(jù)集進(jìn)行預(yù)測。命令如下：命令指定了只進(jìn)行模型預(yù)測，不進(jìn)行參數(shù)更新，即只前向傳播計(jì)算，不后向傳播計(jì)算。指定了模型描述文本文件路徑，模型訓(xùn)練好的權(quán)值文件以及測試的迭代次數(shù)。./build/tools/caffe.binte第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實(shí)現(xiàn)全國高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用of65476.5手寫體數(shù)字識別項(xiàng)目實(shí)例6.6深度學(xué)習(xí)應(yīng)用習(xí)題第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)66.6深度學(xué)習(xí)應(yīng)用第六章深度學(xué)習(xí)6.6.1語音識別of6548語音識別是

32、實(shí)現(xiàn)人機(jī)自由交互、推動人工智能發(fā)展的關(guān)鍵技術(shù)。語音識別技術(shù)主要包括特征提取技術(shù)、模式匹配準(zhǔn)則及模型訓(xùn)練技術(shù)三個方面。其應(yīng)用領(lǐng)域非常廣泛，常見的應(yīng)用系統(tǒng)有語音輸入系統(tǒng)、語音控制系統(tǒng)和智能對話查詢系統(tǒng)。6.6深度學(xué)習(xí)應(yīng)用第六章深度學(xué)習(xí)6.6.1語音識別of656.6深度學(xué)習(xí)應(yīng)用第六章深度學(xué)習(xí)6.6.2圖像分析of6549相對于物體識別，物體檢測任務(wù)更加困難。在一幅圖像中，可能包含屬于不同類別的多個物體，物體檢測需要確定每個物體的位置和類別。6.6深度學(xué)習(xí)應(yīng)用第六章深度學(xué)習(xí)6.6.2圖像分析of656.6深度學(xué)習(xí)應(yīng)用第六章深度學(xué)習(xí)6.6.3自然語言處理of6550除了語音識別和圖像分析，自然語言處理

33、（NLP）是深度學(xué)習(xí)的另一個重要的應(yīng)用領(lǐng)域。它屬于人工智能的一個分支，是計(jì)算機(jī)科學(xué)與語言學(xué)的交叉學(xué)科，又常被稱為計(jì)算語言學(xué)。自然語言處理是用電腦處理人類的語言，如英語、漢語、法語等，其主要應(yīng)用包括機(jī)器翻譯、信息抽取等。6.6深度學(xué)習(xí)應(yīng)用第六章深度學(xué)習(xí)6.6.3自然語言處理of1簡述人工神經(jīng)網(wǎng)絡(luò)定義。2簡述神經(jīng)網(wǎng)絡(luò)的架構(gòu)。3簡述誤差逆?zhèn)鞑ィ‥rrorBackPropagation）算法。4大數(shù)據(jù)與深度學(xué)習(xí)之間有什么樣的關(guān)系？5查詢相關(guān)資料，簡述人工智能的未來發(fā)展。6目前影響力比較大的深度學(xué)習(xí)模型有哪些？7自動編碼器主要有哪兩種變體？8卷積神經(jīng)網(wǎng)絡(luò)主要有哪些特點(diǎn)？9降采樣操作常用的類型有哪些？10簡述循環(huán)神經(jīng)網(wǎng)絡(luò)的架構(gòu)。11分別簡述CNTK、MXNet、Theano、Torch深度學(xué)習(xí)軟件的主要特點(diǎn)。12簡述深度學(xué)習(xí)在現(xiàn)實(shí)生活中的應(yīng)用。習(xí)題：1簡述人工神經(jīng)網(wǎng)絡(luò)定義。習(xí)題：感謝聆聽感謝聆聽