,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第1頁(yè),Artificial Neural Networks(ANN),由生物神經(jīng)系統(tǒng),(,如人腦,),所引發(fā)信息處理框架。,結(jié)構(gòu),:,大量互連信息處理單元，即神經(jīng)元,(neuron),，相互協(xié)作，共同處理問(wèn)題。,向人類一樣,神經(jīng)網(wǎng)絡(luò)從實(shí)例中進(jìn)行學(xué)習(xí)。,原理簡(jiǎn)單，功效強(qiáng)大。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第2頁(yè),神經(jīng)網(wǎng)絡(luò)發(fā)展史,1943,，,McCulloch&Pitts,最先提出神經(jīng)網(wǎng)絡(luò)。,十九世紀(jì)五六十年代，大量學(xué)者研究感知器。,1969,，,Minsky&Papert,論證了感知器功效有限。,從此神經(jīng)網(wǎng)絡(luò)研究停滯了,15,年。,十九世紀(jì)八十年代中期，,BP,算法、,SOM,提出使神經(jīng)網(wǎng)絡(luò)研究重新復(fù)蘇。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第3頁(yè),神經(jīng)網(wǎng)絡(luò)本質(zhì),一個(gè)簡(jiǎn)化人腦模擬模型。,從本質(zhì)上講，是一個(gè)功效模擬器。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第4頁(yè),神經(jīng)網(wǎng)絡(luò)組成,由大量相互連接神經(jīng)元,(neuron),組成，這些神經(jīng)元相互協(xié)作，共同完成復(fù)雜功效。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第5頁(yè),神經(jīng)網(wǎng)絡(luò)普通結(jié)構(gòu),訓(xùn)練神經(jīng)網(wǎng)絡(luò)意味著學(xué)習(xí)神經(jīng)元之間連接權(quán)重,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第6頁(yè),神經(jīng)網(wǎng)絡(luò)與人類大腦,人類大腦大約有,10,11,個(gè)神經(jīng)元。,這些神經(jīng)元經(jīng)過(guò)神經(jīng)突觸相互連接。,平均每個(gè)神經(jīng)元與其它,10,4,個(gè)神經(jīng)元相互連接。,神經(jīng)元之間通信時(shí)間,10,-3,秒。,ANN,研究動(dòng)機(jī)是模擬人腦，但因?yàn)楫?dāng)前技術(shù)限制，,ANN,與真正人腦相去甚遠(yuǎn)。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第7頁(yè),人工腦,認(rèn)為人工腦現(xiàn)在不能與人腦匹敵原因突出表現(xiàn)在神經(jīng)元數(shù)量對(duì)比上。,提升人工腦神經(jīng)元數(shù)量，宣稱他開(kāi)發(fā)人工腦可達(dá)貓腦水平。,很多學(xué)者也認(rèn)為，除了數(shù)量以外，人腦神經(jīng)元間“結(jié)構(gòu)”也非常主要。批評(píng)者們認(rèn)為,Garis,求,量,不求,質(zhì),。,Hugo de Garis,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第8頁(yè),感知器,(Perceptron),最早含有學(xué)習(xí)能力神經(jīng)網(wǎng)絡(luò),只有輸入神經(jīng)元和輸出神經(jīng)元,輸入神經(jīng)元通常只有兩個(gè)狀態(tài),:ON,和,OFF,輸出神經(jīng)元使用簡(jiǎn)單閾值,(threshold),激勵(lì)函數(shù),只能處理線性問(wèn)題，應(yīng)用范圍有限,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第9頁(yè),一個(gè)感知器例子,若,3,個(gè)輸入中最少有兩個(gè)為,1,，則輸出結(jié)果為,1,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第10頁(yè),打開(kāi)黑盒,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第11頁(yè),用感知器分類,由互連結(jié)點(diǎn)和帶有權(quán)重連接所組成模型。,對(duì)輸入值加權(quán)求和,將加權(quán)求和結(jié)果與某個(gè)閾值,t,進(jìn)行比較,Perceptron Model,or,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第12頁(yè),感知器中權(quán)重確實(shí)定,有監(jiān)督訓(xùn)練,若輸出有誤，則依據(jù)以下公式調(diào)整權(quán)重,:,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第13頁(yè),感知器缺點(diǎn),只有二值輸入和二值輸出。,只有輸入和輸出兩層。,1969,年，,Minsky&Papert,論證了感知器功效有限，無(wú)法表示一些邏輯功效，如,XOR,。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第14頁(yè),多層前饋神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)普遍采取這種形式,是感知器擴(kuò)展,多個(gè)層次，輸入輸出之間層稱為隱含層,(hidden layer),激勵(lì)函數(shù)不再是簡(jiǎn)單閾值，通常是,sigmoid,函數(shù),通用功效模擬器，應(yīng)用范圍不再局限于線性問(wèn)題,信息單向傳遞,當(dāng)前層輸出組成了下一層輸入,反向更新權(quán)重,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第15頁(yè),激勵(lì)函數(shù),(activation function),用輸入神經(jīng)元加權(quán)和來(lái)產(chǎn)生輸出。,絕大多數(shù)神經(jīng)網(wǎng)絡(luò)使用,sigmoid,函數(shù)。,平滑、連續(xù)、且單調(diào)遞增,值域有明確上下限，不過(guò)開(kāi)區(qū)間，即無(wú)法到達(dá)最大值和最小值,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第16頁(yè),sigmoid,函數(shù),最常見(jiàn),sigmoid,函數(shù)是,f(x)=1/(1+e,x,),在神經(jīng)網(wǎng)絡(luò)中，激勵(lì)函數(shù)導(dǎo)數(shù)十分主要，該函數(shù)導(dǎo)數(shù)實(shí)用,f(x)=f(x)(1,f(x),其余,sigmoid,函數(shù)還有：,雙曲正切,(hyperbolic tangent),反正切,(arctangent),數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第17頁(yè),訓(xùn)練,(training),有監(jiān)督訓(xùn)練,向,NN,提供輸入數(shù)據(jù)和理想輸出數(shù)據(jù),評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)對(duì)輸入響應(yīng)，依據(jù)實(shí)際輸出與理想輸出差異來(lái)修改權(quán)重。,無(wú)監(jiān)督訓(xùn)練,只提供輸入數(shù)據(jù)和理想輸出數(shù)據(jù),NN,自行調(diào)整權(quán)重，使得相同輸入會(huì)得到相同輸出。即,NN,在沒(méi)有外界幫助條件下，自動(dòng)確定模式及其差異。,Epoch,從提供輸入到,NN,更新一次權(quán)重一次迭代過(guò)程,訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要屢次,epochs,。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第18頁(yè),權(quán)重確實(shí)定,神經(jīng)網(wǎng)絡(luò)中，權(quán)重作用至關(guān)主要，學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)際上就是學(xué)習(xí)其連接權(quán)重。,訓(xùn)練就是向,NN,模型提供樣本數(shù)據(jù)，并不停修改權(quán)重，使其更加好完成理想功效。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第19頁(yè),反向傳輸,得到網(wǎng)絡(luò)中多個(gè)權(quán)重最普遍做法,有監(jiān)督訓(xùn)練,關(guān)鍵思想是基于對(duì)錯(cuò)誤函數(shù)導(dǎo)數(shù)最小化,簡(jiǎn)單,效率低,易于陷入局部最小值,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第20頁(yè),BP(Backpropagation algorithm),算法,1.,初始化,確定輸入層、隱含層和輸出層結(jié)點(diǎn)數(shù)量,隨機(jī)產(chǎn)生,(,1.0,1.0,),之間權(quán)重,選擇一個(gè),0,1,之間學(xué)習(xí)率,確定結(jié)束條件,2.,對(duì)每條訓(xùn)練實(shí)例,:,輸入神經(jīng)網(wǎng)絡(luò)，計(jì)算輸出結(jié)果,確定輸犯錯(cuò)誤,更新權(quán)重,3.,若未滿足終止條件，則轉(zhuǎn)步驟,2,4.,測(cè)試神經(jīng)網(wǎng)絡(luò)精度。若不滿意，則更改參數(shù)重新訓(xùn)練。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第21頁(yè),示例,理想輸出：,0.65,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第22頁(yè),計(jì)算實(shí)際輸出,結(jié)點(diǎn),j,輸入,:0.2*1+0.3*0.4+(-0.1)*0.7=0.25,結(jié)點(diǎn),j,輸出,:1/(1+e,-0.25,)=0.562,結(jié)點(diǎn),i,輸入,:0.1*1.0+(-0.1)*0.4+0.2*0.7=0.2,結(jié)點(diǎn),i,輸出,:1/(1+e,-0.2,)=0.550,結(jié)點(diǎn),k,輸入,:0.1*0.562+0.5*0.550=0.331,結(jié)點(diǎn),k,輸出,:1/(1+e,-0.331,)=0.582,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第23頁(yè),輸出層結(jié)點(diǎn)錯(cuò)誤計(jì)算,Error,(,k,)=(,T,O,k,),f,(,x,k,),T,:,目標(biāo)輸出,O,k,:,輸出結(jié)點(diǎn),k,計(jì)算輸出值,f,(,x,k,):,輸出結(jié)點(diǎn),k,sigmoid,函數(shù)一階導(dǎo)數(shù),x,k,:,輸出結(jié)點(diǎn),k,輸入值,Error,(,k,)=(,T,O,k,),O,k,(1,O,k,),Error,(,k,)=(0.65,0.582,)*0.582*(,1,0.582)=0.017,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第24頁(yè),隱含層結(jié)點(diǎn)錯(cuò)誤計(jì)算,Error,(,j,)=(,k,Error,(,k,),W,jk,),f,(,x,j,),Error,(,k,):,輸出層結(jié)點(diǎn),k,錯(cuò)誤,W,jk,:,連接隱含層結(jié)點(diǎn),j,與輸出層結(jié)點(diǎn),k,權(quán)重,f,(,x,j,),:,隱含層結(jié)點(diǎn),j,sigmoid,函數(shù)一階導(dǎo)數(shù),x,j,:,隱含層結(jié)點(diǎn),j,輸入值,Error,(,j,)=,0.017*0.1*0.562*(1 0.562)=0.00042,Error,(,i,),計(jì)算留作練習(xí)。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第25頁(yè),權(quán)重更新,w,jk,(,new,)=,w,jk,(,old,)+,w,jk,w,jk,=,*Error,(,k,)*,O,j,:,學(xué)習(xí)率,0,1,Error,(,k,):,結(jié)點(diǎn),k,錯(cuò)誤,O,j,:,結(jié)點(diǎn),j,輸出,假設(shè),=0.5,w,jk,=,0.1,+,0.5*0.017*0.562=0.1048,w,1,j,=,0.2,+,0.5*0.00042*1.0=0.,w,2,j,=,0.3,+,0.5*0.00042*0.4=0.300084,w,3,j,=,0.1,+,0.5*0.00042*0.7=,0.099853,與,i,相關(guān)權(quán)重更新留作練習(xí),數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第26頁(yè),隱含層與神經(jīng)元,對(duì)絕大多數(shù)問(wèn)題，一層隱含層就足夠了,當(dāng)目標(biāo)函數(shù)不連續(xù)時(shí)，普通需要兩層隱含層,神經(jīng)元數(shù)量對(duì)性能影響很關(guān)鍵,:,太少，,Underfitting,太多，,Overfitting,多憑經(jīng)驗(yàn)，普通從少許結(jié)點(diǎn)開(kāi)始，伴隨訓(xùn)練不停增加結(jié)點(diǎn)數(shù)量,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第27頁(yè),訓(xùn)練策略,在線訓(xùn)練,(Online training):,每處理一個(gè)訓(xùn)練實(shí)例，就更新一次權(quán)重。,離線訓(xùn)練,(Offline training):,把全部訓(xùn)練實(shí)例都處理一遍之后，再更新權(quán)重。,在線學(xué)習(xí)應(yīng)用范圍廣、簡(jiǎn)單易行,對(duì)單個(gè)訓(xùn)練實(shí)例敏感,產(chǎn)生局部極值幾率比離線訓(xùn)練小,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第28頁(yè),利用梯度下降法更新權(quán)重,優(yōu)點(diǎn),實(shí)現(xiàn)簡(jiǎn)單,使用范圍廣，使用效果很好,缺點(diǎn),效率低,易于陷入局部極小值，從而無(wú)法得到最優(yōu)解,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第29頁(yè),模擬退火方法,(Simulated Annealing),優(yōu)點(diǎn)：,全局最優(yōu)，可確保得到最優(yōu)解。,缺點(diǎn)：,比梯度下降效率低，實(shí)現(xiàn)復(fù)雜。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第30頁(yè),遺傳算法,(Genetic Algorithm),優(yōu)點(diǎn)：,效率高于模擬退火法。,陷入局部極值概率比,BP,神經(jīng)網(wǎng)絡(luò)低。,缺點(diǎn)：,效率比梯度下降法低。,不適合處理大型神經(jīng)網(wǎng)絡(luò)。,數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第31頁(yè),神經(jīng)網(wǎng)絡(luò)優(yōu)點(diǎn),抗噪性能好,既能處理連續(xù)數(shù)據(jù)，也能處理類別型數(shù)據(jù),在多個(gè)領(lǐng)域有成功應(yīng)用,既適合有監(jiān)督學(xué)習(xí)，也適合無(wú)監(jiān)督學(xué)習(xí),數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò),第32頁(yè),