《數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘課件（46頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘,講解人,：,李婧潔,講稿設(shè)計(jì),：,曾國(guó)強(qiáng),劉歡,資料收集,：,吳婷婷,李冰潔,劉婧桃,杜曉霜,數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘講解人：,1,日常生活,的問(wèn)題：,人們?cè)谌粘Ｉ钪薪?jīng)常會(huì)遇到這樣的情況：,超市的經(jīng)營(yíng)者希望將經(jīng)常被同時(shí)購(gòu)買的商品放在一起，以增加銷售；,保險(xiǎn)公司想知道購(gòu)買保險(xiǎn)的客戶一般具有哪些特征；,醫(yī)學(xué)研究人員希望從已有的成千上萬(wàn)份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；,日常生活的問(wèn)題：,2,企業(yè)面臨的問(wèn)題,經(jīng)過(guò)多年的計(jì)算機(jī)應(yīng)用和市場(chǎng)積累，許多企業(yè)保存了大量原

2、始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù),它是企業(yè)生產(chǎn)經(jīng)營(yíng)活動(dòng)的真實(shí)記錄，由于缺乏集中存儲(chǔ)和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用,不能進(jìn)行有效的統(tǒng)計(jì)、分析及評(píng)估，無(wú)法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息,企業(yè)面臨的問(wèn)題,3,數(shù)據(jù)爆炸：,自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫(kù)技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)、數(shù)據(jù)庫(kù)和其它的信息庫(kù)中。,我們會(huì)淹死在數(shù)據(jù)中,但卻為信息、知識(shí)所餓!,數(shù)據(jù)爆炸：,4,面臨的問(wèn)題,如何使企業(yè)或組織在激烈的市場(chǎng)競(jìng)爭(zhēng)中保持對(duì)客戶的吸引力？,如何預(yù)先發(fā)現(xiàn)和避免企業(yè)運(yùn)作過(guò)程中不易察覺(jué)的商業(yè)風(fēng)險(xiǎn)？,如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃光點(diǎn)？,面臨的問(wèn)題,5,不同層次的信息處理需求,事物處理需求,分析處

3、理需求,不同層次的信息處理需求事物處理需求,6,事務(wù)處理需求（,OLTP,）,不同的事務(wù)處理子系統(tǒng),采購(gòu)子系統(tǒng)：,訂單、訂單細(xì)則、供應(yīng)商,銷售子系統(tǒng)：,顧客、銷售,庫(kù)存子系統(tǒng)：,出庫(kù)領(lǐng)料單、進(jìn)料入庫(kù)單、庫(kù)存臺(tái)帳,人事子系統(tǒng)：,員工、部門,各種事務(wù)處理需求,一筆訂購(gòu)、一筆銷售、一次進(jìn)料、一次出料,要求,強(qiáng)調(diào)多用戶并發(fā)環(huán)境，數(shù)據(jù)的一致性、完整性,事務(wù)處理需求（OLTP）不同的事務(wù)處理子系統(tǒng),7,分析處理需求(,OLAP,),今年銷售量下降的因素（時(shí)間、地區(qū)、商品、銷售部門）,某種商品今年的銷售情況與以往相比，有怎樣的變化？每年的第一季度商品銷售在各類商品上的分布情況怎樣？,要求,多個(gè)子系統(tǒng)中的數(shù)據(jù)

4、（數(shù)據(jù)集成）,歷史數(shù)據(jù),匯總、綜合的數(shù)據(jù),分析處理需求(OLAP)今年銷售量下降的因素（時(shí)間、地區(qū)、商,8,隨著數(shù)據(jù)庫(kù)技術(shù)的應(yīng)用普及和發(fā)展，人們不再僅僅滿足于一般的業(yè)務(wù)處理，而對(duì)系統(tǒng)提出了更高的要求：,提供決策支持,隨著數(shù)據(jù)庫(kù)技術(shù)的應(yīng)用普及和發(fā)展，人們不再僅僅滿足于一般的業(yè)務(wù),9,數(shù)據(jù)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)庫(kù)系統(tǒng)能夠很好的用于事務(wù)處理，但它對(duì)分析處理的支持一直不能令人滿意。特別是當(dāng)以業(yè)務(wù)處理為主的聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用和以分析處理為主的決策支持系統(tǒng)(DSS)應(yīng)用共存于一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)時(shí)，就會(huì)產(chǎn)生許多問(wèn)題（混亂現(xiàn)象）。,例如，事務(wù)處理應(yīng)用一般需要的是當(dāng)前數(shù)據(jù)，主要考慮較短的響應(yīng)時(shí)間；而分析處理應(yīng)

5、用需要是歷史的、綜合的、集成的數(shù)據(jù)，它的分析處理過(guò)程可能持續(xù)幾個(gè)小時(shí)，從而消耗大量的系統(tǒng)資源。,數(shù)據(jù)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù),10,人們逐漸認(rèn)識(shí)到直接用事務(wù)處理環(huán)境來(lái)支持DSS是行不通的。要提高分析和決策的有效性，分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)分離（不能都在一個(gè)數(shù)據(jù)庫(kù)環(huán)境中）。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來(lái)，按照DSS處理的需要進(jìn)行重新組織，建立單獨(dú)的分析處理環(huán)境。,數(shù)據(jù)倉(cāng)庫(kù)技術(shù)正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種,數(shù)據(jù)存儲(chǔ),和,組織技術(shù)。,人們逐漸認(rèn)識(shí)到直接用事務(wù)處理環(huán)境來(lái)支持DSS是行不通的。要提,11,數(shù)據(jù)倉(cāng)庫(kù)的定義,數(shù)據(jù)倉(cāng)庫(kù),是一種面向主題的數(shù)據(jù)管理技術(shù)，它提供集成化

6、的、歷史的數(shù)據(jù)管理功能，支持綜合性的數(shù)據(jù)分析，特別是戰(zhàn)略分析。,數(shù)據(jù)倉(cāng)庫(kù)構(gòu)成了DSS 和DBMS的技術(shù)基礎(chǔ)，它必將推動(dòng)DSS研究的全面發(fā)展和方法的實(shí)用性化。,數(shù)據(jù)倉(cāng)庫(kù)的定義數(shù)據(jù)倉(cāng)庫(kù)是一種面向主題的數(shù)據(jù)管理技術(shù)，它提供集,12,通俗的解釋,人們專門為業(yè)務(wù)的統(tǒng)計(jì)分析建立一個(gè)數(shù)據(jù)中心，它的數(shù)據(jù)可以從聯(lián)機(jī)的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù)中得到；它是一個(gè)聯(lián)機(jī)的系統(tǒng)，專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù)，通過(guò)它可滿足決策支持和聯(lián)機(jī)分析應(yīng)用所要求的一切。這個(gè)數(shù)據(jù)中心就叫作數(shù)據(jù)倉(cāng)庫(kù)。,通俗的解釋人們專門為業(yè)務(wù)的統(tǒng)計(jì)分析建立一個(gè)數(shù)據(jù)中心，它的數(shù)據(jù),13,特征及體系結(jié)構(gòu),數(shù)據(jù)倉(cāng)庫(kù)的特征,數(shù)據(jù)倉(cāng)庫(kù)的

7、體系結(jié)構(gòu),特征及體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)的特征,14,數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu),一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)一般由6個(gè)基本層次組成,1)數(shù)據(jù)源層。,2)數(shù)據(jù)后端處理層。,3)數(shù)據(jù)倉(cāng)庫(kù)及其管理層(包括源數(shù)據(jù)管理)。,4)數(shù)據(jù)集市層。,5)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用層,(或稱前端處理層)。,6)數(shù)據(jù)展示層。,數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)一般由6個(gè)基本層次組,15,數(shù)據(jù)倉(cāng)庫(kù)層次結(jié)構(gòu)示意圖,數(shù)據(jù)展示層,數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用層,數(shù)據(jù)集市層,數(shù)據(jù)倉(cāng)庫(kù)及管理層,數(shù)據(jù)后端處理層,數(shù)據(jù)源層,數(shù)據(jù)倉(cāng)庫(kù)層次結(jié)構(gòu)示意圖數(shù)據(jù)展示層數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用層數(shù)據(jù)集市層數(shù)據(jù),16,數(shù)據(jù)挖掘,定義：,數(shù)據(jù)挖掘(Data Mining,)，就是從存放在數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)

8、或其他信息庫(kù)中的大量的數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過(guò)程。,數(shù)據(jù)挖掘定義：數(shù)據(jù)挖掘(Data Mining)，就是從存放,17,經(jīng)典案例尿布與啤酒,在一家超市中，人們發(fā)現(xiàn)了一個(gè)特別有趣的現(xiàn)象：尿布與啤酒這兩種風(fēng)馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的稍量大幅增加了。這可不是一個(gè)笑話，而是一直被商家所津津樂(lè)道的發(fā)生在美國(guó)沃爾瑪連鎖超市的真實(shí)案例。,原來(lái)，美國(guó)的婦女通常在家照顧孩子，所以她們經(jīng)常會(huì)囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時(shí)又會(huì)順手購(gòu)買自己愛(ài)喝的啤酒。這個(gè)發(fā)現(xiàn)為商家?guī)?lái)了大量的利潤(rùn)，但是如何從浩如煙海卻又雜亂無(wú)章

9、的數(shù)據(jù)中，發(fā)現(xiàn)啤酒和尿布銷售之間的聯(lián)系呢？這又給了我們什么樣的啟示呢？,經(jīng)典案例尿布與啤酒在一家超市中，人們發(fā)現(xiàn)了一個(gè)特別有趣的,18,數(shù)據(jù)挖掘能做以下七種分析方法,分類（Classification）,估計(jì)（Estimation）,預(yù)測(cè)（Prediction）,相關(guān)性分組或關(guān)聯(lián)規(guī)則（Affinity grouping or association rules）,聚類（Clustering）,描述和可視化（Description and Visualization）,復(fù)雜數(shù)據(jù)類型挖掘(Text,Web,圖形圖像，視頻，音頻等),數(shù)據(jù)挖掘能做以下七種分析方法分類（Classificati,19,

10、數(shù)據(jù)挖掘分類,直接數(shù)據(jù)挖掘,：目標(biāo)是利用可用的數(shù)據(jù)建立一個(gè)模型，這個(gè)模型對(duì)剩余的數(shù)據(jù)，對(duì)一個(gè)特定的變量（可以理解成數(shù)據(jù)庫(kù)中表的屬性，即列）進(jìn)行描述。,間接數(shù)據(jù)挖掘,：目標(biāo)中沒(méi)有選出某一具體的變量，用模型進(jìn)行描述；而是在所有的變量中建立起某種關(guān)系,分類、估值、預(yù)言屬于直接數(shù)據(jù)挖掘；后三種屬于間接數(shù)據(jù)挖掘,。,數(shù)據(jù)挖掘分類直接數(shù)據(jù)挖掘：目標(biāo)是利用可用的數(shù)據(jù)建立一個(gè)模型，,20,數(shù)據(jù)挖掘過(guò)程和主要步驟,數(shù)據(jù)挖掘過(guò)程和主要步驟,21,數(shù)據(jù)挖掘過(guò)程簡(jiǎn)介,(1).確定業(yè)務(wù)對(duì)象,(2).數(shù)據(jù)準(zhǔn)備,1)、數(shù)據(jù)的選擇,2)、數(shù)據(jù)的預(yù)處理,3)、數(shù)據(jù)的轉(zhuǎn)換,(3).,數(shù)據(jù)挖掘,(4).,結(jié)果分析,(5).,知識(shí)的

11、同化,數(shù)據(jù)挖掘過(guò)程簡(jiǎn)介 (1).確定業(yè)務(wù)對(duì)象,22,數(shù)據(jù)挖掘的發(fā)展前景,當(dāng)前數(shù)據(jù)挖掘應(yīng)用主要集中在電信、零售、農(nóng)業(yè)、網(wǎng)絡(luò)日志、銀行、電力、生物、天體、化工、醫(yī)藥等方面。看似廣泛，,實(shí)際應(yīng)用還遠(yuǎn)沒(méi)有普及,。而據(jù)Gartner的報(bào)告也指出，數(shù)據(jù)挖掘會(huì)成為未來(lái)10年內(nèi)重要的技術(shù)之一。而數(shù)據(jù)挖掘，也已經(jīng)開始成為一門獨(dú)立的專業(yè)學(xué)科。,具體發(fā)展趨勢(shì)和應(yīng)用方向主要有：,對(duì)知識(shí)發(fā)現(xiàn)方法的研究進(jìn)一步發(fā)展,，如對(duì)Bayes和Boosting方法的研究和提高；商業(yè)工具軟件不斷產(chǎn)生和完善，注重建立解決問(wèn)題的整體系統(tǒng)，例如Weka等軟件。,數(shù)據(jù)挖掘的發(fā)展應(yīng)是,挖掘工具,在先進(jìn)理論指導(dǎo)下的,改進(jìn),，而就國(guó)內(nèi)情況而言，還有

12、至少,20年,的發(fā)展空間。,數(shù)據(jù)挖掘的發(fā)展前景 當(dāng)前數(shù)據(jù)挖掘應(yīng)用主要集中在電,23,謝謝觀賞,謝謝觀賞,24,決策支持系統(tǒng),(decision support system，簡(jiǎn)稱DSS)是輔助決策者通過(guò)數(shù)據(jù)、模型和知識(shí)，以,人機(jī)交互方式,進(jìn)行半結(jié)構(gòu)化或非結(jié)構(gòu)化決策的計(jì)算機(jī)應(yīng)用系統(tǒng)。,它是管理信息系統(tǒng)(MIS)向更高一級(jí)發(fā)展而產(chǎn)生的,先進(jìn)信息管理系統(tǒng),。它為決策者提供分析問(wèn)題、建立模型、模擬決策過(guò)程和方案的環(huán)境，調(diào)用各種信息資源和分析工具，幫助決策者,提高決策水平和質(zhì)量,。,決策支持系統(tǒng)(decision support system,25,應(yīng)具備的特性,效率足夠高,數(shù)據(jù)質(zhì)量可靠,可擴(kuò)展性,應(yīng)具

13、備的特性效率足夠高,26,數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)主要特征,數(shù)據(jù)的時(shí)變性,數(shù)據(jù)的非易失性,數(shù)據(jù)是集成的,面向主題,數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)主要特征數(shù)據(jù)的時(shí)變性,27,subject-oriented(面向主題性),面向主題,表示了數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都是圍繞著某一主題組織展開的。例如，企業(yè)中的客戶、產(chǎn)品、供應(yīng)商等都可以作為主題看待。,從信息管理的角度看,，主題就是在一個(gè)較高的管理層次上對(duì)信息系統(tǒng)的數(shù)據(jù)按照某一具體的管理對(duì)象進(jìn)行綜合、歸類所形成的分析對(duì)象。,從數(shù)據(jù)組織的角度看,，主題是一些數(shù)據(jù)集合，這些數(shù)據(jù)集合對(duì)分析對(duì)象作了比較完整的、一致的描述，這種描述不僅涉及到數(shù)據(jù)自身，而且涉及到數(shù)據(jù)

14、之間的關(guān)系。,確定主題,是組織數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的,前提,。,subject-oriented(面向主題性)面向主題表,28,integrated(數(shù)據(jù)集成性),數(shù)據(jù)倉(cāng)庫(kù)的,集成性,是指根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行,抽取、篩選、清理、綜合,等工作，使數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)具有集成性。,數(shù)據(jù)倉(cāng)庫(kù)在從業(yè)務(wù)處理系統(tǒng)那里獲取數(shù)據(jù)時(shí)，并不能將源數(shù)據(jù)庫(kù)中的數(shù)據(jù)直接加載到數(shù)據(jù)倉(cāng)庫(kù)中，而是需要進(jìn)行一系列的,數(shù)據(jù)預(yù)處理,，即數(shù)據(jù)的抽取、篩選、清理、綜合等集成工作。,integrated(數(shù)據(jù)集成性)數(shù)據(jù)倉(cāng)庫(kù)的集成性是指根據(jù),29,time-variant 數(shù)據(jù)的時(shí)變性,數(shù)據(jù)倉(cāng)庫(kù)的,時(shí)變性,，就是數(shù)據(jù)應(yīng)該隨著

15、時(shí)間的推移而變化。,盡管數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)并不像業(yè)務(wù)數(shù)據(jù)庫(kù)那樣反映業(yè)務(wù)處理的實(shí)際狀況，但是數(shù)據(jù)也不能長(zhǎng)期不變，如果依據(jù)10前的數(shù)據(jù)進(jìn)行決策分析，那決策所帶來(lái)的后果將是十分可怕的。,time-variant 數(shù)據(jù)的時(shí)變性數(shù)據(jù)倉(cāng)庫(kù)的時(shí)變性，就,30,non-volatile,數(shù)據(jù)的非易失性,數(shù)據(jù)倉(cāng)庫(kù)的,非易失性,是指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)不進(jìn)行更新處理，而是一旦數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，就會(huì),保持一個(gè)相當(dāng)長(zhǎng)的時(shí)間,。原因是數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)大多表示過(guò)去某一時(shí)刻的數(shù)據(jù)，主要用于查詢、分析，不像業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)庫(kù)那樣，要經(jīng)常進(jìn)行修改、添加，除非數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是錯(cuò)誤的。,non-volatile 數(shù)據(jù)的非易失性數(shù)據(jù)倉(cāng)庫(kù)

16、的非易失性是,31,數(shù)據(jù)源,數(shù)據(jù)源是數(shù)據(jù)倉(cāng)庫(kù)的,數(shù)據(jù)來(lái)源,，它是多種OLTP系統(tǒng)及外部文件，,一個(gè)數(shù)據(jù)倉(cāng)庫(kù)往往可以含多個(gè)數(shù)據(jù)源，這些數(shù)據(jù)源可以有多種不同數(shù)據(jù)結(jié)構(gòu)類型，可以有桌面式數(shù)據(jù)庫(kù)如Access，也可以是對(duì)象關(guān)系數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù).同時(shí)，數(shù)據(jù)源也可以包括各種數(shù)據(jù)文件如Excel、Word以及基于WWW的HTML、XML等文件形式。,數(shù)據(jù)源一般可以分布于網(wǎng)絡(luò)的各個(gè)結(jié)點(diǎn)，通過(guò)網(wǎng)絡(luò)中的數(shù)據(jù)接口與數(shù)據(jù)倉(cāng)庫(kù)相互連接。,數(shù)據(jù)源數(shù)據(jù)源是數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)源，它是多種OLTP系統(tǒng)及外部,32,數(shù)據(jù)后端處理,數(shù)據(jù)后端處理：數(shù)據(jù)源中數(shù)據(jù)經(jīng)提取、清洗、轉(zhuǎn)換最終成為數(shù)據(jù)倉(cāng)庫(kù)所需的數(shù)據(jù)。,它的主要工作是為數(shù)據(jù)倉(cāng)庫(kù)提供統(tǒng)一的數(shù)據(jù)并按階段及時(shí)更新這些數(shù)據(jù)。,數(shù)據(jù)后端處理,33,數(shù)據(jù)后端處理,一個(gè)完整的后端處理包括下面5個(gè)方面,1)數(shù)據(jù)提取,2)數(shù)據(jù)清洗,3)數(shù)據(jù)轉(zhuǎn)換,4)數(shù)據(jù)加載,5)數(shù)據(jù)刷新,數(shù)據(jù)后端處理一個(gè)完整的后端處理包括下面5個(gè)方面,34,后端處理4個(gè)環(huán)節(jié)的流程圖,后端處理4個(gè)環(huán)節(jié)的流程圖,35,數(shù)據(jù)倉(cāng)庫(kù)及管理層,1數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)倉(cāng)庫(kù)是存儲(chǔ)分析與決策數(shù)據(jù)的實(shí)體。它一般以關(guān)系結(jié)構(gòu)形式存儲(chǔ)，能支持?jǐn)?shù)據(jù)共享