《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘培訓課件》由會員分享，可在線閱讀，更多相關《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘培訓課件（45頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第

2、四級,第五級,*,29 十一月 2024,Data Mining:Concepts and Techniques,1,數(shù)據(jù)倉庫與數(shù)據(jù)挖掘,任課教師,:,工作單位:,辦公地點：,聯(lián)系電話:,QQ號碼,：,第1章,數(shù)據(jù)倉庫與數(shù),據(jù),據(jù)挖掘概述,第,1,章,1.1 數(shù)據(jù),倉,倉庫的興起,1.2 數(shù)據(jù),挖,挖掘的興起,1.3數(shù)據(jù)倉庫和數(shù),據(jù),據(jù)挖掘的結合,1.1.1,從,從數(shù)據(jù)庫到數(shù),據(jù),據(jù)倉庫,（1）,“,數(shù)據(jù)太多，信,息,息不足,”,的現(xiàn)狀,（2）異構環(huán),境,境的數(shù)據(jù)的轉,換,換和共享,（3）利用數(shù),據(jù),據(jù)進行數(shù)據(jù)處,理,理轉換為利用數(shù)據(jù)支持,決,決策,1.,數(shù)據(jù)庫用于事,務,務處理,數(shù)據(jù)庫中存放

3、,的,的數(shù)據(jù)基本上,是,是保存當前數(shù),據(jù),據(jù)，隨著業(yè)務,的,的變化隨時在,更,更新數(shù)據(jù)庫中,的,的數(shù)據(jù)。,不同的管理業(yè),務,務需要建立不,同,同的數(shù)據(jù)庫。,例,例如，銀行中,儲,儲蓄業(yè)務、信,用,用卡業(yè)務分別,要,要建立儲蓄數(shù),據(jù),據(jù)庫和信用卡,數(shù),數(shù)據(jù)庫。,數(shù)據(jù)庫是為滿,足,足事務處理需,求,求建立的，在,幫,幫助人們進行,決,決策分析時顯,得,得不適用。（,舉,舉例）,數(shù)據(jù)庫的局限,性,性,傳統(tǒng)數(shù)據(jù)庫所,能,能做到的只是,對,對已有的數(shù)據(jù),進,進行存取以及,簡,簡單的查詢統(tǒng),計,計，即使是一,些,些流行的,OLAP,工具，也無非,是,是另一種數(shù)據(jù)展,示,示方式而已。人們仍,然,然無法發(fā)現(xiàn)數(shù)

4、,據(jù),據(jù)中存在的關,系,系和規(guī)則，無,法,法根據(jù)現(xiàn)有的,數(shù),數(shù)據(jù)預測未來,的,的發(fā)展趨勢。,這,這也直接導致,了,了目前,“,數(shù)據(jù),爆,爆炸,但,但知,識,識匱,乏,乏,”,的現(xiàn),狀,狀。,2.,數(shù)據(jù),倉,倉庫,用,用于,決,決策,分,分析,數(shù)據(jù),庫,庫用,于,于事,務,務處,理,理，,數(shù),數(shù)據(jù),倉,倉庫,用,用于,決,決策,分,分析,數(shù)據(jù),庫,庫保,持,持事,務,務處,理,理的,當,當前,狀,狀態(tài),，,，數(shù),據(jù),據(jù)倉,庫,庫既,保,保存,過,過去,的,的數(shù),據(jù),據(jù)又,保,保存,當,當前,的,的數(shù),據(jù),據(jù),數(shù)據(jù),倉,倉庫,的,的數(shù),據(jù),據(jù)是,大,大量,數(shù),數(shù)據(jù),庫,庫的,集,集成,對數(shù),據(jù),據(jù)

5、庫,的,的操,作,作比,較,較明,確,確，,操,操作,數(shù),數(shù)據(jù),量,量少,。,。對,數(shù),數(shù)據(jù),倉,倉庫,操,操作,不,不明,確,確，,操,操作,數(shù),數(shù)據(jù),量,量大,3.,數(shù)據(jù),庫,庫與,數(shù),數(shù)據(jù),倉,倉庫,對,對比,數(shù)據(jù),倉,倉庫,與,與數(shù),據(jù),據(jù)庫,的,的關,系,系,數(shù)據(jù),庫,庫的,應,應用,包,包括,：,：事,務,務型,應,應用,和,和分,析,析型,應,應用,物理,數(shù),數(shù)據(jù),庫,庫實,際,際存,儲,儲的,數(shù),數(shù)據(jù),包,包括,：,：,事務,型,型數(shù),據(jù),據(jù)（,或,或稱,操,操作,數(shù),數(shù)據(jù),）,）和,分,分析,型,型數(shù),據(jù),據(jù)（,也,也可,稱,稱為,匯,匯總,數(shù),數(shù)據(jù),、,、信,息,息數(shù),據(jù),

6、據(jù)）,。,。,起初,，,，兩,類,類數(shù),據(jù),據(jù)放,到,到一,起,起，,即,即分,散,散存,儲,儲在,各,各底,層,層的,業(yè),業(yè)務,數(shù),數(shù)據(jù),庫,庫中,。,。,后來,，,，隨,著,著企,業(yè),業(yè)規(guī),模,模的,擴,擴展,、,、數(shù),據(jù),據(jù)量,的,的增,加,加、,以,以及,希,希望,在,在決,策,策分,析,析時,得,得到,更,更多,支,支持,需,需求,的,的日,益,益迫,切,切，,并,并且,考,考慮,保,保證,原,原有,事,事務,數(shù),數(shù)據(jù),庫,庫的,高,高效,性,性與,安,安全,性,性。,因,因此,將,將分,析,析型,數(shù),數(shù)據(jù),與,與事,務,務型,數(shù),數(shù)據(jù),相,相分,離,離，,單,單獨,存,存放,，,，

7、即,形,形成,了,了所,謂,謂的,數(shù),數(shù)據(jù),倉,倉庫,。,。,數(shù)據(jù)倉庫與數(shù)據(jù),庫,庫的關系,數(shù)據(jù)倉庫只不過,是,是因為用戶需求,增,增加而對某一類,數(shù),數(shù)據(jù)庫應用的一,個,個范圍的界定。,單,單就其是數(shù)據(jù)的,存,存儲容器這一點,而,而言，數(shù)據(jù)倉庫,與,與數(shù)據(jù)庫并沒有,本,本質的區(qū)別。,而且在更多的時,候,候，我們是將數(shù),據(jù),據(jù)倉庫作為一個,數(shù),數(shù)據(jù)庫應用系統(tǒng),來,來看待的。,因此，不應該說,數(shù),數(shù)據(jù)庫到數(shù)據(jù)倉,庫,庫是技術的進步,。,。,1.1.2,從,OLTP,到,OLAP,1.,聯(lián)機事物處理（,OLTP,）,2.,聯(lián)機分析處理（,OLAP,）,3.OLTP,與,OLAP,的對比,1.,聯(lián)機

8、事物處理（,OLTP,）,聯(lián)機事物處理（,On LineTransaction Processing,，,OLTP,）是在網(wǎng)絡環(huán)境,下,下的事務處理工,作,作，以快速的響,應,應和頻繁的數(shù)據(jù),修,修改為特征，使,用,用戶利用數(shù)據(jù)庫,能,能夠快速地處理,具,具體的業(yè)務。,OLTP,是用戶的數(shù)據(jù)可,以,以立即傳送到計,算,算中心進行處理,，,，并在很短的時,間,間內給出處理結,果,果。也稱為實時系統(tǒng),(Real time System),。,OLTP,主要用于包括銀,行,行業(yè)、航空、郵,購,購訂單、超級市,場,場和制造業(yè)等的,輸,輸入數(shù)據(jù)和取回,交,交易數(shù)據(jù)。如銀,行,行為分布在各地,的,的自動取

9、款機,(ATM),完成即時取款交,易,易；機票預定系,統(tǒng),統(tǒng)能每秒處理的,定,定票事務峰值可,以,以達到,20000,個。,OLTP,的特點在于事務,處,處理量大，應用,要,要求多個并行處,理,理，事務處理內,容,容比較簡單且重,復,復率高。,大量的數(shù)據(jù)操作,主,主要涉及的是一,些,些增加、刪除、,修,修改、查詢等操,作,作。每次操作的,數(shù),數(shù)據(jù)量不大且多,為,為當前的數(shù)據(jù)。,OLTP,處理的數(shù)據(jù)是高度結構化的，數(shù)據(jù)訪問路,徑,徑是已知的，至,少,少是固定的。,OLTP,面對的是事務處,理,理操作人員和低,層,層管理人員。,但是，為高層領,導,導者提供決策分,析,析時，,OLTP,則顯得力不從

10、心,。,。,2.,聯(lián)機分析處理（,OLAP,）,E.F.Codd,認為決策分析需要對多個關系,數(shù),數(shù)據(jù)庫共同進行,大,大量的綜合計算,才,才能得到結果。,E.F.Codd,在,1993,年提出了多維數(shù)據(jù)庫和多,維,維分析的概念，,即,即聯(lián)機分析處理（,On LineAnalytical Processing,，,OLAP,）概念。,關系數(shù)據(jù)庫是二,維,維數(shù)據(jù)（平面）,，,，多維數(shù)據(jù)庫是,空,空間立體數(shù)據(jù)。,新的挑戰(zhàn)：如何,不,不被淹沒在信息,的,的海洋里,OLAP,專門用于支持復,雜,雜的決策分析操,作,作，側重對分析,人,人員和高層管理,人,人員的決策支持,，,OLAP,可以應分析人員,的,

11、的要求快速、靈,活,活地進行大數(shù)據(jù),量,量的復雜處理，,并,并且以一種直觀,易,易懂地形式將查,詢,詢結果提供給決,策,策制定人。,OLAP,軟件，以它先進,地,地分析功能和以多維形式提供數(shù)據(jù)的能力,，,，正作為一種支,持,持企業(yè)關鍵商業(yè),決,決策的解決方案,而,而迅速崛起。,OLAP,的基本思想是決策者從多方,面,面和多角度以多維的形式來觀察企業(yè)的狀,態(tài),態(tài)和了解企業(yè)的,變,變化。,3.OLTP,與,OLAP,的對比,OLTP,OLAP,細節(jié)性數(shù)據(jù),綜合性數(shù)據(jù),當前數(shù)據(jù),歷史數(shù)據(jù),經(jīng)常更新,不更新，但周期性刷新,一次性處理的數(shù)據(jù)量小,一次處理的數(shù)據(jù)量大,對響應時間要求高,響應時間合理,面向應

12、用，事務驅動,面向分析，分析驅動,1.1.4,數(shù)據(jù)倉庫的定義,與,與特點,1.數(shù)據(jù)倉庫定,義,義,（1）W.H.Inmon在,建,建立數(shù)據(jù)倉庫,一,一書中，對數(shù)據(jù),倉,倉庫的定義為：,數(shù)據(jù)倉庫是面向,主,主題的、集成的,、,、穩(wěn)定的，不同,時,時間的數(shù)據(jù)集合,，,，用于支持經(jīng)營,管,管理中決策制定,過,過程。,（2）SAS,軟,軟件研,究,究所觀,點,點：,數(shù)據(jù)倉,庫,庫是一,種,種管理,技,技術，,旨,旨在通,過,過通暢,、,、合理,、,、全面,的,的信息,管,管理，,達,達到有,效,效的決,策,策支持,。,。,2.,數(shù)據(jù)倉,庫,庫特點,（1）,數(shù),數(shù)據(jù)倉,庫,庫是面,向,向主題,的,的,是

13、相對,于,于傳統(tǒng),數(shù),數(shù)據(jù)庫,的,的面向,應,應用而,言,言的。,所,所謂面,向,向應用,，,，指的,是,是系統(tǒng),實,實現(xiàn)過,程,程中主,要,要圍繞,著,著一些,應,應用或,功,功能。,而,而面向,主,主題則,考,考慮一,個,個個的問題域，對問,題,題域涉,及,及到的,數(shù),數(shù)據(jù)和,分,分析數(shù),據(jù),據(jù)所采,用,用的功,能,能給予,同,同樣的,重,重視。,主題是,數(shù),數(shù)據(jù)歸,類,類的標,準,準，每,一,一個主,題,題基本,對,對應一,個,個宏觀,的,的分析,領,領域。,例如，,銀,銀行的,數(shù),數(shù)據(jù)倉,庫,庫的主,題,題：客,戶,戶,。,DW的,客,客戶數(shù),據(jù),據(jù)來源,：,：,從銀行儲,蓄,蓄DB,

14、、,、信用,卡,卡DB,、,、貸款DB等三個DB中,抽,抽取同,一,一客戶,的,的數(shù)據(jù),整,整理而,成,成。在D,W,中能全,面,面地分,析,析客戶,數(shù),數(shù)據(jù)，,再,再決定,是,是否繼,續(xù),續(xù)給予,貸,貸款。,（2）,數(shù),數(shù)據(jù)倉,庫,庫是集,成,成的,最重要,的,的特點,。,。數(shù)據(jù),倉,倉庫中,的,的數(shù)據(jù),來,來自各,個,個不同,的,的數(shù)據(jù),源,源（操,作,作數(shù)據(jù),庫,庫）。,由,由于歷,史,史的原,因,因，各,操,操作數(shù),據(jù),據(jù)庫的,組,組織結,構,構往往,是,是不同,的,的，在,這,這些異,構,構數(shù)據(jù),輸,輸入到,數(shù),數(shù)據(jù)倉,庫,庫之前,，,，必須,經(jīng),經(jīng)歷一,個,個集成,過,過程。,對不

15、同,的,的數(shù)據(jù),來,來源進,行,行統(tǒng)一數(shù)據(jù)結,構,構和編,碼,碼。統(tǒng)一原始數(shù),據(jù),據(jù)中的,所,所有矛,盾,盾之處,，,，如字,段,段的同,名,名異義,，,，異名,同,同義，,單,單位不,統(tǒng),統(tǒng)一，,字,字長不,一,一致等,。,。,將原始,數(shù),數(shù)據(jù)結,構,構做一,個,個從面向應,用,用到面向主,題,題的大轉,變,變。,（3）,數(shù),數(shù)據(jù)倉,庫,庫是穩(wěn),定,定的(,不,不可修,改,改的),數(shù)據(jù)倉,庫,庫中包,括,括了大,量,量的歷,史,史數(shù)據(jù),。,。數(shù)據(jù),經(jīng),經(jīng)集成,進,進入數(shù),據(jù),據(jù)倉庫,后,后是極,少,少或根,本,本不更,新,新的。,（4）,數(shù),數(shù)據(jù)倉,庫,庫是隨,時,時間變,化,化的,數(shù)據(jù)倉,

16、庫,庫內的,數(shù),數(shù)據(jù)時,限,限在5,10年,，,，故數(shù),據(jù),據(jù)的鍵,碼,碼包含,時,時間項,，,，標明,數(shù),數(shù)據(jù)的,歷,歷史時,期,期，這,適,適合DSS進,行,行時間,趨,趨勢分,析,析。,而數(shù)據(jù),庫,庫只包,含,含當前,數(shù),數(shù)據(jù)，,即,即存取,某,某一時,間,間的正,確,確的有,效,效的數(shù),據(jù),據(jù)。,（5）,數(shù),數(shù)據(jù)倉,庫,庫的數(shù),據(jù),據(jù)量很,大,大,大型DW的數(shù),據(jù),據(jù)是一,個,個TB,（,（1000GB）級,數(shù),數(shù)據(jù)量,（,（一般,為,為10GB級DW，,相,相當于,一,一般數(shù),據(jù),據(jù)庫100MB的100倍,）,）,（6）,數(shù),數(shù)據(jù)倉,庫,庫軟、,硬,硬件要,求,求較高,需要一,個,個巨大,的,的硬件,平,平臺,需要一,個,個并行,的,的數(shù)據(jù),庫,庫系統(tǒng),1.2,數(shù)據(jù)挖,掘,掘的興,起,起,二十世,紀,紀末以,來,來，全,球,球信息,量,量以驚,人,人的速,度,度急劇,增,增長,據(jù)估計,，,，每二,十,十個月,將,將增加,一,一倍。,許,許多組,織,織機構,的,的,IT,系統(tǒng)中,都,都收集,了,了大量,的,的數(shù)據(jù),（,（信息,）,）。目,前,前的數(shù),據(jù),據(jù)庫系,統(tǒng),統(tǒng)雖然,可,