《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘》由會員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘（29頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,第12章數(shù)據(jù)倉庫與數(shù)據(jù)挖掘,基本概念,數(shù)據(jù)倉庫定義,數(shù)據(jù)倉庫是一個(gè)面向決策主題的、集成的、時(shí)變的、非易失、以讀為主的數(shù)據(jù)集合。,數(shù)據(jù)倉庫系統(tǒng)的分類,Web數(shù)據(jù)倉庫；并行數(shù)據(jù)倉庫；多維數(shù)據(jù)倉庫；壓縮數(shù)據(jù)倉庫等。,OLAP定義,OLAP是針對某個(gè)特定的主題進(jìn)行聯(lián)機(jī)數(shù)據(jù)訪問、處理和分析，通過直觀的方式從多個(gè)維度、多種數(shù)據(jù)綜合程度將系統(tǒng)的運(yùn)營情況展現(xiàn)給用戶。,面向決策主題的,數(shù)據(jù)倉庫圍繞一些主題,排除對于決策無用的數(shù)據(jù),提供特定主體的簡明視圖。,集成的,構(gòu)造數(shù)據(jù)倉庫是將多個(gè)異種數(shù)據(jù)源集成在一起,確保命名約定,編碼

2、結(jié)構(gòu),屬性度量等一致性。,時(shí)變的,數(shù)據(jù)存儲從歷史的角度提供信息.在數(shù)據(jù)倉庫,隱式或顯式地包含時(shí)間元素。,非易失的,數(shù)據(jù)倉庫總是物理地分離存放數(shù)據(jù)；由于這種分離，數(shù)據(jù)倉庫不需要事務(wù)處理，恢復(fù)和并發(fā)控制。通常數(shù)據(jù)倉庫只需要兩種數(shù)據(jù)訪問:數(shù)據(jù)的初始化裝入和數(shù)據(jù)訪問。,以讀為主的,數(shù)據(jù)倉庫中的數(shù)據(jù)主要是提供決策進(jìn)行查詢，一般不一定都需要即時(shí)更新，可以定期刷新或按需刷新。,數(shù)據(jù)倉庫基本特性,數(shù)據(jù)倉庫項(xiàng)目流程管理及系統(tǒng)性能管理和監(jiān)控,OLTP,數(shù)據(jù)源,數(shù)據(jù)倉庫,數(shù)據(jù)集市,數(shù)據(jù)采集及整合,數(shù)據(jù)的映射規(guī)則、模型,。,（元數(shù)據(jù)管理）,數(shù)據(jù)展現(xiàn)及決策,生產(chǎn),財(cái)務(wù),結(jié)算,外部,地區(qū),分析,總量,分析,市場,分析,E

3、,T,L,數(shù)據(jù)分析、DM,終端用戶,終端用戶,數(shù)據(jù)倉庫體系結(jié)構(gòu),數(shù)據(jù)倉庫的結(jié)構(gòu),早期細(xì)節(jié)級,當(dāng)前細(xì)節(jié)級,輕度綜合級,數(shù)據(jù)集市,高度綜合級,元數(shù)據(jù),操作型轉(zhuǎn)換,數(shù)據(jù)倉庫中的幾個(gè)重要概念,ETL,ETL（Extract/Transformation/Load）,用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。,元數(shù)據(jù),關(guān)于數(shù)據(jù)的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義、目標(biāo)定義、轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時(shí)元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息。,Data Mart,數(shù)據(jù)集市-小型的，面向部門或工作組級數(shù)據(jù)倉庫,。,Operat

4、ion Data Store,操作數(shù)據(jù)存儲,ODS,是能支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合，是不同于,DB,的一種新的數(shù)據(jù)環(huán)境,是,DW,擴(kuò)展后得到的一個(gè)混合形式。四個(gè)基本特點(diǎn)：面向主題的(,Subject-Oriented)、,集成的、可變的、當(dāng)前或接近當(dāng)前的。,粒度,數(shù)據(jù)倉庫的數(shù)據(jù)單元中保存數(shù)據(jù)的細(xì)化或綜合程度的級別。細(xì)化程度越高，粒度級就越小；相反，細(xì)化程度越低，粒度級就越大。,分割,結(jié)構(gòu)相同的數(shù)據(jù)可以被分成多個(gè)數(shù)據(jù)物理單元。任何給定的數(shù)據(jù)單元屬于且僅屬于一個(gè)分割。,數(shù)據(jù)倉庫中的幾個(gè)重要概念,(續(xù)),操作數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別,操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理OLTP,數(shù)據(jù)倉庫在數(shù)據(jù)

5、分析和決策方面為用戶提供服務(wù)，這種系統(tǒng)稱為聯(lián)機(jī)分析處理OLAP,基本數(shù)據(jù)模式,星型模式,日期維表,TimeID,Day,Month,Year,銷售事實(shí)表,TimeID,ProductID,RegionID,Sales,Quantity,產(chǎn)品維表,ProductID,ProductName,ClassID,ClassName,CategoryID,CategoryName,地區(qū)維表,RegionD,City,Province,Country,基本數(shù)據(jù)模式（續(xù)1）,雪花模式,銷售事實(shí)表,TimeID,ProductID,RegionID,Sales,Quantity,日期維表,TimeID,day

6、,Month,產(chǎn)品維表,ProductID,ProductName,ClassID,ClassName,地區(qū)維表,RegionID,City,Province,月表,Month,Year,類別表,ClassID,Category ID,CategoryName,省份表,Province,Country,基本數(shù)據(jù)模式（續(xù)2）,多維模型,Cube,（,D,1,D,2,Dn,M,1,M,2,M,m,）,數(shù)據(jù)倉庫的主要應(yīng)用,信息處理,支持查詢和基本的統(tǒng)計(jì)分析，并使用表或圖進(jìn)行報(bào)告。,分析處理,支持基本的OLAP操作，在匯總的和細(xì)節(jié)的歷史數(shù)據(jù)上操作。,數(shù)據(jù)挖掘,支持知識發(fā)現(xiàn)，包括找出隱藏的模式和關(guān)聯(lián)，構(gòu)

7、造分析模型，進(jìn)行分類和預(yù)測，并用可視化工具提供挖掘結(jié)果.,OLAP發(fā)展背景,60年代，關(guān)系數(shù)據(jù)庫之父E.F.Codd提出了關(guān)系模型，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲)。1993年，E.F.Codd提出了OLAP概念，認(rèn)為OLTP已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大型數(shù)據(jù)庫進(jìn)行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。,OLTP數(shù)據(jù) OLAP數(shù)據(jù),原始數(shù)據(jù) 導(dǎo)出數(shù)據(jù),細(xì)節(jié)性數(shù)據(jù) 綜合

8、性和提煉性數(shù)據(jù),當(dāng)前值數(shù)據(jù) 歷史數(shù)據(jù),可更新 不可更新，但周期性刷新,一次處理的數(shù)據(jù)量小 一次處理的數(shù)據(jù)量大,面向應(yīng)用，事務(wù)驅(qū)動 面向分析，分析驅(qū)動,面向操作人員，支持日常操作 面向決策人員，支持管理需要,什么是OLAP？,定義1：OLAP(聯(lián)機(jī)分析處理)是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析。通過對信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進(jìn)行深入觀察。,定義2：OLAP(聯(lián)機(jī)分析處理)是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)

9、的更深入了解的一類軟件技術(shù)。(OLAP委員會的定義),OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報(bào)表需求，它的技術(shù)核心是“維”這個(gè)概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。,OLAP相關(guān)基本概念,1）維：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時(shí)的一類屬性，屬性集合構(gòu)成一個(gè)維(時(shí)間維、地理維等)。,2）維的層次：人們觀察數(shù)據(jù)的某個(gè)特定角度(即某個(gè)維)還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面(時(shí)間維：日期、月份、季度、年)。,3）維的成員：維的一個(gè)取值。是數(shù)據(jù)項(xiàng)在某維中位置的描述。(“某年某月某日”是在時(shí)間維上位置的描述),4）多維數(shù)組：維和變量的組合表示。一個(gè)多維數(shù)組可以表示為：(維

10、1，維2，維n，變量)。(時(shí)間，地區(qū)，產(chǎn)品，銷售額),5）數(shù)據(jù)單元(單元格)：多維數(shù)組的取值。(2000年1月，上海，筆記本電腦，$100000,),OLAP特性,(1)快速性:,用戶對OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對用戶的大部分分析要求做出反應(yīng)。,(2)可分析性:,OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。,(3)多維性:,多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析,包括對層次維和多重層次維的完全支持。,(4)信息性:,不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。,OLAP基本操作,上卷操作

11、：通過維層次，在數(shù)據(jù)立方體上進(jìn)行聚集。,下鉆操作：是上卷操作的逆操作，由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)。,切片和切塊：切片在給定的數(shù)據(jù)立方體的一個(gè)維上進(jìn)行選擇，切塊則是在兩個(gè)或兩個(gè)以上的維進(jìn)行選擇。,旋轉(zhuǎn)操作：是改變維度的位置關(guān)系，使最終用戶可以從其他視角來觀察多維數(shù)據(jù)。,OLTP和OLAP的區(qū)別,用戶和系統(tǒng)的面向性:,OLTP是面向顧客的,用于事務(wù)和查詢處理；,OLAP是面向市場的,用于數(shù)據(jù)分析。,數(shù)據(jù)內(nèi)容:,OLTP系統(tǒng)管理當(dāng)前數(shù)據(jù)；,OLAP系統(tǒng)管理大量歷史數(shù)據(jù),提供匯總和聚集機(jī)制。,數(shù)據(jù)庫設(shè)計(jì):,OLTP采用實(shí)體-聯(lián)系ER模型和面向應(yīng)用的數(shù)據(jù)庫設(shè)計(jì)；,OLAP采用星型或雪花模型和面向主題

12、的數(shù)據(jù)庫設(shè)計(jì)。,視圖:,OLTP主要關(guān)注一個(gè)企業(yè)或部門內(nèi)部的當(dāng)前數(shù)據(jù),不涉及歷史數(shù)據(jù)或不同組織的數(shù)據(jù)；,OLAP則相反，不僅關(guān)注本企業(yè)或組織內(nèi)部的當(dāng)前數(shù)據(jù)，而且更多地涉及到歷史數(shù)據(jù)和其他組織的數(shù)據(jù)。,訪問模式,:,OLTP系統(tǒng)的訪問主要由短的原子事務(wù)組成，這種系統(tǒng)需要并行和恢復(fù)機(jī)制。,OLAP系統(tǒng)的訪問大部分是只讀操作。,OLTP和OLAP的區(qū)別(續(xù)),OLAP,的分析方法(一)切片、切塊,OLAP,的分析方法(二)鉆取,按時(shí)間維向下鉆取,按時(shí)間維向上鉆取,60,OLAP,的分析方法(三)旋轉(zhuǎn),OLAP服務(wù)器類型,關(guān)系OLAP(,ROLAP,)模型,使用關(guān)系或擴(kuò)充關(guān)系DBMS存放并管理數(shù)據(jù)倉庫

13、。,多維OLAP(MOLAP)服務(wù)器,這些服務(wù)器通過基于數(shù)組的多維存儲，支持?jǐn)?shù)組的多維視圖。,混合OLAP(HOLAP)服務(wù)器,結(jié)合ROLAP和MOLAP技術(shù)，得宜于ROLAP的可伸縮性和MOLAP的快速計(jì)算。,數(shù)據(jù)組織形式,RDB,數(shù)據(jù)組織,MDDB,數(shù)據(jù)組織 關(guān)系表中綜合數(shù)據(jù)的存放,多維數(shù)據(jù)庫中綜合數(shù)據(jù)的存放,產(chǎn)品名稱,地區(qū),銷售量,冰箱,東北,50,冰箱,西北,60,冰箱,華北,100,彩電,東北,40,彩電,西北,70,彩電,華北,80,空調(diào),東北,90,空調(diào),西北,120,空調(diào),華北,140,東北,西北,華北,冰箱,50,60,100,彩電,40,70,80,空調(diào),90,120,14

14、0,產(chǎn)品名稱,地區(qū),銷售量,冰箱,東北,50,冰箱,西北,60,冰箱,華北,100,冰箱,總和,210,彩電,東北,40,彩電,西北,70,彩電,華北,80,彩電,總和,190,空調(diào),東北,90,空調(diào),西北,120,空調(diào),華北,140,空調(diào),總和,350,總和,東北,180,總和,西北,250,總和,華北,320,總和,總和,750,東北,西北,華北,總和,冰箱,50,60,100,210,彩電,40,70,80,190,空調(diào),90,120,140,350,總和,180,250,320,750,ROLAP體系結(jié)構(gòu),SQL,Result,Set,Info.,Request,Result,Set,

15、Database Server,R,DBMS,Front-end Tool,ROALP Architecture,ROLAP Server,Metadata,Request,Processing,MOLAP體系結(jié)構(gòu),SQL,Result,Set,Info.,Request,Result,Set,Load,Database Server,RDBMS,Front-end Tool,MOALP Architecture,MOLAP Server,Metadata,Request,Processing,HOLAP體系結(jié)構(gòu)(續(xù)),Result Set,SQL Query,SQL,Result,Set,I

16、nfo.,Request,Result,Set,Load,Database Server,RDBMS,Front-end Tool,Hybrid Architecture,MOLAP Server,用戶圖形界面API,數(shù)據(jù)庫,數(shù)據(jù)倉庫,數(shù)據(jù)庫,元數(shù)據(jù),OLAM,引擎,OLAP,引擎,MDDB,數(shù)據(jù)方API,數(shù)據(jù)庫API,基于約束的數(shù)據(jù)挖掘,數(shù)據(jù)清理,過濾,挖掘結(jié)果,數(shù)據(jù)集成,數(shù)據(jù)過濾,數(shù)據(jù)集成,第一層,數(shù)據(jù)存儲,第二層,多維數(shù)據(jù)庫,第三層,OLAP/OLAM,第四層,用戶界面,一個(gè)集成的OLAM和OLAP結(jié)構(gòu),OLAP的Web表現(xiàn)方式,靜態(tài)方法,靜態(tài)HTML報(bào)表,動態(tài)方法,通過HTML模板及元數(shù)據(jù)動態(tài)生成報(bào)表,改進(jìn)方法,使用Java或ActiveX,CGI,API,HTML,Java Scrip,ActiveX,客戶瀏覽器,Web服務(wù)器應(yīng)用,OLAP Server,基于Web的OLAP結(jié)構(gòu),Database Server,