《數據倉庫與數據挖掘的決策支持》由會員分享，可在線閱讀，更多相關《數據倉庫與數據挖掘的決策支持（122頁珍藏版）》請在裝配圖網上搜索。

1、,,,,,,,單擊此處編輯母版標題樣式,,單擊此處編輯母版文本樣式,,第二級,,第三級,,第四級,,第五級,,,*,第5章,,數據倉庫與數據挖掘,,的決策支持,,,5.1 數據倉庫的基本原理,5.1.1 數據倉庫概念,,5.1.2 數據倉庫結構,,5.1.3 數據集市,,5.1.4 元數據,,5.1.1 數據倉庫的概念,（1）在《建立數據倉庫》一書中，對數據倉庫的定義為：,,,數據倉庫是面向,主題的,、,集成的,、,穩(wěn)定的,，,不同時間,的數據集合，用于支持經營管理中,決策制定,過程。,,,1、數據倉庫的概念,（2）SAS軟件研究所定義：,,,數據倉庫是一種,管理技術,，旨在通過,通暢,、,合

2、理,、,全面,的信息管理，達到有效的決策支持。,,1、數據倉庫的概念,,傳統(tǒng)數據庫用于事務處理，也叫,操作型處理,，是指對數據庫聯(lián)機進行日常操作，即對一個或一組記錄的查詢和修改，主要為企業(yè),特定的應用,服務的。用戶關心的是響應時間，數據的安全性和完整性。,,數據倉庫用于決策支持，也稱,分析型處理,，用于決策分析，它是建立決策支持系統(tǒng)（DSS）的基礎。,,操作型數據（DB數據）與,,分析型數據（DW數據）之間的差別為：,,2、數據倉庫特點,（1）數據倉庫是面向主題的,,主題是數據,歸類,的標準，每一個主題基本對應一個宏觀的分析領域。,,例如，銀行的數據倉庫的主題：客戶,,DW的客戶數據來源：,,

3、從,銀行儲蓄DB、信用卡DB、貸款DB,等三個DB中抽取同一客戶的數據整理而成。,,在,D,W,中分析客戶數據，可決定是否繼續(xù)給予貸款,,2、數據倉庫特點,（2）數據倉庫是集成的,,數據進入數據倉庫之前，必須經過加工與集成,,對,不同的,數據來源進行統(tǒng)一數據結構和編碼,,統(tǒng)一原始數據中的所有,矛盾,之處，如字段的,同名異義,，,異名同義,，單位不統(tǒng)一，字長不一致等。,,,總之,,,將原始數據結構做一個從,面向應用,到,面向主題,的大轉變。,,2、數據倉庫特點,（3）數據倉庫是穩(wěn)定的,,數據倉庫中包括了大量的歷史數據。數據經集成進入數據倉庫后是,極少,或,根本,不更新的。,,（4）數據倉庫是隨時

4、間變化的,,數據倉庫內的數據時限在,5,~,10,年，故數據的鍵碼包含時間項，標明數據的歷史時期，這適合DSS進行,時間趨勢分析,。,,,數據庫只包含當前數據，即存取某一時間的正確的有效的數據。,,2、數據倉庫特點,,(5)數據倉庫的數據量大.,,,大型DW是一個TB（1000GB）級數據庫問題（一般為10GB級相當于一般數據庫100MB的100倍）,,,(6)數據倉庫的硬件要求較高,,,需要一個巨大的硬件平臺需要一個并行的數據庫系統(tǒng).,,,最好的數據倉庫是大的和昂貴的。,,,近期基本數據：,是最近時期的業(yè)務數據，是數據倉庫用戶,最感興趣,的部分，數據量大。,,,歷史基本數據：,近期基本數據,

5、隨時間的推移，由數據倉庫的,時間控制機制,轉為歷史基本數據。,,,輕度綜合數據：,是從,近期基本數據,中提取出的，這層數據是按時間段選取，或者按數據屬性（attributes）和內容（contents）進行綜合。,,高度綜合數據層：,這一層的數據是在,輕度綜合數據,基礎上的再一次綜合，是一種準決策數據。,5.1.2 數據倉庫結構,,,元數據:,整個數據倉庫的組織結構由元數據組織,它不包含數據倉庫中的,實際數據信息,。,,,作用：,,（1）定位數據倉庫的目錄內容,,（2）數據從,業(yè)務環(huán)境,向,數據倉庫環(huán)境,傳遞時數據倉庫的目錄內容,,（3）指導從,當前基本數據,到,輕度綜合數據,到,高度綜合數

6、據,的綜合算法的選擇。,,,組成：,,,（1）數據結構,,（2）用于綜合的算法,,（3）從業(yè)務環(huán)境到DW規(guī)劃,5.1.2 數據倉庫結構,,數據倉庫結構圖,,1.數據集市的產生,,數據倉庫工作范圍和成本常常是巨大的。開發(fā)數據庫是,代價很高,、,時間較長,的大項目。提供更緊密集成的數據集市就應運產生。,,目前，全世界對數據倉庫,總投資的一半,以上均集中在數據集市上。,5.1.3 數據集市（Data Mart）,,,數據集市（Data Marts）是一種,更小,、,更集中,的數據倉庫，為公司提供分析商業(yè)數據的一條廉價途徑。,,數據集市是指具有,特定應用,的數據倉庫，主要針對某個應用或者具體部門級

7、的應用，支持用戶獲得競爭優(yōu)勢或者找到進入新市場的具體解決方案,2.數據集市概念,,3.數據集市與數據倉庫的,關系,數據集市不等于數據倉庫，多個數據集市簡單合并起來不能成為數據倉庫。,,各數據集市之間對詳細數據和歷史數據的存儲,存在大量冗余,。,,同一個問題在不同的數據集市的查詢結果,可能不一致，甚至互相矛盾。,,各數據集市之間以及與源數據庫系統(tǒng)之間,難以管理,。,,1、規(guī)模小,,2、特定的應用,,3、面向部門,,4、由業(yè)務部門定義，設計和開發(fā),,5、由業(yè)務部門管理和維護,,6、快速實現,,7、購買較便宜,,8、投資快速回收,,9、工具集的緊密集成,,10、更詳細的、預先存在的數據倉庫的摘要子集

8、,,11、可升級到完整的數據倉庫,4.數據集市的特性,,,5.兩種數據集市結構,從屬數據集市(Dependent Data Mart),,從屬：,數據直接來自中央數據庫，能夠保持數據的一致性。,,關鍵業(yè)務部門建立從屬的數據集市，可以很好的查詢反應速度。,,,5.兩種數據集市結構,獨立數據集市(Independent Data Mart),獨立：,數據直接來自各生產系統(tǒng)。,,從投資考慮，用來解決各個部門比較迫切的決策問題。,,6.數據集市與數據倉庫的,差別,數據倉庫是基于,整個企業(yè),的數據模型建立的，它面向企業(yè)范圍的主題；,,數據集市是按照,某一特定部門,的數據模型建立的，由于每個部門有自己特定

9、的需求，因此，對他們對數據集市的期望也不一樣，也稱作部門級數據倉庫,,部門的主題與企業(yè)的主題之間可能存在關聯(lián)，也可能不存在關聯(lián)。,,數據集市的數據組織一般采用星形模型，大型數據倉庫的數據組織采用第三范式。,,,元數據,是數據倉庫的重要組成部分。元數據描述了數據倉庫的數據和環(huán)境，即,關于數據的數據,(meta data)。,元數據,就相當于數據庫系統(tǒng)中的,數據字典,,元數據包括四種元數據,,關于,數據源,的元數據,,關于,數據模型,的元數據,,關于,數據倉庫映射,的元數據,,關于,數據倉庫使用,的元數據,5.1.4 元數據,,它是現有的業(yè)務系統(tǒng)的數據源的描述信息。這類元數據是對,不同平臺,上的

10、數據源的,物理結構,和,含義,的,描述,。具體為：,,（1）數據源中所有物理數據結構，包括所有的數據項及數據類型。,,（2）所有數據項的業(yè)務定義。,,（3）每個數據項更新的頻率，以及由誰或哪個過程更新的說明。,,（4）每個數據項的有效值。,1、關于,數據源,的元數據,,,這類元數據描述了數據倉庫中有什么數據以及數據之間的關系,它們是用戶使用管理數據倉庫的基礎。這類元數據可以,支持用戶,從數據倉庫中,獲取數據。,,,,數據倉庫的數據模型是星型模型。,,通常,企業(yè)數據模型,被用作建立倉庫數據模型的,起始點,，再對模型加以修改和變換。,,2、關于,數據模型,的元數據,,,這類元數據是數據源與數據倉庫

11、數據間的映射。,,,當數據源中的一個數據項與數據倉庫建立了映射關系，就應該記下這些數據項發(fā)生的任何變換或變動。,即用元數據反映數據倉庫中的數據項是從哪個特定的數據源填充的，經過那些轉換、變換和加載過程,3、關于,數據倉庫映射,的元數據,,3、關于,數據倉庫映射,的元數據,一個抽取要經過以下幾個步聚,,獲取,,過濾,,驗證,,融合,,綜合,,裝載,,存檔,從源系統(tǒng)的數據到數據倉庫中的目標數據的轉移是一項復雜的工作，其工作量占整個數據倉庫開發(fā)的,70%,,這類元數據是數據倉庫中信息的使用情況描述。,,數據倉庫的用戶最關心的是兩類元數據：,,,（1）元數據告訴數據倉庫中有什么數據，它們從哪里來。即,

12、如何按主題查看數據倉庫的內容,。,,（2）元數據提供,已有的可重復利用的查詢語言信息,。如果某個查詢能夠滿足他們的需求，或者與他們的愿望相似，他們就可以再次使用那些查詢而不必從頭開始編程。,,關于數據倉庫使用的元數據能幫助用戶到數據倉庫查詢所需要的信息，用于解決企業(yè)問題。,4、關于,數據倉庫使用,的元數據,,5.2 數據倉庫系統(tǒng),,5.2.1數據倉庫系統(tǒng)結構,,,數據倉庫系統(tǒng)由數據倉庫（DW）、倉庫管理和分析工具三部分組成,,1、數據倉庫管理系統(tǒng),（1）定義部分,,,用于定義和建立數據倉庫系統(tǒng)。它包括：,,設計和定義數據倉庫的數據庫,,定義數據來源,,確定從源數據向數據倉庫復制數據時的清理和

13、增強規(guī)則,,（,2,）數據獲取部分,,,該部件把數據從源數據中提取出來，依定義部件的規(guī)則，抽取、轉化和裝載數據進入數據倉庫。,,,,（3）管理部分,,它用于管理數據倉庫的工作，包括：,,對數據倉庫中數據的維護,,把倉庫數據送出給分散的倉庫服務器或,DSS,用戶,,對倉庫數據的安全、歸檔、備份、恢復等處理工作,,1、數據倉庫管理系統(tǒng),,（4）信息目錄部件（元數據）,,,數據倉庫的目錄數據是元數據，由三部分組成：,,,技術目錄：,由定義部件生成，關于數據源、目標、清理規(guī)則、變換規(guī)則以及數據源和倉庫之間的映象信息。,,,業(yè)務目錄：,由倉庫管理員生成，關于倉庫數據的來源及當前值；預定義的查詢和報表細節(jié)

14、；合法性要求等。,,,信息引導器：,使用戶容易訪問倉庫數據。利用固定查詢或建立新的查詢，生成暫時的或永久的倉庫數據集合的能力等。,,（5）DBMS部分,,,DW的存儲形式仍為關系型數據庫。,1、數據倉庫管理系統(tǒng),,,分析工具集分兩類工具：,,（1）查詢工具,,數據倉庫的查詢不是指對記錄級數據的查詢，而是指對分析要求的查詢。,,一般包含：,,,可視化工具：,以圖形化方式展示數據，可以幫助了解數據的結構、關系以及動態(tài)性。,2、數據倉庫,工具集,,,多維分析工具（OLAP工具）:,,通過對信息的多種可能的觀察形式進行快速、一致和交互性的存取，這樣便利用戶對數據進行深入的分析和觀察。,,多維數據的每一

15、維代表對數據的一個特定的觀察視角，如時間、地域、業(yè)務等。,2、數據倉庫工具集,,（2）數據挖掘工具,,,從大量數據中挖掘具有規(guī)律性知識，需要利用數據挖掘（Data Mining）工具。,2、數據倉庫工具集,,3、數據倉庫的,運行結構,,數據倉庫應用是一個典型的客戶/服務器（C/S）結構形式,,數據倉庫采用服務器結構，客戶端所做的工作有：客戶交互、格式化查詢、結果顯示、報表生成等。,,服務器端完成各種輔助決策的SQL查詢、復雜的計算和各類綜合功能等。,,現在，越來越普通的一種形式是三層C/S結構形式，即在客戶與數據倉庫服務器之間增加一個多維數據分析（OLAP）服務器。,,,OLAP服務器將,加強

16、,和,規(guī)范化,決策支持的服務工作，集中和簡化了原客戶端和數據倉庫服務器的部分工作，,降低了系統(tǒng)數據傳輸量,。,,,這種結構形式工作效率更高。,三層C/S結構,,5.2.2 數據倉庫的存儲,數據倉庫存儲采用多維數據模型。,,維就是相同類數據的集合，商店、時間和產品都是維,,各個商店的集合是一維，時間的集合是一維，商品的集合是一維。每一個商店、每一段時間、每一種商品就是某一維的一個成員。,,每一個銷售事實由一個特定的商品、一個特定的時間、一個特定的商品組成。,,兩維表，如通常的電子表格。三維構成立方體，若再增加一維，則圖形很難想象，也不容易在屏幕上畫出來。,,,數據倉庫是以多維表型的“維表—事實

17、表”結構形式組織的，共有三種形式：,,1、星型模型,,大多數的數據倉庫都采用“星型模型”。星型模型是由“事實表”（大表）以及多個“維表”（小表）所組成。,,“事實表”中存放大量關于企業(yè)的事實數據（數量數據）。,,例如：多個時期的數據可能會出現在同一個“事實表”中。,,“維表”中存放描述性數據，維表是圍繞事實表建立的較小的表,5.2.2 數據倉庫的存儲,,,2、雪花模型,,雪花模型是對星型模型的擴展，雪花模型對星型模型的維表進一步層次化，,原來的各維表可能被擴展為小的事實表,，形成一些局部的“層次”區(qū)域。,,它的優(yōu)點是最大限度地,減少,數據存儲量，以及把,較小,的維表聯(lián)合在一起來改善查詢性能。

18、,,在上面星型模型的數據中 ，對“產品表”“日期表”“地區(qū)表”進行擴展形成雪花模型數據見下圖。,5.2.2 數據倉庫的存儲,,,3、星網模型,,星網模型是將多個星型模型連接起來形成網狀結構。多個星型模型通過相同的維，如時間維，連接多個事實表。,5.2.2 數據倉庫的存儲,,第（,2）部分,,5.3 聯(lián)機分析處理（OLAP）,,,,5.4 數據倉庫的決策支持,,,5.3 聯(lián)機分析處理,聯(lián)機分析處理（On Line Analytical Processing，OLAP）,的概念最早是由關系數據庫之父(科德)于1993年提出的。,,在數據倉庫系統(tǒng)中，聯(lián)機分析處理是重要的數據分析工具,。,,OLA

19、P的基本思想是從,多方面,和,多角度,以多維的形式來觀察企業(yè)的狀態(tài)和了解企業(yè)的變化。,,,5.3.1,基本概念,OLAP,是在,OLTP,(聯(lián)機事務處理系統(tǒng) )的基礎上發(fā)展起來的。,,OLTP,是以數據庫為基礎的，面對的是操作人員和低層管理人員，對基本數據的查詢和增、刪、改等進行處理。,,OLAP,是以數據倉庫為基礎的數據分析處理。它有兩個特點：,,一是在線性（On Line），由客戶機/服務器這種體系結構來完成的；,,二是多維分析，這也是OLAP的核心所在。,,1、OLAP的定義,聯(lián)機分析處理是共享多維信息的快速分析。,,它體現了四個特征：,,（1）快速性,：用戶對OLAP的快速反應能力有很

20、高的要求。,,（2）可分析性,：OLAP系統(tǒng)應能處理任何邏輯分析和統(tǒng)計分析。,,（3）多維性,：系統(tǒng)必須提供對數據分析的多維視圖和分析。,,（4）信息性,：OLAP系統(tǒng)應能及時獲得信息，并且管理大容量的信息。,,,2、OLAP準則,,1993年，提出OLAP的12條準則，其主要的準則有：,,,1）多維數據分析；,,2）客戶/服務器結構；,,3）多用戶支持；,,4）一致的報表性能等。,,,,2、OLAP準則,,多維概念視圖,,企業(yè)的數據空間本身就是多維的。因此,OLAP,的概念模型也應是多維的。,,用戶可以對多維數據模型進行,切片、切塊、旋轉坐標或進行多維的聯(lián)合,（概括和聚集）分析。,,,,穩(wěn)定

21、的報表性能,,報表操作,不應,隨維數增加而削弱，即當數據維數和數據的綜合層次增加時，,提供的報表能力和響應速度不應該有明顯的降低,。,,2、OLAP準則,,,,客戶,/,服務器體系結構,,,OLAP,是建立在客戶,/,服務器體系結構上的。,,要求多維數據庫服務器能夠被不同的應用和工具所訪問。,2、OLAP準則,,,,多用戶支持,,,當多個用戶要在同一分析模式上并行工作，需要這些功能的支持。,,靈活的報表生成,,,報表必須,充分反映,數據分析模型的,多維特征,，并可按用戶需要的方式來顯示它。,,2、OLAP準則,,,3、OLAP的基本概念,OLAP是針對特定問題的聯(lián)機數據訪問和分析。,,,（1）

22、變量,：變量是數據的實際意義，即描述數據“是什么”。,,,（2）維,：維是人們觀察數據的特定角度。如產品維、顧客維、時間維等。,,,（3）維的層次,：數據的細節(jié)不同程度為維的層次。如日、月、季、年是時間維的層次。,,,（4）維成員,：維的一個取值稱為該維的一個維成員。如“某年某月某日”是時間維的一個成員。,,3、OLAP的基本概念,5）多維數組,：一個多維數組可以表示為：,,（維1，維2，……，維n，變量）,,一個5維的結構，即（產品，地區(qū)，時間，銷售渠道，銷售額）。,,（6）數據單元（單元格）,：,,多維數組的取值稱為數據單元。,,如：5維數據單元（牙膏，上海，1998年12月，批發(fā)，銷售額

23、為100000）。,,,,4、OLAP與OLTP的關系與比較,（1）OLTP,(聯(lián)機事務處理系統(tǒng) ),,OLTP是低層人員利用計算機網絡對數據庫中的數據進行查詢、增、刪、改等操作，以完成事務處理工作。,,OLTP利用數據庫快速地處理具體業(yè)務。OLTP應用要求多個查詢并行。,,,,4、OLAP與OLTP的關系與比較,（2）OLAP,,OLAP是高層人員對數據倉庫進行信息分析處理。,,①存取大量的數據,,②包含聚集的數據,,③按層次對比不同時間周期的聚集數據,,④以不同的方式來表現數據,,⑤要包含數據元素之間的復雜的計算,,⑥能夠快速的響應用戶的查詢,,,,4、OLAP與OLTP的關系與比較,（3

24、）OLAP與OLTP對比（對比表）,,OLTP,,OLAP,,數據庫數據,,數據倉庫數據,,細節(jié)性數據,,綜合性數據,,當前數據,,歷史數據,,一次性處理的數據量小,,一次處理的數據量大,,對響應時間要求高,,響應時間合理,,用戶數量大,,用戶相對較少,,面向應用，事務驅動,,面向分析，分析驅動,,,,5.3.2 OLAP的數據組織,,MOLAP(多維OLAP),和,ROLAP(關系OLAP),是OLAP的兩種具體形式：,,ROLAP,是基于,關系數據庫,存儲方式建立的OLAP。多維數據映射成平面型的關系表。采用星型模型。,,MOLAP,是基于,多維數據庫,存儲方式建立的OLAP；表現為“超立

25、方”結構，類似于多維數組的結構。,,在分析中，需要“旋轉”數據立方體以及“切片” 、“切塊”等操作。,,,MOLAP和ROLAP的對比表,MOLAP,ROLAP,,固定維,,可變維,,維交叉計算,,多維視圖,,行級計算,,超大型數據庫,,讀-寫應用,,維數據變化速度快,,數據集市,,數據倉庫,,,例如，以“產品、城市、時間”三維數據，如圖,,5.3.3 OLAP的決策支持：,,OLAP多維數據分析,,1、基本功能：切片和切塊,,對三維數據，通過“切片” ，分別從城市和產品等不同的角度觀察銷售情況：,,,2）鉆 取,鉆?。豪?，1995年各部門銷售收入表如下：,,對時間維進行下鉆操作，獲得新表如

26、下：,鉆 ?。ɡm(xù)）,,旋轉前的數據,旋 轉,,,旋轉后的數據,旋 轉（續(xù)）,,,旋轉后再切片,,,假設有一個5維數據模型，5個維分別為：商店，方案，部門，時間，銷售。,,,,1．三維表查詢,,在指定“商店=ALL，方案=現有”情況的三維表（行為部門，列為時間和銷售量）,、OLAP實例,,,,,1994,,1995,,%,增長率,,銷售量,,利潤增長,%,,銷售量,,利潤增長,%,,銷售量,,利潤增長,,服裝,,234,670,,27.2,,381,102,,21.5,,62.4,,(20.0),,家具,,62,548,,33.8,,66,005,,31.1,,5.6,,(8.0),,汽車,,3

27、75,098,,22.4,,325,402,,27.2,,(13.2),,21.4,,所有其它,,202,388,,21.3,,306,677,,21.7,,50.7,,1.9,,指定商店、方案后的三維表,,,,,1994,,1995,,%增長率,,銷售,,利潤增長%,,銷售,,利潤增長%,,銷售,,利潤增長,,汽車,,375,098,,22.4,,325,402,,27.2,,(13.2),,21.4,,維修,,195,051,,14.2,,180,786,,15.0,,(7.3),,5.6,,附件,,116,280,,43.9,,122,545,,47.5,,5.3,,8.2,,音樂,,6

28、3,767,,8.2,,22,071,,14.2,,(63.4),,7.3,,2、向下鉆取,,對汽車部門向下鉆取出具體項目的銷售情況和利潤增長情況。,,,,,1995,,Sales,,服裝,,381,102,,家具,,66,005,,汽車,,325,402,,所有其它,,306,677,,3、切片表,,切片（Slice）操作是除去一些列或行不顯示,,,,,1995,,銷售量,,現有,,計劃,,差量,,差量%,,服裝,,381,102,,350,000,,31,102,,8.9,,家具,,66,005,,69,000,,(2,995),,(4.3),,汽車,,325,402,,300,000,,

29、25,402,,8.5,,所有其它,,306,677,,350,000,,(44,322),,12.7,,4、旋轉表,,這次旋轉操作得到1995年的交叉表方案為：現有、計劃、 差量、差量%。,,5.4.2 數據倉庫的決策支持,美國著名的NCR數據倉庫公司對數據倉庫總結5種決策支持能力。,,,1、報表,,2、隨機分析,,3、預測,,4、實時決策,,5、事件觸發(fā)的自動決策,,,1、報表,數據倉庫所面臨的,最大挑戰(zhàn)是數據集成,。傳統(tǒng)的環(huán)境經常有上百個數據源，每一數據源都有各自定義的標準和實施技術。,,建立的數據倉庫是通過收集各種來源的數據，來,回答預先設置的一些問題，告訴決策者“發(fā)生了什么”,。它為

30、以后數據倉庫的發(fā)展奠定了基礎。,,,,2、隨機分析,數據倉庫應用的第二種決策支持是，,從“發(fā)生了什么”轉向“為什么會發(fā)生”。,分析活動就是了解報表數據的涵義，需要更多更詳細的數據進行各種角度的分析。在第二階段的數據倉庫主要用于隨機分析。,,,,3、預測,數據倉庫的第三種決策支持是幫助決策者來預測未來，,回答“將要發(fā)生什么”,。,,數據倉庫需要利用歷史資料創(chuàng)建預測模型。,,4、實時決策,數據倉庫的第4種決策支持是企業(yè)需要準確了解,“正在發(fā)生什么”,，從而需要建立動態(tài)數據倉庫（實時數據庫），用于支持戰(zhàn)術型決策，即實時決策。有效地解決當前的實際問題。,,第1到第3種決策支持的數據倉庫都以支持企業(yè),內

31、部戰(zhàn)略性決策為重點,，幫助企業(yè)制定發(fā)展戰(zhàn)略。,,,第4種決策支持側重在戰(zhàn)術性決策支持。,,動態(tài)數據倉庫能夠逐項產品、逐個店鋪、逐秒地作出最佳決策支持。,,,5、事件觸發(fā)的自動決策,數據倉庫的第5種決策支持是由事件觸發(fā)，利用動態(tài)數據庫自動決策，,達到“希望發(fā)生什么”,。,,例如，電子貨架標簽技術結合動態(tài)數據倉庫，可以幫助企業(yè)按照自己的意愿實現復雜的價格管理自動化，以便以最低的損耗售出最多的存貨。,,,5.5 知識發(fā)現與數據挖掘,,,5.6 數據挖掘的決策支持及應用,第（3）部分,,演變階段,商業(yè)問題,支持技術,產品廠家,產品特點,數據搜集（20,,世紀60年代）,數據訪問（20,,世紀80年代）

32、,數據倉庫決策,,支持（20世紀,,90年代,數據挖掘（正,,在流行）,“過去五年中整個有關,,聯(lián)鎖超市總收入是,,多少？”,“聯(lián)鎖超市第一分部去,,年三月的銷售額是,,多少？”,“聯(lián)鎖超市第一分部去,,年三月的銷售額是多,,少？第二分部據此可,,得出什么結論？”,“下個月第二分部的,,銷售會怎么樣？,,為什么？”,計算機、磁帶和磁盤,關系數據庫,,（RDBMS），,,查詢語言（SQL），,,ODBC,OLAP、多維數據庫和,,數據倉庫,高級算法、多處理器,,計算機和海量數據庫,IBM和CDC,Oracle、Sybase,,、Informix、,,IBM和,,Microsoft,Pilot、C

33、omshare,,、Arbor、,,Cognos和,,Microstrategy,Pilot、Lockheed,,、IBM、SGI,,和其他初創(chuàng)公司,提供歷史性的靜態(tài),,的數據,在記錄級提供歷史性,,動態(tài)數據,在各種層次上提供,,回溯的動態(tài)數據,提供預測性信息,表5-1 數據挖掘的演變進程,,產 品,Clementine,Darwin,Data mining Workstation,Data Engine,IBM Intelligent Miner,F-DBMS,IDIS,Information Harvester,Knowledge Seeker,Neural Ware,Priso

34、n,Re Mind,技 術,供應商,規(guī)則歸納,神經網絡、遺傳算法等,神經網絡,神經網絡、模糊邏輯、信號處理,多種技術,分數維,規(guī)則發(fā)現,模糊專家系統(tǒng),規(guī)則發(fā)現、決策樹,神經網絡,神經網絡,基于實例的推理、歸納邏輯,Ingegral Solutions,Thinking Machines Corp.,HNC Software Inc.,MIT Gmbh,IBM Corp.,Cross/Z International Inc.,Informational Discovery Inc.,Informational Harvesting,Angoss Software Int’1 Ltd..

35、,Neural Ware Inc.,Nestor Inc.,Cognitive Systems,表5-2 一些主要的數據挖掘產品,,數據挖掘的興起,（1）80年在美國召開了第一屆國際機器學習研討會；,,（2）89年8月于美國底特律市召開的第一屆KDD國際學術會議；,,（3）95年在加拿大召開了第一屆知識發(fā)現和數據挖掘國際學術會議；,,（4）我國于87年召開了第一屆全國機器學習研討會。,,5.5.1 知識發(fā)現與數據挖掘概念,知識發(fā)現（KDD）：,從數據中發(fā)現有用知識的整個過程。,,KDD過程定義：,,,從數據集中提取出可信的、新穎的、潛在有用的,以及最終可理解的,模式,的高級處理過程。,,,“模

36、式”,可以看成是,“知識”,的雛形，經過驗證、完善后形成知識。,,數據挖掘（DM）：,KDD過程中的一個特定步驟，它用專門算 法從數據中抽取模式（patterns）。,,,數據源,數據,數據集成,目標數據,預處理后,,數據,轉換數據,模式,知識,數據選擇,預處理,數據挖掘,數據轉換,結果表達和解釋,數據準備,數據挖掘,結果表達和解釋,KDD過程,,5.5.2 數據挖掘方法和技術,（一）歸納學習方法,,分為兩大類：信息論方法（決策樹方法）和集合論方法,,,1、信息論方法（決策樹方法）,,利用信息論的原理建立決策樹或者是決策規(guī)則樹。,,,（1）ID3方法：,Quiula

37、n研制的ID3方法是利用信息論中互信息建立決策樹。,,,（2）IBLE方法：,我們研制的IBLE方法，是利用信息論中信道容量，尋找數據庫中信息量大的多個字段的取值建立決策規(guī)則樹。,,2、集合論方法,,,（1）粗糙集（Rough Set）方法,,對數據庫中的條件屬性集與決策屬性集建立上下近似關系，對下近似集合建立確定性規(guī)則，對上近似集合建立不確定性規(guī)則（含可信度）。,,（2）關聯(lián)規(guī)則挖掘,,,在交易事務數據庫中，挖掘出不同商品集的關聯(lián)關系，即發(fā)現哪些商品頻繁地被顧客同時購買。,5.5.2 數據挖掘方法和技術,,（二）仿生物技術,,仿生物技術典型的方法是神經網絡方法和遺傳算法。,,,1、神經網絡方

38、法：,包括：前饋式網絡、反饋式網絡、自組織網絡等多個神經網絡方法。,,,2、遺傳算法：,這是模擬生物進化過程的算法。,,它由三個基本算子組成：,,繁殖（選擇）、交叉（重組）、變異（突變）,,遺傳算法起到產生優(yōu)良后代的作用，經過若干代的遺傳，將得到滿足要求的后代（問題的解）。,5.5.2 數據挖掘方法和技術,,（三）公式發(fā)現,,,在工程和科學數據庫中對若干數據項（變量） 進行一定的數學運算，求得相應的數學公式。,,,,1．物理定律發(fā)現系統(tǒng)BACON,,,BACON發(fā)現系統(tǒng)完成了物理學中大量定律的重新發(fā)現。,,,,2．經驗公式發(fā)現系統(tǒng)FDD,,,我們研制了FDD發(fā)現系統(tǒng)，尋找由數據項的初等函數或復

39、合函數組合成的經驗公式。,,,,5.5.2 數據挖掘方法和技術,,（四）統(tǒng)計分析方法,,,利用統(tǒng)計學原理通過對總體中的樣本數據進行分析得出描述和推斷該總體信息和知識的方法。,,（五）模糊數學方法,,,利用模糊集合理論進行數據挖掘，如模糊聚類、模糊分類等。,,（六）可視化技術,,,利用可視化技術分析數據庫，找到潛在的有用信息。,5.5.2 數據挖掘方法和技術,,5.5.3 數據挖掘的知識表示（一）,主要有四種：,規(guī)則、決策樹、濃縮數據、公式。,,,1、規(guī)則,,規(guī)則知識由,前提條件,和,結論,兩部分組成,,,前提條件,由字段項（屬性）的取值的合?。ㄅc,?,）

40、 和析?。ɑ??,）組合而成。,,,,結論,為決策字段項（屬性）的取值或者類別組成。,,,,2、決策樹,,例如：上例的人群數據庫，按ID3方法得到的決策樹如下：,,數據挖掘的知識表示（二）,,3、知識基（濃縮數據）,,,例如上例的人群數據庫，通過計算可以得出,身高,是不重要的字段，刪除它后，再合并相同數據元組，得到濃縮數據如下表：,數據挖掘的知識表示（三）,,5、公式,,例如，太陽系行星運動數據中包含行星運動周期（旋轉一周所需時間，天），以及它與太陽的距離（圍繞太陽旋轉的橢圓軌道的長半軸，百萬公里），數據如下表：,發(fā)現的公式為：d,3,/p,2,=25,數據挖掘的知識表示（五）,,

41、5.6 數據挖掘的決策支持及應用,,5.6.1 數據挖掘的決策支持分類有：,,關聯(lián)分析、時序模式、聚類、分類、偏差檢測、預測。,,1、關聯(lián)分析,,若兩個或多個數據項的取值之間,重復出現,且,概率很高,時，它就存在某種關聯(lián)，可以建立起這些數據項的關聯(lián)規(guī)則。,,2、時序模式,,通過,時間序列,搜索出,重復發(fā)生,概率較高的模式。這里強調時間序列的影響。,,,3、聚類：,在數據庫中找出一系列有意義的子集，即類。,,,,4、分類：,對數據庫中的類，找出該類別的概念描述規(guī)則。,,,,5、偏差檢測：,,在數據庫中找出異常數據。,,,6、預測：,利用歷史數據找出變化規(guī)律的模型，并用此模型預測未來。,5.6 數

42、據挖掘的決策支持及應用,,5.6.2 決策樹及其應用,1、決策樹概念：,,,決策樹是用樣本的,屬性,作為結點，用屬性的,取值,作為分支的樹結構。它是利用信息論原理對大量樣本的屬性進行分析和歸納而產生的。,,根結點是所有樣本中信息量最大的屬性,.,,中間節(jié)點是該結點為根據的子樹所包含的樣本子集中信息量最大的屬性,.,每個內部節(jié)點表示在一個屬性上的測試,,每個分枝代表一個測試輸出,,,每個樹葉節(jié)點是樣本的類別值,.,,5.6.2 決策樹及其應用,決策樹對新樣本的分類過程:,,,即通過新樣本屬性值的測試,,從根結點開始按照樣本屬性的取值,,,逐漸沿著決策樹向下,,,直到樹的葉結點,,,該葉結點表示的

43、類別就是新樣本的類別,.,,,數據挖掘的,決策樹方法的原理是信息論,，信息論是,為解決,信息傳遞,（通信）過程問題而建立的理論，也稱為統(tǒng)計通信理論。,,一個傳遞信息的系統(tǒng)是由,發(fā)送端（信源）,和,接收端（信宿）,以及連接兩者的,通道（信道）,三者組成。,,信息論把通信過程看做是在,隨機干擾,的環(huán)境中傳遞信息的過程。在這個通信模型中，信息源和干擾（噪聲）都被理解為某種,隨機過程,或,隨機序列,。,5.6.2 決策樹及其應用,,在進行實際的通信之前，收信者（信宿）,不可能確切,了解信源究竟會發(fā)出什么樣的具體信息，不可能判斷信源會處于什么樣的狀態(tài)。這種情形就稱為,信宿對于信源狀態(tài)具有不確定性,。而且

44、這種不確定性是存在于通信之前的。因而又叫做,先驗不確定性,。,,在進行了通信之后，信宿收到了信源發(fā)來的信息，這種先驗不確定性才會被消除或者被減少。,,如果干擾很小，信源發(fā)出的信息能夠被信宿全部收到，在這種情況下，信宿的先驗不確定性就會被完全消除。,5.6.2 決策樹及其應用,,在一般情況下，干擾總會對信源發(fā)出的信息造成某種破壞，使信宿收到的信息不完全。因此，先驗不確定性不能全部被消除，只能部分地消除。,,通信結束之后，信宿還仍然具有一定程度的不確定性。這就是,后驗不確定性,。,,顯然，后驗不確定性總要小于先驗不確定性，不可能大于先驗不確定性。,5.6.2 決策樹及其應用,,如果后驗不確定性的大

45、小正好等于先驗不確定性的大小，這就表示,信宿,根本沒有收到信息。,,如果后驗不確定性的大小等于零，這就表示信宿收到了全部信息。,,可見，,信息是用來消除（隨機）不確定性的度量。信息量的大小，由所消除的不確定性的大小來計量。,5.6.2 決策樹及其應用,,信息論基本概念,,定義,1,：若存在,n,個相同概率的消息，則每個消息的概率,p,是,1/n,，一個消息傳遞的信息量為,-Log,2,(1/n),,概率越大,,,信息量越小,,,如英語有,26,個字母,,,假如每個字母在文章中出現的次數平均的話,,,每個字母的信息量為,:,,I(e,)=-log,2,1/26=4.7,,如常用漢字有,2500,

46、個,,,假如每個漢字在文章中出現的次數平均的話,,,每個漢字的信息量為,:,,I(e,)=-log,2,1/2500=11.3,,5.6.2 決策樹及其應用,,定義,2,：若有,n,個消息，其給定概率分布為,P=(p1,p2…,pn,),，則由該,分布傳遞的信息量,稱為,P,的熵，記為,定義,3,：若一個記錄集合,T,根據類別,屬性,的值被分成互相獨立的類,C1,C2..Ck,，,,則識別,T,的一個元素所屬哪個類所需要的信息量為,Info(T,)=,I(p,),，其中,P,為,C1,C2…Ck,的概率分布，即,P=(|C,1,|/|T|,…..|C,k,|/|T|),5.6.2 決策樹及其應

47、用,,定義4：若先根據非類別屬性X的值將T分成集合T,1,, T,2,, … T,n,，則確定T中一個元素類的信息量可通過確定T,i,的,加權平均值,來得到，即Info(T,i,)的加權平均值為：,,,Info(X, T)= ((|T,i,|/|T|)Info(T,i,)),,5.6.2 決策樹及其應用,定義,5,：信息增益度是兩個信息量之間的差值，其中一個信息量是需確定,T,的一個元素的信息量，另一個信息量是在已得到的屬性,X,的值后需確定的,T,一個元素的信息量，信息增益度公式為：,,,Gain(X,, T)=,Info(T)-Info(X,, T),,2、ID3算法,

48、當前國際上最有影響的示例學習方法首推,的,ID3,。,,,ID3,以信息論為基礎,,,以,互信息,(,信息增益,,,Inf,,ormation,gain,）,和信息熵為衡量標準,,,從而實現對數據的歸類分類,.,,2、ID3算法,工作過程,:,,首先找出最有判別力,(,信息增益,,information gain),的屬性,,,把數據分成多個子集,,,每個子集又選擇最有判別力的屬性進行劃分,,,一直進行到所有子集僅包含同一類型的數據為止,.,,最后得到一棵決策樹,,,可用它來對新的實例進行分類,.,,訓練集,,PE、NE,取子集建窗口,窗口,,PE`、NE,`,生成,,決策樹,測試,,PE、N

49、E,擴展窗口,,PE`=PE`+PE``NE`=NE`+NE``,此決策樹為最后結果,存在錯判的,,PE``，NE``嗎,是,否,ID3主算法流程,（一）主算法,,1、,從訓練集中隨機選擇一個既含,正例,又含,反例,的子集（稱為"窗口"）；,,2、,用“建樹算法”對當前窗口形成一棵,決策樹,；,,3、,對訓練集（窗口除外）中例子用所得決策樹進行類別判定，找出,錯判,的例子；,,4、,若存在錯判的例子，把它們插入窗口，轉2，否則結束。,主算法中每迭代循環(huán)一次，生成的決策樹將會不相同。,,（二）建樹算法,,,1、,對當前例子集合，計算各特征的,互,信息；,,,2、,選擇互信息最大的特征,Ak,；,

50、,,3、,把在Ak處取值相同的例子歸于同一子集，Ak取幾個值就得幾個子集；,,,4、,對既含正例又含反例的子集，遞歸調用建樹算法；,,,5、,若子集僅含正例或反例，對應分枝標上P或N，返回調用處。,二、ID3算法,,,在一實體世界中，每個實體用多個特征來描述。每個特征限于在一個離散集中取,互斥,的值。例如，設實體是某天早晨，分類任務是關于氣候的類型，特征為:,,,,天氣,取值為： 晴，多云，雨,,,氣溫,取值為： 冷 ，適中，熱,,,濕度,取值為： 高 ，正常,,,風,取值為： 有風， 無風,某天早晨氣候描述為:,,,天氣,： 多云,,,氣溫,： 冷,,,濕度,： 正常,

51、,,風,： 無風,3、ID3方法應用實例,,它屬于哪類氣候呢,?,,每個實體屬于不同的類別，為簡單起見，假定僅有兩個類別，分別為,P,，,N,。,在這種兩個類別的歸納任務中，,P,類和,N,類的實體分別稱為概念的正例和反例,,,將一些已知的正例和反例放在一起便得到訓練集。,,,下表給出一個訓練集。由,ID3,算法得出一棵正確分類訓練集中每個實體的決策樹，見圖。,3、ID3方法應用實例,,NO.,屬性,,,,類別,,天氣,氣溫,濕度,風,,1,晴,熱,高,無風,N,2,晴,熱,高,有風,N,3,多云,熱,高,無風,P,4,雨,適中,高,無風,P,5,雨,冷,正常,無風,P,6,雨,冷,正常,有

52、風,N,7,多云,冷,正常,有風,P,8,晴,適中,高,無風,N,9,晴,冷,正常,無風,P,10,雨,適中,正常,無風,P,11,晴,適中,正常,有風,P,12,多云,適中,高,有風,P,13,多云,熱,正常,無風,P,14,雨,適中,高,有風,N,,天 氣,濕 度,風,晴,雨,多云,高,正常,有風,無風,P,N,N,P,P,ID3決策樹,決策樹葉子為類別名，即,P,或者,N,。,其它結點由實體的特征組成，每個特征的不同取值對應一分枝。,,若要對一實體分類，從樹根開始進行測試，按特征的取值分枝向下進入下層結點，對該結點進行測試，過程一直進行到葉結點，實體被判為屬于該葉結點所標記的類別。,

53、,能正確分類訓練集的決策樹不止一棵。,,Quinlan,的,ID3,算法能得出結點最少的決策樹。,,3、ID3方法應用實例,,對于氣候分類問題進行具體計算有：,,⒈ 信息熵的計算,,信息熵：,,類別出現概率：,,|S|表示例子集,S,的總數，|u,i,|表示類別u,i,的例子數。,,對9個正例和5個反例有：,,P（u,1,）=9/14 P（u,2,）=5/14,,H（U,）=（9/14）log,2,（14/9）+（5/14）log,2,（14/5）,,=0.94bit,3、ID3方法應用實例,,條件熵：,⒉ 條件熵計算,屬性A,1,取值v,j,時，類別u,i,的條件概率：,,A,1,=天氣

54、 取值 v,1,=晴，v,2,=多云，v,3,=雨,,在A,1,處,取值晴,的例子5個，,取值多云,的例子4個，,取值雨,的例子5個，故,,,P（v,1,）=5/14 P（v,2,）=4/14 P（v,3,）=5/14,,取值為晴,的5個例子中有2個正例、3個反例，故：,,,P（u,1,/v,1,）=2/5， P（u,2,/v,1,）=3/5,,同理有：,P（u,1,/v,2,）=4/4， P（u,2,/v,2,）=0,,,P（u,1,/v,3,）=2/5， P（u,2,/v,3,）=3/5,,H(U/V)=(5/14)(,(2/5)log(5/2)+(3/5)log(5/3)),+,,

55、,(4/14),((4/4)log(4/4)+0,),+,,,(5/14),((2/5)log(5/2)+(3/5)log(5/3)),,= 0.694bit,,⒊ 互信息計算,,,對 A,1,=天氣 處有：,,,I（天氣）=H（U）- H（U|V）= 0.94 - 0.694 = 0.246 bit,,,類似可得：,,I（氣溫）=0.029 bit,,I（濕度）=0.151 bit,,I（風）=0.048 bit,,,⒋ 建決策樹的樹根和分枝,,,ID3算法將選擇,互信息最大的特征天氣作為樹根,，在14個例子中對天氣的3個取值進行分枝，3 個分枝對應3 個子集，分別是:,,,F1={1，2，

56、8，9，11}，F2={3，7，12，13}，F3={4，5，6，10，14},,,其中F2中的例子全屬于P類，因此對應分枝標記為P，其余兩個子集既含有正例又含有反例，將遞歸調用,建樹算法,。,,⒌ 遞歸建樹,,,分別對F1和F3子集利用ID3算法，在每個子集中對各特征（仍為四個特征）求互信息.,,,（1）,F1中的天氣全取晴值，則H（U）=H（U|V），有I（U|V）=0，在余下三個特征中求出,濕度,互信息,最大，以它為該分枝的根結點，再向下分枝。濕度取高的例子全為N類，該分枝標記N。取值正常的例子全為P類，該分枝標記P。,,,（2）,在F3中，對四個特征求互信息，得到,風,特征,互信息,最

57、大，則以它為該分枝根結點。再向下分枝，風取有風時全為N類，該分枝標記N。取無風時全為P類，該分枝標記P。,天 氣,濕 度,風,晴,雨,多云,高,正常,有風,無風,P,N,N,P,P,ID3決策樹,,4、C4.5算法,,ID3算法在數據挖掘中占有非常重要的地位。但是，在應用中，ID3算法不能夠處理,連續(xù)屬性,、計算信息增益時偏向于選擇取值,較多的屬性,等不足。,,C4.5是在ID3基礎上發(fā)展起來的決策樹生成算法，由在1993年提出。C4.5克服了ID3在應用中存在的不足。,,,C4.5的進步,,,（1）,用,信息增益率,來選擇屬性，它克服了用信息增益選擇屬性時偏向選擇,取值多,的屬性的不足；

58、,,,（2）,在樹構造過程中或者構造完成之后，進行,剪枝,；,,,（3）,能夠完成對,連續(xù)屬性,的離散化處理；,,,（4）,能夠對,不完整,數據的處理，例如未知的屬性值；,,,（5）,C4.5采用的知識表示形式為決策樹，并最終可以形成產生式規(guī)則。,4、C4.5算法,,C4.5構造決策樹的算法,Quinlan在ID3中使用信息論中的信息增益（gain）來選擇屬性，而C4.5采用屬性的信息增益率（gain ratio）來選擇屬性。,,信息增益率,,,理論和實驗表明，采用“信息增益率”（C4.5方法）比采用“信息增益”（ID3方法）更好，,主要是克服了ID3方法選擇偏向取值多的屬性。,,5.6.3

59、決策規(guī)則樹及應用,IBLE方法：,,IBLE方法是利用信息論中,信道容量,來選擇屬性，比互信息更好。IBLE方法建決策規(guī)則樹，每個結點由,多個屬性,取值組成，提高了屬性組合的識別效果。,,屬性的選取通過計算各屬性信道容量進行,.,,各屬性的正例標準值由譯碼函數決定,.,,結點中判別正反例的閾值,(,wn,wp,),是由實例中權值變化的規(guī)律來確定的,.,,IBLE,比,ID3,識別率提高了,10,個百分點。,,5.6.4 數據挖掘的決策支持應用領域,1、金融,,（1）“數據清理”、金融市場分析和預測,,（2）帳戶分類、銀行擔保和信用評估。,,,2、醫(yī)療保健,,任務是進行數據清理，預測醫(yī)療保健費用。,,,3、市場業(yè),,,進行市場定位和消費者分析，輔助制定市場策略。,,5.6.4 數據挖掘的決策支持應用領域,4、零售業(yè),,目前主要應用于銷售預測、庫存需求、零售點選擇和價格分析。,,,5、制造業(yè),,進行零部件故障診斷、資源優(yōu)化、生產過程分析等。,,,6、司法,,應用在案件調查、詐騙監(jiān)測、洗錢認證、犯罪組織分析等工作。,,