《數(shù)據挖掘的清洗》由會員分享，可在線閱讀，更多相關《數(shù)據挖掘的清洗（46頁珍藏版）》請在裝配圖網上搜索。

1、單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,數(shù)據預處理,為什么需要數(shù)據預處理?,數(shù)據清洗,數(shù)據集成與轉換,數(shù)據歸約,數(shù)據離散化與概念層次的構建,本章小結,為什么需要數(shù)據預處理?,在現(xiàn)實社會中，存在著大量的“臟”數(shù)據,不完整性,（數(shù)據結構的設計人員、數(shù)據采集設備和數(shù)據錄入人員）,缺少感興趣的屬性,感興趣的屬性缺少部分屬性值,僅僅包含聚合數(shù)據，沒有詳細數(shù)據,噪音數(shù)據（采集數(shù)據的設備、數(shù)據錄入人員、數(shù)據傳輸）,數(shù)據中包含錯誤的信息,存在著部分偏離期望值的孤立點,不一致性（數(shù)據結構的設計人員、數(shù)據錄入人員）,數(shù)據結構的不一致性,Label的不一致性,數(shù)據值的

2、不一致性,為什么需要數(shù)據預處理?,數(shù)據挖掘的數(shù)據源可能是多個互相獨立的數(shù)據源,關系數(shù)據庫,多維數(shù)據庫（Data Cube）,文件、文檔數(shù)據庫,數(shù)據轉換,為了數(shù)據挖掘的方便,海量數(shù)據的處理,數(shù)據歸約（在獲得相同或者相似結果的前提下）,為什么需要數(shù)據預處理？,沒有高質量的數(shù)據，就沒有高質量的挖掘結果,高質量的決策必須基于高質量的數(shù)據基礎上,數(shù)據倉庫是在高質量數(shù)據上的集成,數(shù)據預處理的主要任務,數(shù)據清理,填入缺失數(shù)據,平滑噪音數(shù)據,確認和去除孤立點,解決不一致性,數(shù)據集成,多個數(shù)據庫、Data Cube和文件系統(tǒng)的集成,數(shù)據轉換,規(guī)范化、聚集等,數(shù)據歸約,在可能獲得相同或相似結果的前提下，對數(shù)據的容

3、量進行有效的縮減,數(shù)據離散化,對于一個特定的連續(xù)屬性，尤其是連續(xù)的數(shù)字屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實際數(shù)據值，以減少屬性值的個數(shù).,數(shù)據預處理的形式,數(shù)據清理,數(shù)據集成,數(shù)據轉換,數(shù)據歸約,主要內容,為什么需要數(shù)據預處理?,數(shù)據清洗,數(shù)據集成與轉換,數(shù)據歸約,數(shù)據離散化與概念層次的構建,本章小結,數(shù)據清洗,主要任務,補充缺失數(shù)據,識別孤立點，平滑噪音數(shù)據,處理不一致的數(shù)據,缺失數(shù)據的處理,部分數(shù)據通常是不可用的,在許多元組中部分屬性值為空。如：在客戶表中的客戶收入為空。,導致數(shù)據缺失的原因,數(shù)據采集設備的故障,由于與其它信息的數(shù)據存在不一致性，因此數(shù)據項被刪除,由于不理解或

4、者不知道而未能輸入,在當時數(shù)據輸入的時候，該數(shù)據項不重要而忽略,數(shù)據傳輸過程中引入的錯誤,缺失數(shù)據通常需要經過合理的推斷予以添加,缺失數(shù)據的處理方法,忽略該記錄（元組）,通常在進行分類、描述、聚類等挖掘，但是元組缺失類標識時,該種方法通常不是最佳的，尤其是缺失數(shù)據比例比較大的時候,手工填入空缺的值,枯燥、費時，可操作性差，不推薦使用,使用一個全局的常量填充空缺數(shù)值,給定一個固定的屬性值如：未知、不祥、Unknown、Null等,簡單，但是沒有意義,使用屬性的平均值填充空缺數(shù)值,簡單方便、挖掘結果容易產生不精確的結果,使用與給定元組同一個類別的所有樣本的平均值,分類非常重要，尤其是分類指標的選擇

5、,使用最有可能的值予以填充,利用回歸、基于推導的使用貝葉斯形式化的方法的工具或者判定樹歸納確定,利用屬性之間的關系進行推斷，保持了屬性之間的聯(lián)系,缺失數(shù)據的處理方法（續(xù)）,噪音數(shù)據,噪音數(shù)據:一個度量（指標）變量中的隨機錯誤或者偏差,主要原因,數(shù)據采集設備的錯誤,數(shù)據錄入問題,數(shù)據傳輸問題,部分技術的限制,數(shù)據轉換中的不一致,數(shù)據清理中所需要處理的其它問題,重復的記錄,不完整的數(shù)據,不一致的數(shù)據,噪音數(shù)據的處理,分箱（Binning）的方法,聚類方法,檢測并消除異常點,線性回歸,對不符合回歸的數(shù)據進行平滑處理,人機結合共同檢測,由計算機檢測可疑的點，然后由用戶確認,處理噪音數(shù)據：分箱方法,分箱

6、（Binning）方法:,基本思想：通過考察相鄰數(shù)據的值，來平滑存儲數(shù)據的值,基本步驟：,首先，對數(shù)據進行排序，并分配到具有相同寬度/深度的不同的“箱子”中,其次，通過箱子的平均值（Means）、中值（Median）、或者邊界值等來進行平滑處理,分箱（,Binning）方法舉例,對數(shù)據進行排序:4,8,9,15,21,21,24,25,26,28,29,34,對數(shù)據進行分割(相同深度):,-Bin 1:4,8,9,15,-Bin 2:21,21,24,25,-Bin 3:26,28,29,34,根據bin中的平均值進行離散化:,-Bin 1:9,9,9,9,-Bin 2:23,23,23,23

7、,-Bin 3:29,29,29,29,基于聚類分析的平滑處理,通過線性回歸的平滑處理,x,y,y=x+1,X1,Y1,Y1,主要內容,為什么需要數(shù)據預處理,數(shù)據清洗,數(shù)據集成與轉換,數(shù)據歸約,數(shù)據離散化與概念層次的構建,本章小結,數(shù)據集成,數(shù)據集成的概念,將多個數(shù)據源中的數(shù)據結合起來存放在一個一致的數(shù)據存儲中,數(shù)據源包括：多個數(shù)據庫、多維數(shù)據庫和一般的文件,數(shù)據集成也是數(shù)據倉庫建設中的一個重要問題,數(shù)據集成的內容,模式集成,利用數(shù)據庫和數(shù)據倉庫的元數(shù)據信息,主要工作是識別現(xiàn)實世界中的實體定義,冗余數(shù)據的處理,檢測和解決數(shù)值沖突,對于現(xiàn)實世界中的同一實體，來自于不同數(shù)據源的屬性值可能不同,主要

8、原因：不同的數(shù)據表示、度量單位、編碼方式以及語義的不同,數(shù)據集成,數(shù)據集成的概念,將多個數(shù)據源中的數(shù)據結合起來存放在一個一致的數(shù)據存儲中,數(shù)據源包括：多個數(shù)據庫、多維數(shù)據庫和一般的文件,數(shù)據集成也是數(shù)據倉庫建設中的一個重要問題,數(shù)據集成的內容,模式集成,利用數(shù)據庫和數(shù)據倉庫的元數(shù)據信息,主要工作是識別現(xiàn)實世界中的實體定義,冗余數(shù)據的處理,檢測和解決數(shù)值沖突,對于現(xiàn)實世界中的同一實體，來自于不同數(shù)據源的屬性值可能不同,主要原因：不同的數(shù)據表示、度量單位、編碼方式以及語義的不同,模式集成,數(shù)據類型沖突,性別：string(Male、Female)、Char（M、F）、Interger（0、1）,日

9、期：Date、DateTime、String,數(shù)據標簽沖突：解決同名異義、異名同義,學生成績、分數(shù),度量單位沖突,學生成績,百分制：100 0,五分制：A、B、C、D、E,字符表示：優(yōu)、良、及格、不及格,概念不清,最近交易額：前一個小時、昨天、本周、本月？,聚集沖突：根源在于表結構的設計,冗余數(shù)據的處理,從多個數(shù)據源中抽取不同的數(shù)據，容易導致數(shù)據的冗余,不同的屬性在不同的數(shù)據源中是不同的命名方式,有些屬性可以從其它屬性中導出，,例如：銷售額單價銷售量,有些冗余可以通過相關分析檢測到,其中：,n,是元組的個數(shù)，和 分別是A和B的平均值，,和 分別是A和B的標準差,元組級的“重復”，也是數(shù)據冗余的

10、一個重要方面,減少冗余數(shù)據，可以大大提高數(shù)據挖掘的性能,數(shù)據轉換,平滑處理:從數(shù)據中消除噪音數(shù)據,聚集操作:對數(shù)據進行綜合，類似于Data Cube的構建,數(shù)據概化：構建概念層次,數(shù)據規(guī)范化:將數(shù)據集中到一個較小的范圍之中,最大-最小規(guī)范化,z-score（零均值）規(guī)范化,小數(shù)范圍規(guī)范化（01規(guī)范化）,屬性構造,構造新的屬性并添加到屬性集中，以幫助數(shù)據挖掘,數(shù)據轉換：規(guī)范化,最大-最小規(guī)范化,對原始數(shù)據進行線性變換,保持了原始數(shù)據值之間的關系,當有新的輸入，落在原數(shù)據區(qū)之外，該方法將面臨,“,越界,”,錯誤,受到孤立點的影響可能會比較大,數(shù)據轉換：規(guī)范化（續(xù)）,z-score（零均值）規(guī)范化,

11、屬性基于平均值和標準差規(guī)范化,當屬性的最大值和最小值未知，或者孤立點左右了最大最小規(guī)范化時，該方法有效,0-1規(guī)范化（小數(shù)定標規(guī)范化）,通過移動屬性的小數(shù)點位置進行規(guī)范化,例如A的值為125，那么|A|=125，則j=3，有v=0.125。,Where,j,is the smallest integer such that Max(|),Reduced attribute set:A1,A4,A6,Y,Y,Y,N,N,N,數(shù)據壓縮,數(shù)據壓縮：應用數(shù)據編碼或變換，以便得到數(shù)據的歸約或壓縮表示,無損壓縮：原數(shù)據可以由壓縮數(shù)據重新構造而不丟失任何信息,字符串壓縮是典型的無損壓縮,現(xiàn)在已經有許多很好的

12、方法但是它們只允許有限的數(shù)據操作,有損壓縮：只能重新構造原數(shù)據的近似表示,影像文件的壓縮是典型的有損壓縮,典型的方法：小波變換、主要成分分析,數(shù)值歸約,數(shù)值歸約：通過選擇替代的、“較小”的數(shù)據表示形式來減少數(shù)據量,有參的方法,假設數(shù)據符合某些模型，通過評估模型參數(shù)，僅需要存儲參數(shù)，不需要存儲實際數(shù)據（孤立點也可能被存放）,典型方法：對數(shù)線性模型，它估計離散的多維概率分布,無參的方法,不存在假想的模型,典型方法:直方圖、聚類和抽樣,直方圖,類似于分箱技術，是一種流行的數(shù)據歸約方式,將屬性值劃分為不相交的子集，或“桶”,桶安放在水平軸上，而桶的高度（和面積）是該桶所代表的值的平均頻率。,每個桶只表

13、示單個屬性值，則稱其為“單桶”。通常，“桶”表示給定屬性的一個連續(xù)空間,可以通過編程，動態(tài)修改部分參數(shù)，進行合理構造。,count,5,10,15,20,25,30,1,2,3,4,5,6,7,8,9,10,1-10,11-20,21-30,5,10,15,20,25,13,25,15,Price,Price,count,主要內容,為什么需要數(shù)據預處理?,數(shù)據清洗,數(shù)據集成與轉換,數(shù)據歸約,數(shù)據離散化與概念層次的構建,本章小結,數(shù)據離散化和概念層次,屬性值分類,枚舉型,有序的,無序的,連續(xù)型：如 Real類型,數(shù)據離散化,對于一個特定的連續(xù)屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實際數(shù)

14、據值，以減少屬性值的個數(shù)。,概念層次,利用高層的概念（如兒童、青年、中年、老年等）來代替低層的實際數(shù)據值（實際年齡），以減少屬性值的個數(shù)。,數(shù)值數(shù)據的離散化和概念分層建立的方法,分箱（Binning）,直方圖分析,聚類分析的方法,根據自然分類進行分割,分箱方法：一種簡單的離散化技術,相同寬度,（距離）數(shù)據分割,將數(shù)據分成N等份，各個等份數(shù)據之間具有相同的距離,如果 A 和 B 分別為屬性值中的最大值和最小值，那么各個數(shù)據等份之間的距離為：W=(B-A)/N.,異常點將會扮演很重要的角色,傾斜的數(shù)據不能很好的解決,相同深度,（頻率）數(shù)據分割,將數(shù)據分成N等份，各個等份具有相同的數(shù)據個數(shù)。,具有較

15、好的可伸縮性,適合于數(shù)據分類的情況,離散化：直方圖方法,將數(shù)據分割到若干個桶之中，用桶中的平均值（或求和等）來表示各個桶。,可以通過編程，動態(tài)修改部分參數(shù)，進行合理構造。,count,5,10,15,20,25,30,1,2,3,4,5,6,7,8,9,10,1-10,11-20,21-30,5,10,15,20,25,13,25,15,Price,Price,count,離散化：聚類分析方法,將數(shù)據按照,“,類內最大相似度，類間最小相似度的原則,”,對數(shù)據進行有效聚類,利用聚類的中心點來表示該類所包含的對象,數(shù)據聚類將非常有效，但是必須保證數(shù)據中沒有噪音數(shù)據,按照自然分類進行數(shù)據分割,利用3

16、-4-5 法則對數(shù)字型數(shù)據分類，將數(shù)據分成若干個,“,自然,”,的區(qū)間：,如果在所有數(shù)字的最高位覆蓋 3,6,7或9個不同的值，則將數(shù)據分成3段。3（1，1，1）6（2，2，2）7（2，3，2）9（3，3，3）,如果在所有數(shù)字的最高位覆蓋 2,4,8個不同的值，則將數(shù)據分成4 段。,如果在所有數(shù)字的最高位覆蓋 1,5,10個不同的值，則將數(shù)據分成 5 段。,3-4-5 法則舉例,例,1,：包含數(shù)據：,101,、,110,、,203,、,222,、,305,、,315,方法：最高位包含,3,個值（,1,、,2,、,3,）,分成,100,，,200,），,200,，,300,），,300,，,400,）三段,例,2,：包含數(shù)據：,101,、,110,、,103,、,422,、,405,、,415,，,400,方法：最高位包含,2,個值（,1,、,4,）,分成,100,，,150,），,150,，,200,），,400,，,450,），,450,，,500,）四段,例,3,：包含數(shù)據：,101,、,210,、,203,、,322,、,305,、,415,，,500,方法：最高位包含,5,個值