《數(shù)據(jù)挖掘的體系結(jié)構(gòu)與模型》由會員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)挖掘的體系結(jié)構(gòu)與模型（22頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,LOGO,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,數(shù)據(jù)挖掘原理與SPSS Clementine應(yīng)用寶典,元昌安 主編,鄧松李文敬劉海濤編著,電子工業(yè)出版社,1,雙擊添加主標(biāo)題,數(shù)據(jù)挖掘的體系結(jié)構(gòu)與模型,數(shù)據(jù)挖掘的體系結(jié)構(gòu),數(shù)據(jù)挖掘的過程模型,Fayyad,模型,CRISP-DM,模型,11/27/2024,2,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),數(shù)據(jù)挖掘系統(tǒng)由各類數(shù)據(jù)庫、挖掘前處理模塊、挖掘操作模塊、模式評估模塊、知識輸出模塊組成，這些模塊的有機(jī)組成就構(gòu)成了數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)。,數(shù)據(jù)清理集成抽取轉(zhuǎn)換,挖掘前處理模塊,挖掘結(jié)果評估,模式評估模塊,系統(tǒng)外

2、,數(shù)據(jù)庫,數(shù)據(jù)挖掘處理,挖掘操作模塊,知識輸出,知識輸出模塊,數(shù)據(jù)庫管理模塊,各類數(shù)據(jù)庫,數(shù)據(jù)倉庫,挖掘知識庫,模式,用戶,數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)圖,3,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),數(shù)據(jù)庫管理模塊，負(fù)責(zé)對系統(tǒng)內(nèi)數(shù)據(jù)庫、數(shù)據(jù)倉庫、挖掘知識庫的維護(hù)與管理。這些數(shù)據(jù)庫、數(shù)據(jù)倉庫是對外部數(shù)據(jù)庫進(jìn)行轉(zhuǎn)換、清理、凈化得到，它是數(shù)據(jù)挖掘的基礎(chǔ)。,挖掘前處理模塊，對所收集到的數(shù)據(jù)進(jìn)行清理、集成、選擇、轉(zhuǎn)換，生成數(shù)據(jù)倉庫或數(shù)據(jù)挖掘庫。其中：清理，主要清除噪音；集成，將多種數(shù)據(jù)源組合在一起；選擇，選擇與問題相關(guān)的數(shù)據(jù)；轉(zhuǎn)換，將選擇數(shù)據(jù)轉(zhuǎn)換成可挖掘形式。,4,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),模式評估模塊，對數(shù)據(jù)挖掘結(jié)果

3、進(jìn)行評估。由于所挖掘出的模式可能有許多，需要將用戶的興趣度與這些模式進(jìn)行分析對比，評估模式價值，分析不足原因，如果挖掘出的模式與用戶興趣度相差大，需返回相應(yīng)的過程（如，挖掘前處理或挖掘操作）重新執(zhí)行。,知識輸出模塊，完成對數(shù)據(jù)挖掘出的模式進(jìn)行翻譯、解釋，以人們易于理解的方式提供給真正渴望知識的決策者使用。,5,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),挖掘操作模塊，利用各種數(shù)據(jù)挖掘算法針對數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘庫，并借助挖掘知識庫中的規(guī)則、方法、經(jīng)驗和事實數(shù)據(jù)等，挖掘和發(fā)現(xiàn)知識。,6,3.2 數(shù)據(jù)挖掘的過程模型,Fayyad數(shù)據(jù)挖掘模型將數(shù)據(jù)庫中的知識發(fā)現(xiàn)看作是一個多階段的處理過程，它從數(shù)據(jù)集中識別出以

4、模式來表示的知識，在整個知識發(fā)現(xiàn)的過程中包括很多處理步驟，各步驟之間相互影響，反復(fù)調(diào)整，形成一種螺旋式的上升過程。,Fayyad數(shù)據(jù)挖掘過程模型,7,3.2.1 Fayyad模型,Fayyad處理過程共分為9個處理階段，分別是：,數(shù)據(jù)準(zhǔn)備：了解,KDD,相關(guān)領(lǐng)域的有關(guān)情況，熟悉有關(guān)的背景知識，并弄清楚用戶的要求。,數(shù)據(jù)選擇：根據(jù)用戶的要求從數(shù)據(jù)庫中提取與,KDD,相關(guān)的數(shù)據(jù)，,KDD,將主要從這些數(shù)據(jù)中進(jìn)行知識提取，在此過程中，會利用一些數(shù)據(jù)庫操作對數(shù)據(jù)進(jìn)行處理。,8,3.2.1 Fayyad模型,數(shù)據(jù)清洗和預(yù)處理：對數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對其中的噪音數(shù)據(jù)進(jìn)行處理，對

5、丟失的數(shù)據(jù)可以利用統(tǒng)計方法進(jìn)行填補。,數(shù)據(jù)降維,/,轉(zhuǎn)換：對經(jīng)過預(yù)處理的數(shù)據(jù)，根據(jù)知識發(fā)現(xiàn)的任務(wù)對數(shù)據(jù)進(jìn)行再處理，主要通過投影或數(shù)據(jù)庫中的其它操作減少數(shù)據(jù)量。,確定,KDD,的目標(biāo) 根據(jù)用戶的要求：確定,KDD,是發(fā)現(xiàn)何種類型的知識，因為對,KDD,的不同要求會在具體的知識發(fā)現(xiàn)過程中采用不同的知識發(fā)現(xiàn)算法。,9,3.2.1 Fayyad模型,確定知識發(fā)現(xiàn)算法：根據(jù)階段,5,所確定的任務(wù)，選擇合適的知識發(fā)現(xiàn)算法，這包括選取合適的模型和參數(shù)，并使得知識發(fā)現(xiàn)算法與整個,KDD,的評判標(biāo)準(zhǔn)相一致。,數(shù)據(jù)挖掘,(Data Mining),：運用選定的知識發(fā)現(xiàn)算法，從數(shù)據(jù)中提取出用戶所感興趣的知識，并以一

6、定的方式表示出來。,模式解釋：對發(fā)現(xiàn)的模式（知識）進(jìn)行解釋，在此過程中，為了取得更為有效的知識。,10,3.2.1 Fayyad模型,知識評價：將發(fā)現(xiàn)的知識以用戶能了解的方式呈現(xiàn)給用戶。這期間也包含對知識的一致性檢查，以確信本次發(fā)現(xiàn)的知識不與以前發(fā)現(xiàn)的知識相抵觸。,11,3.2.1 Fayyad模型,Fayyad過程模型是一個偏技術(shù)的模型，該模型在實際應(yīng)用中存在以下兩個問題：,為什么選擇這些數(shù)據(jù)？,Fayyad,過程模型忽略了具體業(yè)務(wù)問題的確定。這也是確定選擇哪些數(shù)據(jù)的關(guān)鍵所在。,模型怎樣使用？數(shù)據(jù)挖掘是分析型環(huán)境中的一門技術(shù)，如果數(shù)據(jù)挖掘是一種數(shù)據(jù)分析技術(shù)，那么數(shù)據(jù)挖掘應(yīng)該在分析型環(huán)境中使用

7、。但是，挖掘出的模型需要返回到操作型環(huán)境中進(jìn)行應(yīng)用。因此，需要構(gòu)成一個從操作型環(huán)境到分析型環(huán)境再到操作型環(huán)境的封閉的信息流。,12,3.2.2 CRISP-DM模型,CRISP-DM（Cross-Industry Standard Process for Data Mining，跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程）注重數(shù)據(jù)挖掘技術(shù)的應(yīng)用，解決了Fayyad模型存在的兩個問題。,CRISP-DM過程模型從商業(yè)的角度給出對數(shù)據(jù)挖掘方法的理解。目前數(shù)據(jù)挖掘系統(tǒng)的研制和開發(fā)大都遵循CRISP-DM標(biāo)準(zhǔn)，將典型的挖掘和模型的部署緊密結(jié)合。,13,3.2.2 CRISP-DM模型,CRISP-DM模型過程的基本步驟包

8、括：業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建立模型、模型評價、模型實施。,業(yè)務(wù)理解,數(shù)據(jù)理解,數(shù)據(jù)準(zhǔn)備,建立模型,評價,實施,數(shù)據(jù),CRISP-DM數(shù)據(jù)挖掘過程模型,14,3.2.2 CRISP-DM模型,CRISP-DM模型的各個階段任務(wù)。,業(yè)務(wù)理解（,Business Understanding,）,最初的階段集中在理解項目目標(biāo)和從業(yè)務(wù)的角度理解需求，同時將這個知識轉(zhuǎn)化為數(shù)據(jù)挖掘問題的定義和完成目標(biāo)的初步計劃。,15,3.2.2 CRISP-DM模型,數(shù)據(jù)理解（,Data Understanding,）,數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開始，通過一些活動的處理，目的是熟悉數(shù)據(jù)，識別數(shù)據(jù)的質(zhì)量問題，首次

9、發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部屬性，或是探測引起興趣的子集去形成隱含信息的假設(shè)。,16,3.2.2 CRISP-DM模型,數(shù)據(jù)準(zhǔn)備（,Data Preparation,）,數(shù)據(jù)準(zhǔn)備階段包括從未處理數(shù)據(jù)中構(gòu)造最終數(shù)據(jù)集的所有活動。這些數(shù)據(jù)將是模型工具的輸入值。這個階段的任務(wù)有一個能執(zhí)行多次，沒有任何規(guī)定的順序。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。,17,3.2.2 CRISP-DM模型,建立模型（,Modeling,）,選擇和應(yīng)用不同的模型技術(shù)，模型參數(shù)被調(diào)整到最佳的數(shù)值。一般，有些技術(shù)可以解決一類相同的數(shù)據(jù)挖掘問題。有些技術(shù)在數(shù)據(jù)形成上有特殊要求，因此需要經(jīng)常跳回到數(shù)據(jù)準(zhǔn)備階段。,18

10、,3.2.2 CRISP-DM模型,評價（,Evaluation,）,已經(jīng)從數(shù)據(jù)分析的角度建立了高質(zhì)量顯示的模型。在開始最后部署模型之前，重要的事情是徹底地評估模型，檢查構(gòu)造模型的步驟，確保模型可以完成業(yè)務(wù)目標(biāo)。這個階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問題沒有被充分的考慮。在這個階段結(jié)束后，一個數(shù)據(jù)挖掘結(jié)果使用的決定必須達(dá)成。,19,3.2.2 CRISP-DM模型,實施（,Deployment,）,通常，模型的創(chuàng)建不是項目的結(jié)束。模型的作用是從數(shù)據(jù)中找到知識，獲得的知識需要便于用戶使用的方式重新組織和展現(xiàn)。根據(jù)需求，這個階段可以產(chǎn)生簡單的報告，或是實現(xiàn)一個比較復(fù)雜的、可重復(fù)的數(shù)據(jù)挖掘過程。在很多案例中，這個階段是由客戶而不是數(shù)據(jù)分析人員承擔(dān)實施的工作。,20,練習(xí),為什么數(shù)據(jù)挖掘者對數(shù)據(jù)的理解很重要？,如果面對學(xué)校數(shù)據(jù)庫，你認(rèn)為數(shù)據(jù)挖掘的目標(biāo)是什么？,21,謝謝觀賞,謝謝觀賞,22,