《科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng)的研究與初步設(shè)計(jì)》由會(huì)員分享，可在線閱讀，更多相關(guān)《科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng)的研究與初步設(shè)計(jì)（36頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,,單擊此處編輯母版文本樣式,,第二級(jí),,第三級(jí),,第四級(jí),,第五級(jí),,,*,單擊此處編輯母版標(biāo)題樣式,,單擊此處編輯母版文本樣式,,第二級(jí),,第三級(jí),,第四級(jí),,第五級(jí),,,*,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng)的研究與初步設(shè)計(jì),周園春,,,,2006年9月3日,,目 錄,,,背景,,數(shù)據(jù)挖掘系統(tǒng)的發(fā)展現(xiàn)狀,,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng),,科學(xué)數(shù)據(jù)庫(kù),,中國(guó)科學(xué)院作為中國(guó)自然科學(xué)的研究中心，在長(zhǎng)期的科學(xué)研究實(shí)踐中，通過(guò)觀測(cè)、考察、試驗(yàn)、計(jì)算等多種途徑產(chǎn)生和積累了大量具有重要科學(xué)價(jià)值和實(shí)用意義的科學(xué)數(shù)據(jù)和資料,,科學(xué)數(shù)據(jù)的用途,,科研人員研究的成果和積累,,支持他們做更為復(fù)雜的創(chuàng)新研究不

2、可替代的資源,,科學(xué)數(shù)據(jù)庫(kù),,始建于1983年，45個(gè)研究所，,,幾百個(gè)專業(yè)數(shù)據(jù)庫(kù)，幾十幾百TB的數(shù)據(jù)量,,數(shù)據(jù)庫(kù)的內(nèi)容覆蓋了化學(xué)、生物、天文、材料、高能物理、光學(xué)機(jī)械、自然資源、生態(tài)、遙感、大氣等數(shù)據(jù),,科學(xué)數(shù)據(jù)庫(kù)系統(tǒng)平臺(tái),,各領(lǐng)域的專業(yè)人員可能還開(kāi)發(fā)了各種不同的專業(yè)數(shù)據(jù)庫(kù)數(shù)學(xué)模型和專家系統(tǒng)，形成了不同專業(yè)的專業(yè)咨詢系統(tǒng)、科研過(guò)程和生產(chǎn)過(guò)程模擬系統(tǒng),,缺點(diǎn)：獨(dú)立的、分散的,,學(xué)科的交叉融合、新型交叉學(xué)科的出現(xiàn)和跨學(xué)科領(lǐng)域的大型科學(xué)問(wèn)題的研究：共享和集成,,運(yùn)用先進(jìn)信息技術(shù)來(lái)支撐科學(xué)數(shù)據(jù)庫(kù)的發(fā)展和應(yīng)用的軟硬件綜合平臺(tái),,其總體目標(biāo)是：硬件上滿足科學(xué)數(shù)據(jù)庫(kù)的需求的存儲(chǔ)、計(jì)算、通信和服務(wù)能力；軟件

3、上實(shí)現(xiàn)對(duì)科學(xué)數(shù)據(jù)庫(kù)中大規(guī)模、分布式、異構(gòu)的海量數(shù)據(jù)進(jìn)行整合，實(shí)現(xiàn)科學(xué)數(shù)據(jù)資源的共享,,存在的問(wèn)題,,只是對(duì)數(shù)據(jù)的共享和協(xié)同，還沒(méi)有對(duì)數(shù)據(jù)進(jìn)行深加工或者分析,,隨著科學(xué)數(shù)據(jù)庫(kù)中數(shù)據(jù)的不斷積累，數(shù)據(jù)的加工處理，從數(shù)據(jù)中獲取有用的知識(shí)，充分挖掘數(shù)據(jù)資源的價(jià)值，變得越來(lái)越重要,,數(shù)據(jù)量大而且復(fù)雜，完全人工去分析或者查看是不現(xiàn)實(shí)也是不可能的,,科學(xué)數(shù)據(jù)庫(kù)中開(kāi)發(fā)數(shù)據(jù)挖掘應(yīng)用的問(wèn)題,,首先，數(shù)據(jù)挖掘過(guò)程往往與數(shù)據(jù)挖掘模型、具體挖掘算法緊密關(guān)聯(lián)，這就帶來(lái)了技術(shù)上和應(yīng)用推廣上的困難,,其次，數(shù)據(jù)挖掘與具體應(yīng)用結(jié)合，就會(huì)導(dǎo)致應(yīng)用范圍窄，靈活性差，增加數(shù)據(jù)挖掘應(yīng)用開(kāi)發(fā)的難度,,能否建立一個(gè),,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng)？

4、,,目 錄,,背景,,,數(shù)據(jù)挖掘系統(tǒng)的發(fā)展現(xiàn)狀,,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng),,什么是數(shù)據(jù)挖掘？,,數(shù)據(jù)挖掘是從數(shù)據(jù)集中識(shí)別出有效的、新穎的、潛在有用的，以及最終可理解的模式的非平凡過(guò)程,,,數(shù)據(jù)挖掘的過(guò)程,,,數(shù)據(jù)挖掘到數(shù)據(jù)挖掘系統(tǒng),,研究重點(diǎn)的轉(zhuǎn)移,,從發(fā)現(xiàn)方法到系統(tǒng)應(yīng)用，注重多種發(fā)現(xiàn)策略和技術(shù)的集成，以及多學(xué)科之間的相互滲透。,,理論和應(yīng)用的結(jié)合,,數(shù)據(jù)挖掘是面向應(yīng)用的多學(xué)科交叉領(lǐng)域，應(yīng)用推動(dòng)了數(shù)據(jù)挖掘技術(shù)和理論的研究。而數(shù)據(jù)挖掘系統(tǒng)是數(shù)據(jù)挖掘研究和應(yīng)用的橋梁，對(duì)數(shù)據(jù)挖掘技術(shù)的推廣起到很大的作用,,數(shù)據(jù)挖掘系統(tǒng),,數(shù)據(jù)挖掘是一個(gè)交叉學(xué)科領(lǐng)域，受多個(gè)學(xué)科影響，包括數(shù)據(jù)庫(kù)系統(tǒng)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、

5、可視化和信息科學(xué) 。,,數(shù)據(jù)挖掘系統(tǒng),,如何將現(xiàn)有的算法集中在一個(gè)統(tǒng)一的框架下，并且與特定的領(lǐng)域相結(jié)合，構(gòu)造出能被各種層次的用戶所接受的數(shù)據(jù)挖掘應(yīng)用系統(tǒng)，是數(shù)據(jù)挖掘系統(tǒng)研究需要迫切解決的問(wèn)題之一,,分類：,,橫向的數(shù)據(jù)挖掘工具,,縱向的數(shù)據(jù)挖掘工具,,,橫向的數(shù)據(jù)挖掘工具,數(shù)據(jù)挖掘軟件需要和以下三個(gè)方面緊密結(jié)合,,數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù),,多種類型的數(shù)據(jù)挖掘算法,,數(shù)據(jù)清洗、轉(zhuǎn)換等預(yù)處理工作,,“工具集”的數(shù)據(jù)挖掘軟件（1995年）,,對(duì)各個(gè)領(lǐng)域提供多種數(shù)據(jù)挖掘算法,,包括數(shù)據(jù)的轉(zhuǎn)換和可視化,,并非面向特定的應(yīng)用，是通用的算法集合，所以稱之為橫向的數(shù)據(jù)挖掘工具 。,,典型的系統(tǒng)有IBM的Intell

6、igent Miner、SAS Enterprise Miner、SPSS Clmentine、SGI的MineSet、Oracle Darwin等,,缺點(diǎn),,只有精通數(shù)據(jù)挖掘算法的專家才能熟練使用，如果對(duì)算法不了解，難以得出好的模型,,縱向的數(shù)據(jù)挖掘工具,1999年開(kāi)始就出現(xiàn)縱向的數(shù)據(jù)挖掘解決方案，即基于工具集，針對(duì)特定的應(yīng)用提供完整的數(shù)據(jù)挖掘方案,,典型應(yīng)用,,KDI（主要用于零售業(yè)）、Options&Choice（主要用于保險(xiǎn)業(yè)）、HNC（欺詐行為偵測(cè)）和Unica Model（主要用于市場(chǎng)）,,特點(diǎn),,很強(qiáng)的針對(duì)性，能夠滿足特定的應(yīng)用需求,,用戶能專注于具體的應(yīng)用問(wèn)題，對(duì)具體算法無(wú)須了

7、解。,,缺點(diǎn),,應(yīng)用范圍是縱向的，過(guò)于狹窄，靈活性不夠。比如為某個(gè)銀行定制的信用卡數(shù)據(jù)挖掘方案可能不適合其他銀行。,,數(shù)據(jù)挖掘系統(tǒng),,縱向的還是橫向的數(shù)據(jù)挖據(jù)應(yīng)用系統(tǒng)，都很少考慮到科學(xué)數(shù)據(jù)挖掘，大多都是應(yīng)用于商業(yè)、金融等領(lǐng)域,,目 錄,,背景,,數(shù)據(jù)挖掘系統(tǒng)的發(fā)展現(xiàn)狀,,,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng),,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng)的目標(biāo),,希望在“十五”的基礎(chǔ)上形成的大規(guī)模的科學(xué)數(shù)據(jù)資源上，結(jié)合現(xiàn)有的元數(shù)據(jù)定義的規(guī)范，為各個(gè)建庫(kù)單位提供統(tǒng)一的、良好可擴(kuò)展性和靈活性的科學(xué)數(shù)據(jù)挖掘平臺(tái),,各建庫(kù)單位根據(jù)自身數(shù)據(jù)的特征來(lái)定制領(lǐng)域模型，平臺(tái)根據(jù)這些業(yè)務(wù)模型來(lái)實(shí)現(xiàn)對(duì)科學(xué)數(shù)據(jù)進(jìn)行分析和挖掘，最后以可視化的形式把結(jié)果呈

8、現(xiàn)給科研人員和科研管理人員，使得科研人員能夠從數(shù)據(jù)的背后進(jìn)行更加深入科研的活動(dòng)，同時(shí)也為科研管理人員提供決策的資料來(lái)源,,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng)的目標(biāo),,使科學(xué)家可以從桌面電腦上訪問(wèn)大量的數(shù)據(jù)和計(jì)算資源,,符合e-Science的首要的挑戰(zhàn),,從數(shù)據(jù)的“雪崩”中有效地抽取、集成、探測(cè)、分析和表達(dá)知識(shí)使得科學(xué)家能夠利用數(shù)據(jù)的潛能,,引發(fā)的不同領(lǐng)域的需求,,數(shù)據(jù)資源集成到一起的計(jì)算基礎(chǔ)設(shè)施——軟件工程師,,數(shù)據(jù)挖掘算法——計(jì)算機(jī)科學(xué)家,,定義元數(shù)據(jù)標(biāo)準(zhǔn)和提出挖掘的目標(biāo) ——各個(gè)領(lǐng)域的專家,,科學(xué)數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)目標(biāo),,從多種數(shù)據(jù)存貯資源中抽取數(shù)據(jù)，以及跨數(shù)據(jù)源的集成功能；,,管理和維護(hù)數(shù)據(jù)庫(kù)和數(shù)據(jù)

9、倉(cāng)庫(kù)，包括數(shù)據(jù)存儲(chǔ)的優(yōu)化及數(shù)據(jù)的增量維護(hù)；,,支持多種數(shù)據(jù)訪問(wèn)接口，包括ODBC、JDBC、OLE DB、Web Service等；,,集成多種數(shù)據(jù)挖掘算法，通過(guò)靈活的科學(xué)數(shù)據(jù)挖掘網(wǎng)格服務(wù)的方式，提供處理各種數(shù)據(jù)挖掘任務(wù)的功能；并提供開(kāi)放的接口，提供擴(kuò)展用戶自定義算法的功能。,,提供多種可視化方法顯示各種數(shù)據(jù)和數(shù)據(jù)挖掘結(jié)果的功能。,,科學(xué)數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu),,,各層主要功能,,數(shù)據(jù)選擇層,,數(shù)據(jù)選擇層的功能是把預(yù)處理后的數(shù)據(jù)表示成多維模型的形式,,簡(jiǎn)單的查詢，比如SQL語(yǔ)言的條件選擇或分組操作；基于聯(lián)機(jī)分析處理的數(shù)據(jù)立方體模型；無(wú)監(jiān)督的數(shù)據(jù)分割技術(shù)，比如聚類,,數(shù)據(jù)挖掘?qū)樱?,從數(shù)據(jù)選擇層

10、獲取數(shù)據(jù)，執(zhí)行數(shù)據(jù)挖掘任務(wù)，產(chǎn)生數(shù)據(jù)挖掘模型。,,算法參數(shù)和算法執(zhí)行,,數(shù)據(jù)和模式表示層,,多維數(shù)據(jù)的可視化、多維數(shù)據(jù)挖掘任務(wù)的可視化、模式可視化、模式比較和趨勢(shì)分析可視化。,,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng)的系統(tǒng)框架,,,科學(xué)數(shù)據(jù)挖掘系統(tǒng)的具體流程,,1）利用通用數(shù)據(jù)預(yù)處理工具對(duì)需要挖掘的數(shù)據(jù)進(jìn)行預(yù)處理；,,2）基于系統(tǒng)領(lǐng)域模型，進(jìn)行簡(jiǎn)單定制或進(jìn)一步開(kāi)發(fā)，完成領(lǐng)域模型的定制；,,3）執(zhí)行數(shù)據(jù)挖掘，并將挖掘結(jié)果進(jìn)行可視化顯示；,,4）評(píng)價(jià)挖掘結(jié)果，如果有必要，可重復(fù)2）、3)步，重新定制領(lǐng)域模型參數(shù)，進(jìn)行再次挖掘。,,科學(xué)數(shù)據(jù)的預(yù)處理,,科學(xué)數(shù)據(jù)的預(yù)處理就是按照科學(xué)數(shù)據(jù)的規(guī)律把各種形式的科學(xué)數(shù)據(jù)（關(guān)系數(shù)

11、據(jù)庫(kù)/XML/空間格式數(shù)據(jù)等）經(jīng)過(guò)一定的處理轉(zhuǎn)化成數(shù)據(jù)挖掘的標(biāo)準(zhǔn)化形式,,科學(xué)數(shù)據(jù)的預(yù)處理,,,異常數(shù)據(jù),,空缺數(shù)據(jù),,冗余或者重復(fù)數(shù)據(jù),,格式標(biāo)準(zhǔn)化,,數(shù)據(jù)歸約/壓縮,,……,,,領(lǐng)域模型庫(kù),,各建庫(kù)單位都有一些各自典型的數(shù)學(xué)模型或者業(yè)務(wù)邏輯，把這些數(shù)學(xué)模型或者業(yè)務(wù)邏輯綜合起來(lái)組成一個(gè)領(lǐng)域模型庫(kù)，作為科研人員定制領(lǐng)域模型的來(lái)源，它是一個(gè)開(kāi)放的庫(kù)，隨時(shí)可以補(bǔ)充新領(lǐng)域模型,,需要各個(gè)領(lǐng)域的專家參與,,,數(shù)據(jù)挖掘算法庫(kù),,科學(xué)數(shù)據(jù)挖掘應(yīng)用系統(tǒng)的核心,,主要包含一些具體的數(shù)據(jù)挖掘算法，如關(guān)聯(lián)規(guī)則、序列模式發(fā)現(xiàn)、決策樹(shù)、聚類、神經(jīng)元網(wǎng)絡(luò)、異常檢測(cè)等，而且還可以增加開(kāi)發(fā)人員針對(duì)不同應(yīng)用改進(jìn)的一些挖掘算法

12、,,目的是供領(lǐng)域模型所調(diào)用,,數(shù)據(jù)挖掘算法庫(kù),,,數(shù)據(jù)挖掘模塊,,該模塊主要包括挖掘算法的選擇和具體的數(shù)據(jù)挖掘過(guò)程,,挖掘算法的選擇：現(xiàn)有很多數(shù)據(jù)挖掘系統(tǒng)都是需要用戶自己選擇挖掘算法，在該系統(tǒng)中，挖掘算法的選擇是根據(jù)科研人員選擇的領(lǐng)域模型和預(yù)處理后的數(shù)據(jù)來(lái)自動(dòng)選擇挖掘算法,,數(shù)據(jù)挖掘：利用選擇好的算法對(duì)預(yù)處理后的科學(xué)數(shù)據(jù)進(jìn)行分析和挖掘，并產(chǎn)生結(jié)果信息,,科學(xué)數(shù)據(jù)挖掘信息的可視化,,科學(xué)數(shù)據(jù)挖掘信息的可視化技術(shù)拓寬了傳統(tǒng)的圖表功能，使用戶對(duì)數(shù)據(jù)的剖析更清楚。例如把數(shù)據(jù)庫(kù)中多維的數(shù)據(jù)變成多種圖形，這對(duì)于揭示數(shù)據(jù)中的狀況，內(nèi)在本質(zhì)以及規(guī)律性起到很強(qiáng)的作用,,目的是讓用戶能夠交互瀏覽數(shù)據(jù)、挖掘過(guò)程等,

13、,數(shù)據(jù)挖掘結(jié)果的可視化，將數(shù)據(jù)挖掘后得到的知識(shí)和結(jié)果用可視化的形式表示出來(lái)，比如二維的(圓、表格、樹(shù)等)或者三維的(立方體等),,數(shù)據(jù)挖掘過(guò)程的可視化，用可視化的形式描述挖掘過(guò)程，從中用戶可以看出數(shù)據(jù)從哪個(gè)數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)庫(kù)中抽取出來(lái),怎樣抽取以及怎樣預(yù)處理,怎樣挖掘等,,科學(xué)數(shù)據(jù)挖掘系統(tǒng)的具體應(yīng)用,,它是科學(xué)數(shù)據(jù)挖掘系統(tǒng)應(yīng)用的具體實(shí)施層，它根據(jù)挖掘后的信息和各個(gè)建庫(kù)單位提供的相關(guān)背景知識(shí)，能夠?qū)ο乱徊降目蒲谢顒?dòng)和決策咨詢提供一些參考性的建議。比如說(shuō)根據(jù)對(duì)黃河流水的水土流失數(shù)據(jù)的挖掘，能夠?yàn)檫@一地區(qū)的植樹(shù)的密度提供一些數(shù)據(jù)上的參考等,,科學(xué)數(shù)據(jù)挖掘系統(tǒng)的具體應(yīng)用,,“黃河流域水文泥沙數(shù)據(jù)庫(kù)”和“

14、黃土高原地區(qū)數(shù)據(jù)庫(kù)”,,黃河流域水文泥沙數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)介紹,,來(lái)源：黃河流域水文泥沙監(jiān)測(cè)站,,數(shù)據(jù)的時(shí)間范圍：50年代初～80年代末,,數(shù)據(jù)的空間范圍：黃河流域的主要水文觀測(cè)站,,數(shù)據(jù)項(xiàng)目：逐日流量（133個(gè)站的資料）、逐日泥沙含量（128個(gè)站的資料）、逐日降雨量（177個(gè)站的資料）、逐日蒸發(fā)量（70個(gè)站的資料）、逐月河流懸移質(zhì)顆粒級(jí)配（70個(gè)站的資料）。,,科學(xué)數(shù)據(jù)挖掘系統(tǒng)的具體應(yīng)用,,,黃土高原地區(qū)數(shù)據(jù)庫(kù)介紹,,來(lái)源：國(guó)家氣象局,,時(shí)間范圍：1950年～2000年,,數(shù)據(jù)的空間范圍：黃土高原地區(qū)/黃河流域9個(gè)省市自治區(qū)以縣氣象站為單元的氣候數(shù)據(jù),,數(shù)據(jù)項(xiàng)目：氣壓、氣溫（平均、最高、最低）、相

15、對(duì)濕度、風(fēng)速、降水量、蒸發(fā)量、日照時(shí)數(shù)、0厘米地溫和輻射（總、凈、直）的日值資料以及分層地溫的月值資料。,,科學(xué)數(shù)據(jù)挖掘系統(tǒng)的具體應(yīng)用,,,統(tǒng)計(jì)功能,,關(guān)于時(shí)間的統(tǒng)計(jì),,計(jì)算某一時(shí)間，不同觀測(cè)站觀測(cè)值的算術(shù)平均值、最大值、最小值,,計(jì)算一個(gè)時(shí)間段內(nèi)，不同觀測(cè)站觀測(cè)值的算術(shù)平均值、最大值、最小值,,關(guān)于地點(diǎn)的統(tǒng)計(jì),,按照流域界限劃分，既計(jì)算某流域界限之內(nèi)各觀測(cè)站觀測(cè)值的算術(shù)平均值、最大值、最小值,,按照行政界限劃分，既計(jì)算某行政界限之內(nèi)各觀測(cè)站觀測(cè)值的算術(shù)平均值、最大值、最小值,,按照生態(tài)類型區(qū)界限劃分，既計(jì)算某生態(tài)類型區(qū)界限之內(nèi)各觀測(cè)站觀測(cè)值的算術(shù)平均值、最大值、最小值,,科學(xué)數(shù)據(jù)挖掘系統(tǒng)的具體應(yīng)用,,數(shù)據(jù)挖掘功能,,利用關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法發(fā)現(xiàn)屬性之間的關(guān)系，例如黃土高原地區(qū)氣候數(shù)據(jù)庫(kù)中各種氣候?qū)傩灾g的關(guān)系,,利用聚類算法在黃河流域水文泥沙數(shù)據(jù)庫(kù)中發(fā)現(xiàn)水文特征相似的觀測(cè)站的集合，在黃土高原地區(qū)氣候數(shù)據(jù)庫(kù)中發(fā)現(xiàn)氣候特征相似的觀測(cè)站的集合,,利用序列模式發(fā)現(xiàn)算法發(fā)現(xiàn)屬性值的變化規(guī)律,,利用預(yù)測(cè)算法預(yù)測(cè)水文特征和氣候特征演變的規(guī)律和發(fā)展的趨勢(shì),,黃河流域的水土流失的防治（需要相關(guān)的背景知識(shí)）,,水文參數(shù)和氣候特征的分析預(yù)測(cè),,謝謝！,請(qǐng)?zhí)岢鰧氋F的建議和意見(jiàn),,