《總結(jié)及下一階段工作計(jì)劃》由會(huì)員分享，可在線閱讀，更多相關(guān)《總結(jié)及下一階段工作計(jì)劃（41頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、總結(jié)及下一階段工作計(jì)劃劉學(xué)錚03.09.03大綱v信息網(wǎng)格研究綜述v階段論文和科研成果v基于屬性的搜索引擎v信息網(wǎng)格設(shè)計(jì)數(shù)據(jù)網(wǎng)格、信息網(wǎng)格和知識(shí)網(wǎng)格1,3數(shù)據(jù)網(wǎng)格與信息網(wǎng)格v數(shù)據(jù)網(wǎng)格數(shù)據(jù)網(wǎng)格解決的問題：v解決海量數(shù)據(jù)的存儲(chǔ)和共享問題v主要為計(jì)算任務(wù)以及計(jì)算網(wǎng)格服務(wù)，是一種底層的海量數(shù)據(jù)倉儲(chǔ)體系數(shù)據(jù)網(wǎng)格不去解決的問題：v多類的和復(fù)雜的信息格式v信息表示和元數(shù)據(jù)v智能化信息獲?。↖nformation retrieval）v信息網(wǎng)格信息網(wǎng)格解決的問題v信息的智能化獲取v信息檢索v信息的表示v多類的元數(shù)據(jù)和結(jié)構(gòu)化v給用戶和應(yīng)用程序提供特定內(nèi)容的信息服務(wù)信息網(wǎng)格不去解決的問題v海量數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)管理v

2、計(jì)算問題及強(qiáng)數(shù)據(jù)量（data-density）的計(jì)算和數(shù)據(jù)訪問方式信息網(wǎng)格和知識(shí)網(wǎng)格v信息網(wǎng)格信息網(wǎng)格解決的問題v信息的智能化獲取v信息檢索v信息的表示v多類的元數(shù)據(jù)和結(jié)構(gòu)化信息網(wǎng)格不去解決的問題v數(shù)據(jù)挖掘v問題求解v知識(shí)網(wǎng)格知識(shí)網(wǎng)格解決的問題v數(shù)據(jù)挖掘、知識(shí)挖掘v規(guī)則的發(fā)現(xiàn)v數(shù)據(jù)、信息的可視化vOntology 轉(zhuǎn)換知識(shí)網(wǎng)格不去解決的問題v無結(jié)構(gòu)信息的半結(jié)構(gòu)化v元數(shù)據(jù)格式的匹配和轉(zhuǎn)換v信息智能化檢索資源網(wǎng)格、信息網(wǎng)格與服務(wù)網(wǎng)格2信息網(wǎng)格的其他討論v信息網(wǎng)格作為計(jì)算網(wǎng)格和知識(shí)網(wǎng)格的中間層次，允許對(duì)于異構(gòu)信息的統(tǒng)一訪問，提供分布式資源上的公用信息服務(wù)。統(tǒng)一訪問依賴于metadata對(duì)于信息的描述

3、（并集成異構(gòu)資源）4,5vThe computation/data grid has supercomputers,large servers,massive data storage facilities and specialised devices and facilities(e.g.for VR(Virtual Reality).The main functions include compute load sharing/algorithm partitioning,resolution of data source addresses,security,replication a

4、nd message rerouting.The information grid resolves homogeneous access to heterogeneous information sources.The knowledge grid utilises knowledge discovery in database technology(especially data mining)to generate knowledge(from information and data in the lower 2 layers of the GRIDs).6信息網(wǎng)格的其他討論vIPG(

5、information power grid),NASA.：針對(duì)與對(duì)異構(gòu)分布式信息資源的無縫訪問7vGIG(global information grid),USA Defance.強(qiáng)調(diào)以網(wǎng)絡(luò)為中心的通信，信息廣播和作戰(zhàn)系統(tǒng)（net-centric information environment）vInfoGrid8：一個(gè)實(shí)現(xiàn)信息訪問應(yīng)用的框架，其上提供用戶界面及交互模型。它集中于獲取應(yīng)用程序?qū)ο?，以其?duì)于信息，數(shù)據(jù)和服務(wù)的統(tǒng)一訪問(retrieval-centered interaction model for information access applications)大綱v信息網(wǎng)格研

6、究綜述v階段論文和科研成果v基于屬性的搜索引擎v信息網(wǎng)格設(shè)計(jì)階段論文和科研成果v對(duì)等網(wǎng)絡(luò)及信息網(wǎng)格的基礎(chǔ)設(shè)施（infrastructure）研究結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略基于節(jié)點(diǎn)異構(gòu)信息的路由及負(fù)載平衡算法v信息搜索和基于語義的信息表示研究應(yīng)用于大規(guī)模分布系統(tǒng)的潛在語義分析和信息索引策略查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索基于元數(shù)據(jù)表示的信息網(wǎng)格階段論文和科研成果v大規(guī)模分布系統(tǒng)上消息傳遞及同步機(jī)制O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略v針對(duì)傳統(tǒng)的“連續(xù)k-近鄰”數(shù)據(jù)冗余備份算法之不足，

7、提出改進(jìn)的“分區(qū)近鄰”備份算法，適應(yīng)高度動(dòng)態(tài)環(huán)境下的數(shù)據(jù)備份要求，很大程度上避免了無用的數(shù)據(jù)遷移，節(jié)省了系統(tǒng)維護(hù)開銷v提出一個(gè)系統(tǒng)維護(hù)開銷模型，并給出基于模型的優(yōu)化策略v提出variation-tolerant recovery和adaptive probing相結(jié)合的系統(tǒng)維護(hù)策略，實(shí)現(xiàn)了靜態(tài)的和自適應(yīng)的數(shù)據(jù)冗余備份基于節(jié)點(diǎn)異構(gòu)信息的路由及負(fù)載平衡算法v傳統(tǒng)對(duì)等網(wǎng)絡(luò)采用哈希算法實(shí)現(xiàn)總體上的負(fù)載平衡。這種簡單處理方式?jīng)]有能有效的利用節(jié)點(diǎn)能力（強(qiáng)節(jié)點(diǎn)），并且仍然有一定程度上的負(fù)載不均衡v本算法利用節(jié)點(diǎn)容量表儲(chǔ)存當(dāng)前節(jié)點(diǎn)能力和使用狀況，并基于此進(jìn)行負(fù)載分配，實(shí)現(xiàn)了實(shí)施的細(xì)粒度平衡，并有效的利用了節(jié)點(diǎn)

8、能力v算法使用一個(gè)輕度的消息擴(kuò)散策略保證了容量表的實(shí)施更新應(yīng)用于大規(guī)模分布系統(tǒng)的潛在語義分析和信息索引策略v將傳統(tǒng)信息獲取領(lǐng)域（IR）中的潛在語義分析方法（Latent Semantic Analysis）應(yīng)用于大規(guī)模分布式對(duì)等網(wǎng)絡(luò)上，實(shí)現(xiàn)對(duì)于信息源之間潛在語義關(guān)聯(lián)的提取和利用。通過將信息和用戶使用特性映射到降維歐式空間中的點(diǎn)來實(shí)現(xiàn)對(duì)于語義相關(guān)性的表示v建立了對(duì)于潛在語義和用戶使用特性的后驗(yàn)概率模型，使用MAP(maximizing a posteriori)進(jìn)行優(yōu)化求解。采用基于E-M優(yōu)化的迭代算法實(shí)現(xiàn)了對(duì)于潛在語義表示空間的降維和求解，避免了分布式環(huán)境下SVD分解的復(fù)雜計(jì)算量v通過提取的潛

9、在語義表示來定義信息索引并指導(dǎo)分布式搜索，極大的提高了信息搜索效率（提高了23個(gè)數(shù)量級(jí)）查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索v解決動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下無中心大規(guī)模分布式系統(tǒng)的高效信息檢索問題。v建立了信息查找表（索引）的優(yōu)化性能和網(wǎng)絡(luò)動(dòng)態(tài)變化造成信息查找表維護(hù)開銷之間的平衡（trade-off）模型，求解出最優(yōu)的信息查找表尺度v基于最有查找表尺度建立高效的信息檢索和維護(hù)算法，證明并實(shí)現(xiàn)了無偏檢索（unbiased searching）算法中的最優(yōu)效率。基于元數(shù)據(jù)表示的信息網(wǎng)格v使用元數(shù)據(jù)表示（metadata）實(shí)現(xiàn)信息網(wǎng)格底層架構(gòu)v通過元數(shù)據(jù)的等價(jià)轉(zhuǎn)換完成分布信息檢索和信

10、息集成v利用用戶反饋數(shù)據(jù)實(shí)現(xiàn)信息檢索優(yōu)化O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法v改善了傳統(tǒng)結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)設(shè)計(jì)的節(jié)點(diǎn)鏈路關(guān)系，很大程度上降低了節(jié)點(diǎn)的聯(lián)接數(shù)v設(shè)計(jì)了O(1)復(fù)雜度的路由算法。對(duì)照HotOS IX中關(guān)于O(1)復(fù)雜度討論的先驅(qū)性論文，本設(shè)計(jì)避免了超級(jí)節(jié)點(diǎn)（supernode），實(shí)現(xiàn)了完全對(duì)等的拓?fù)浣Y(jié)構(gòu)。這樣同時(shí)解決了前文中超級(jí)節(jié)點(diǎn)帶寬開銷過大的問題高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制v實(shí)現(xiàn)了應(yīng)用層（application level）的廣播機(jī)制，建立了一個(gè)高可靠的分布式消息通知和廣播機(jī)制v對(duì)比gossip算法，減少了消息冗余，提高了算法效率，其算法效率接近最優(yōu)生成樹的樹型廣播v對(duì)比樹型廣播，本算法

11、保證了很高的可靠性以及負(fù)載均衡，其可靠性接近gossip算法大綱v信息網(wǎng)格研究綜述v階段論文和科研成果v基于屬性的搜索引擎設(shè)計(jì)v信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎設(shè)計(jì)v概述及與傳統(tǒng)文本搜索引擎的對(duì)比v基于屬性的搜索引擎設(shè)計(jì)v信息網(wǎng)格設(shè)計(jì)概述及與傳統(tǒng)文本搜索引擎的對(duì)比v應(yīng)用背景：互聯(lián)網(wǎng)上巨大信息的獲取和檢索v傳統(tǒng)文本搜索引擎的實(shí)現(xiàn)方法Html頁面文本的獲取（Crawling）頁面解析和倒排索引建立（Inverted Indexing）頁面聯(lián)接關(guān)系分析和評(píng)定（Page Ranking）基于倒排索引的聯(lián)合查詢（Searching and merging）傳統(tǒng)文本搜索引擎的優(yōu)勢(shì)和不足v優(yōu)勢(shì)使用簡便，面向最

12、終用戶只關(guān)心文本，具有通用性。同時(shí)鑒于目前IR技術(shù)水平尚待發(fā)展，純文本搜索不啻為最直接的搜索引擎策略v不足完全不考慮文本結(jié)構(gòu)信息，限制了高級(jí)使用其通用性也是不足之處，無法對(duì)于專業(yè)應(yīng)用提供有針對(duì)性的服務(wù)，不能實(shí)現(xiàn)在語義上的定域查詢，查詢精度差不包含屬性信息，不符合信息網(wǎng)格的需求，無法對(duì)應(yīng)用程序?qū)崿F(xiàn)必需的支持基于屬性的半結(jié)構(gòu)化信息搜索引擎v設(shè)計(jì)思想將信息（html頁面，ftp文件，pdf文件）看作是屬性的集合，而非傳統(tǒng)平面純文本的集合，亦即：Item=i,i=1,n查詢請(qǐng)求可以詳細(xì)指定所查信息的屬性，提供key或者與key相對(duì)應(yīng)的屬性值，縮小查尋范圍，提高查詢精度屬性之間實(shí)現(xiàn)等效轉(zhuǎn)換這本質(zhì)上是利用

13、（文本中）結(jié)構(gòu)信息和語義信息概要設(shè)計(jì)v系統(tǒng)組成部分信息資源獲?。–rawling）vCrawler and Crawler Scheduler半結(jié)構(gòu)化和倒排索引建立vTemplate-based Analyzer and Inverted-index Builder語義相關(guān)分析及屬性表評(píng)定vSVD and Ranker基于屬性的查詢vProperty-based Query Engine與傳統(tǒng)純文本搜索引擎之比較網(wǎng)頁Crawler頁面解析器文本索引應(yīng)答引擎純文本Page Rank網(wǎng)頁Crawler半結(jié)構(gòu)化器屬性索引應(yīng)答引擎語義Rank及擴(kuò)展查詢屬性查詢純文本搜索引擎基于屬性的搜索引擎模版庫In

14、ternet獲取獲取分析分析索引索引查詢查詢關(guān)鍵技術(shù)v半結(jié)構(gòu)化通用半結(jié)構(gòu)化器v提取html的表格信息，形成屬性表v提取已知格式的文檔信息，譬如DOC,PDF等基于模版的專用半結(jié)構(gòu)化器v對(duì)于特定頁面定制特定的模版，使用XML規(guī)則知道解析v對(duì)于特定服務(wù)定制特定的模版及特定協(xié)議（ftp等）v通過半結(jié)構(gòu)化器，將頁面轉(zhuǎn)換成為屬性表，縮小查尋范圍，提高查詢精度和效率關(guān)鍵技術(shù)v屬性索引針對(duì)轉(zhuǎn)換的屬性表，建立屬性倒排對(duì)于二維表格的處理其他頁面內(nèi)容的索引，與文本搜索引擎的處理相同關(guān)鍵技術(shù)v基于屬性表和語義的Rank和擴(kuò)展查詢屬性表特定的Rank基于SVD潛在語義分析的頁面Rank技術(shù)擴(kuò)展查詢技術(shù)v基于屬性詞相關(guān)

15、的擴(kuò)展查詢v基于同義詞字典的擴(kuò)展查詢v基于頁面潛在相關(guān)的擴(kuò)展查詢關(guān)鍵技術(shù)v基于屬性查詢的應(yīng)答引擎對(duì)于設(shè)定屬性值（值域）的查詢優(yōu)化大綱v信息網(wǎng)格研究綜述v階段論文和科研成果v基于屬性的搜索引擎v信息網(wǎng)格設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)v基于屬性的搜索引擎可以看作信息網(wǎng)格架構(gòu)上面的一個(gè)應(yīng)用信息網(wǎng)格系統(tǒng)具備了對(duì)于信息的統(tǒng)一描述（基于屬性標(biāo)的元數(shù)據(jù)）可以提供用戶查詢的反饋具備管理和看守一定范圍的Internet上信息資源的能力v信息網(wǎng)格底層架構(gòu)應(yīng)該給多個(gè)這樣的應(yīng)用提供基礎(chǔ)設(shè)施（infrastructure）級(jí)的支持信息網(wǎng)格圖示InternetInformation Grid Infrastructure信息資源信息網(wǎng)

16、格Knowledge Grid應(yīng)用程序終端用戶上層用戶從基于屬性的搜索引擎到信息網(wǎng)格：典型信息網(wǎng)格的結(jié)構(gòu)設(shè)計(jì)資源獲取器應(yīng)答引擎RankInternet資源獲取資源獲取資源庫定域Scheduler半結(jié)構(gòu)化器屬性索引半結(jié)構(gòu)化規(guī)則分析獲取分析獲取查詢查詢輔助模塊基于元數(shù)據(jù)的請(qǐng)求返回結(jié)果翻譯模塊翻譯模塊格式轉(zhuǎn)換應(yīng)用程序終端用戶其他網(wǎng)格信息網(wǎng)格基礎(chǔ)架構(gòu)v多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口v用戶查詢分派v針對(duì)特定用戶的信息集成信息網(wǎng)格基礎(chǔ)架構(gòu)v多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口抽象信息網(wǎng)格服務(wù)v輸入基于元數(shù)據(jù)表示的查詢請(qǐng)求v輸出特定格式的查詢結(jié)果采用基于XML統(tǒng)一表示的數(shù)據(jù)格式可外掛的翻譯模塊信息網(wǎng)格基礎(chǔ)

17、架構(gòu)v用戶查詢派發(fā)用戶提交查詢：v特定元數(shù)據(jù)結(jié)構(gòu)v特定信息網(wǎng)格定域v特定服務(wù)描述檢索可以服務(wù)的信息網(wǎng)格：基于用戶元數(shù)據(jù)模式v采用無中心對(duì)等網(wǎng)絡(luò)中的檢索技術(shù)v采用用戶配置文件v采用信息網(wǎng)格特定的注冊(cè)檢索服務(wù)器來完成這些特定服務(wù)企也可以看作一定意義上的“信息網(wǎng)格”信息網(wǎng)格基礎(chǔ)構(gòu)架v針對(duì)特定用戶的信息集成最終的信息集成應(yīng)該是應(yīng)用程序或者用戶端來完成的，因此集成有理由采用無偏向性的簡單結(jié)果融合優(yōu)化的信息集成技術(shù)是“元搜索”領(lǐng)域中的基本課題，有一些成型的結(jié)果通過用戶反饋（relevance feedback）積累知識(shí)，實(shí)現(xiàn)長程的信息集成優(yōu)化v這一部分主要是特定信息網(wǎng)格應(yīng)用的范疇前述研究結(jié)果和信息網(wǎng)格的結(jié)

18、合v針對(duì)大規(guī)模分布系統(tǒng)的搜索技術(shù)v針對(duì)高度動(dòng)態(tài)系統(tǒng)的高可用技術(shù)v針對(duì)潛在語義信息分析的技術(shù)v統(tǒng)一的信息表示參考文獻(xiàn)1 Nigel Baker et al.Querying Large Physics Data Sets Over an Information Grid.In Chep 012 Alexander Reinefeld et al.Concepts and Technologies for a Worldwide Grid Infrastructure.In Euro-Par 20023 F.P.Terpstra,et al.Information discovery and co

19、mbination from divergent data sources for Travel Information Systems.In 7th European Conference on Principles and Practice of Knowledge Discovery in Databases(ECML/PKKD-2003)4 Omer F.Rana et al.Issues in Building Agent-Based Computational Grids.Third Workshop of the UK Special Interest Group on Mult

20、i-Agent Systems(UKMAS2000)Oxford,UK.12 2000 參考文獻(xiàn)v5 Keith.G.et al.Knowledge,information and Data.A briefing to the Office of Science and Technology,UK,2000v6 Keith.G.et al.CRIS,Grey Literature and the Knowledge SocietyIn CRIS2000v7 David.D et al.XDB-IPG:An Extensible Database Architecture for an Info

21、rmation Grid of Heterogeneous and Distributed Information Resourcesv8 R.Rao et al.The Information Grid:A Framework for Information Retrieval and Retrieval-Centered Applications.In Proceedings of the fifth annual ACM symposium on User interface software and technology(UIST 92),pages 23-32,Monterey,CA,1992.謝謝大家！并請(qǐng)指正！