《并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討17425》由會員分享，可在線閱讀，更多相關(guān)《并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討17425（41頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED S

2、ITE 3,Graphics by Aldo Stentella,并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討,內(nèi)容大綱,并行計算技術(shù),集群及相關(guān)技術(shù),網(wǎng)格計算,如何滿足不斷增長的計算力需求？,用速度更快的硬件，也就是減少每一條指令所需時間,優(yōu)化算法（或者優(yōu)化編譯）,用多個處理機(jī),(,器,),同時解決一個問題,并行計算,串行計算與并行計算,并行的層次,程序級并行,子程序級并行,語句級并行,操作級并行,微操作級并行,并行粒度,粗,細(xì),共享內(nèi)存與分布式內(nèi)存,P=,處理器,M=,內(nèi)存,S=,網(wǎng)絡(luò)交換設(shè)備,P,M,P,P,M,P,M,S,局部共享內(nèi)存,S,P,M,P,P,M,P,Node,Node,

3、實現(xiàn)并行計算的常見方法,1,、多線程程序,2,、基于,OpenMP,的并行程序,3,、基于消息傳遞的并行程序,PVM,MPI,XPVM,XPVM,并行計算環(huán)境簡介,PVP,（,Parallel Vector Processor,）,使用專用向量處理器,銀河,I,，,CrayT90,，,NEC,的地球模擬器。,SMP,（,Symmetric Multiprocessor,）,同一主板上多個處理器可以等同訪問共享存儲器、,I/O,設(shè)備和操作系統(tǒng)服務(wù),IBM RS6000,。,Cluster,由很多連接在一起的獨(dú)立計算機(jī)組成，像一個單獨(dú)的集成的計算機(jī)一樣協(xié)同工作,集群的節(jié)點(diǎn)可以是,SMP,（或者,P

4、VP,）,Cluster1350,，藍(lán)色基因。,在虛擬天文臺中的應(yīng)用情形,處理實時性要求很高的大量觀測數(shù)據(jù),觀測數(shù)據(jù)的并行可視化處理,并行數(shù)據(jù)挖掘,并行數(shù)據(jù)服務(wù)提供,。,集群技術(shù),集群概念最早由,IBM,于,20,世紀(jì),60,年代提出,集群一般由高速網(wǎng)絡(luò)連接起來的高性能工作站或,PC,機(jī)組成。集群在工作中像一個統(tǒng)一的整合資源，所有節(jié)點(diǎn)使用單一界面。,集群,Not a Cluster Cluster,集群計算系統(tǒng)體系結(jié)構(gòu),集群相關(guān)技術(shù),網(wǎng)絡(luò)層,網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)、通信協(xié)議、信號技術(shù)等。,節(jié)點(diǎn)機(jī)及操作系統(tǒng)層,高性能,PC,或工作站、分層或基于微內(nèi)核的操作系統(tǒng)等。,集群系統(tǒng)管理層,資源管理、資源調(diào)度、負(fù)載

5、平衡、并行,I/O,、安全等。,應(yīng)用層,并行程序開發(fā)環(huán)境、串行應(yīng)用、并行應(yīng)用等。,Cluster1350,Cluster1350,是,IBM,公司目標(biāo)定位于高性能計算市場的,Linux,集群，包括一套完整的解決方案，集成了眾多,IBM,與非,IBM,的先進(jìn)的軟硬件技術(shù)，有其特有的技術(shù)優(yōu)勢與強(qiáng)大的服務(wù)支持。,Cluster1350,邏輯結(jié)構(gòu),Cluster1350,節(jié)點(diǎn)硬件、網(wǎng)絡(luò)和操作系統(tǒng),(,天津大學(xué),IBM,中心）,管理節(jié)點(diǎn),IBM eServer xSeries 345(1),計算節(jié)點(diǎn),IBM eServer xSeries 335(16),網(wǎng)絡(luò),千兆以太網(wǎng),操作系統(tǒng),Red Hat Li

6、nux 7.3,CSM（Cluster System Management）,CSM,是,IBM,公司開發(fā)，專門用于集群系統(tǒng)管理的中間件，在,Cluster1350,解決方案集成。,CSM,的設(shè)計思想與體系結(jié)構(gòu)來自,PSSP(IBM Parallel System Support Programs for AIX),與其它一些開源的集群管理軟件。還有一些中間件及技術(shù)，雖然不直接為用戶服務(wù)，但構(gòu)成了,CSM,的不可或缺的基礎(chǔ)，包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系統(tǒng)管理,整個集群由單一結(jié)點(diǎn)控制,所有結(jié)點(diǎn)的,開機(jī)、關(guān)機(jī)、狀態(tài)查詢,顯示遠(yuǎn)程控制臺,安裝操作系統(tǒng)

7、,升級,(,安裝,),各結(jié)點(diǎn)系統(tǒng)及應(yīng)用軟件,。,一個完整的集群只需一套外置輸入,/,輸出設(shè)備,(,鍵盤、鼠標(biāo)、顯示器,),Linux 集群上可用的任務(wù)調(diào)度系統(tǒng),Mosix,（,Multicomputer Operating System for UnIX,）,可以自動完成節(jié)點(diǎn)間進(jìn)程遷移,需要重新編譯,Linux,內(nèi)核,對用戶來說是透明的,PBS,（,Portable Batch System,）,由,NASA,的,Ames,研究中心開發(fā),為了達(dá)到集群系統(tǒng)整體上的負(fù)載平衡，對各個節(jié)點(diǎn)上的任務(wù)進(jìn)行調(diào)度，但不進(jìn)行節(jié)點(diǎn)間任務(wù)遷移,不需要重新編譯內(nèi)核,集群上的應(yīng)用程序（計算）開發(fā),適于開發(fā)基于消息傳遞的

8、并行應(yīng)用程序,可以使用,PVM/MPI,步驟：,配置并行計算的編譯與運(yùn)行環(huán)境,主要是,rsh/ssh,設(shè)計、編寫、編譯程序,使用,PVM/MPI,提供的程序庫及編譯環(huán)境,部署應(yīng)用程序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,運(yùn)行程序,配置高可用集群,最大程度地減少服務(wù)中斷，而不是容錯。,Hearbeat,LVS,（,Linux Virtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列軟件,Heartbeat 集群,LVS集群,集群在虛擬天文臺中的角色,高性能計算,構(gòu)成虛擬天文臺網(wǎng)格環(huán)境中強(qiáng)有力的計算資源,高可用服務(wù),在網(wǎng)格環(huán)境

9、中提供穩(wěn)定、可靠的數(shù)據(jù)、計算、調(diào)度等服務(wù),網(wǎng)格計算,“,Resource sharing&coordinated problem solving in dynamic,multi-institutional virtual organizations”,On Demand,理想的網(wǎng)格,理想的網(wǎng)格,The picture above describes a DataGrid testbed with three sites and a Certification Authority.For space reasons we do not show all the machines of each

10、 site.,The user requests a certificate to the Certificate Authority web front-end.,The certificate is produced and signed by the Certificate Server.,The user gets the certificate.,Now that the user has his/her certificate installed on his/her User Interface,he/she can submit his/her job requests.,Af

11、ter creating a proxy process with temporary credentials(“grid-proxy-init”command),the user submits his/her job request to the Resource Broker.,Submitted,The Resource Broker queries the Replica Catalog and Information Index to find suitable resources(storage space,data and computing power).,Waiting,T

12、he Resource Broker selects the resources.,Ready,The Resource Broker submits the job to the selected Computing Element(s).,Scheduled,The Computing Element delivers the job to its Worker Node(s),which will do the real work.,Done,Output Ready,The output is moved to the Resource Broker,The user gets his

13、/her output,Cleared,網(wǎng)格計算環(huán)境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,Site A,Site B,Site C,UI/API,Grid,UI/API,Grid,LAN,結(jié)束語,虛擬天文臺將構(gòu)筑于網(wǎng)格環(huán)境之上,集群將構(gòu)成網(wǎng)格環(huán)境中強(qiáng)有力的計算與服務(wù)支撐平臺,并行計算將為具體事務(wù)處理提供技術(shù)與手段上支持,Thanks!,演講完畢，謝謝觀看！,