《并行計(jì)算集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用》由會(huì)員分享，可在線閱讀，更多相關(guān)《并行計(jì)算集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用（41頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED S

2、ITE 3,Graphics by Aldo Stentella,并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討,內(nèi)容大綱,并行計(jì)算技術(shù),集群及相關(guān)技術(shù),網(wǎng)格計(jì)算,如何滿足不斷增長的計(jì)算力需求？,用速度更快的硬件，也就是減少每一條指令所需時(shí)間,優(yōu)化算法（或者優(yōu)化編譯）,用多個(gè)處理機(jī),(,器,),同時(shí)解決一個(gè)問題,并行計(jì)算,串行計(jì)算與并行計(jì)算,并行的層次,程序級(jí)并行,子程序級(jí)并行,語句級(jí)并行,操作級(jí)并行,微操作級(jí)并行,并行粒度,粗,細(xì),共享內(nèi)存與分布式內(nèi)存,P=,處理器,M=,內(nèi)存,S=,網(wǎng)絡(luò)交換設(shè)備,P,M,P,P,M,P,M,S,局部共享內(nèi)存,S,P,M,P,P,M,P,Node,Node,

3、實(shí)現(xiàn)并行計(jì)算的常見方法,1,、多線程程序,2,、基于,OpenMP,的并行程序,3,、基于消息傳遞的并行程序,PVM,MPI,XPVM,XPVM,并行計(jì),算,算環(huán)境,簡,簡介,PVP,（,ParallelVectorProcessor,）,使用專,用,用向量,處,處理器,銀河,I,，,CrayT90,，,NEC,的地球,模,模擬器,。,。,SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,個(gè),個(gè)處理,器,器可以,等,等同訪,問,問共享,存,存儲(chǔ)器,、,、,I/O,設(shè)備和,操,操作系,統(tǒng),統(tǒng)服務(wù),IBMRS6000,。,Cluster,由很多,連,連接在,一,一

4、起的,獨(dú),獨(dú)立計(jì),算,算機(jī)組,成,成，像,一,一個(gè)單,獨(dú),獨(dú)的集,成,成的計(jì),算,算機(jī)一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點(diǎn)可,以,以是,SMP,（或者,PVP,）,Cluster1350,，藍(lán)色,基,基因。,。,。,在虛擬,天,天文臺(tái),中,中的應(yīng),用,用情形,處理實(shí),時(shí),時(shí)性要,求,求很高,的,的大量,觀,觀測數(shù),據(jù),據(jù),觀測數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務(wù),提,提供,。,。,。,集群技,術(shù),術(shù),集群概,念,念最早,由,由,IBM,于,20,世紀(jì),60,年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡(luò),連,連接起,來,來的高,性,性能工,作,作

5、站或,PC,機(jī)組成,。,。集群,在,在工作,中,中像一,個(gè),個(gè)統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點(diǎn),點(diǎn)使用,單,單一界,面,面。,集群,NotaClusterCluster,集群計(jì),算,算系統(tǒng),體,體系結(jié),構(gòu),構(gòu),集群相,關(guān),關(guān)技術(shù),網(wǎng)絡(luò)層,網(wǎng)絡(luò)互,聯(lián),聯(lián)結(jié)構(gòu),、,、通信,協(xié),協(xié)議、,信,信號(hào)技,術(shù),術(shù)等。,節(jié)點(diǎn)機(jī),及,及操作,系,系統(tǒng)層,高性能,PC,或工作,站,站、分,層,層或基,于,于微內(nèi),核,核的操,作,作系統(tǒng),等,等。,集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調(diào)度,、,、負(fù)載,平,平衡、,并,并行,I/O,、安全,等,等。,應(yīng)用層,并行程,序,序開發(fā),環(huán),環(huán)境、

6、,串,串行應(yīng),用,用、并,行,行應(yīng)用,等,等。,Cluster1350,Cluster1350,是,IBM,公司目,標(biāo),標(biāo)定位,于,于高性,能,能計(jì)算,市,市場的,Linux,集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多,IBM,與非,IBM,的先進(jìn),的,的軟硬,件,件技術(shù),，,，有其,特,特有的,技,技術(shù)優(yōu),勢,勢與強(qiáng),大,大的服,務(wù),務(wù)支持,。,。,Cluster1350,邏輯結(jié),構(gòu),構(gòu),Cluster1350,節(jié)點(diǎn)硬,件,件、網(wǎng),絡(luò),絡(luò)和操,作,作系統(tǒng),(,天津大,學(xué),學(xué),IBM,中心）,管理節(jié),點(diǎn),點(diǎn),IBMeServerxSeries 345(1),計(jì)

7、算節(jié),點(diǎn),點(diǎn),IBMeServerxSeries 335(16),網(wǎng)絡(luò),千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司開,發(fā),發(fā)，專,門,門用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在,Cluster1350,解決方,案,案集成,。,。,CSM,的設(shè)計(jì),思,思想與,體,體系結(jié),構(gòu),構(gòu)來自,PSSP(IBMParallelSystem SupportProgramsfor AIX),與其它,一,一些開,源,源的集,群,群管理,軟,軟件。,還,還有一,些,些中間,件,件及技,術(shù),術(shù)

8、，雖,然,然不直,接,接為用,戶,戶服務(wù),，,，但構(gòu),成,成了,CSM,的不可,或,或缺的,基,基礎(chǔ)，,包,包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系,統(tǒng),統(tǒng)管理,整個(gè)集,群,群由單,一,一結(jié)點(diǎn),控,控制,所有結(jié),點(diǎn),點(diǎn)的,開機(jī)、,關(guān),關(guān)機(jī)、,狀,狀態(tài)查,詢,詢,顯示遠(yuǎn),程,程控制,臺(tái),臺(tái),安裝操,作,作系統(tǒng),升級(jí),(,安裝,),各結(jié)點(diǎn),系,系統(tǒng)及,應(yīng),應(yīng)用軟,件,件,。,一個(gè)完,整,整的集,群,群只需,一,一套外,置,置輸入,/,輸出設(shè),備,備,(,鍵盤、,鼠,鼠標(biāo)、,顯,顯示器,),Linux,集,集群上,可,可用的,任,任務(wù)調(diào),度,度系統(tǒng),Mosix,

9、（,Multicomputer OperatingSystemfor UnIX,）,可以自,動(dòng),動(dòng)完成,節(jié),節(jié)點(diǎn)間,進(jìn),進(jìn)程遷,移,移,需要重,新,新編譯,Linux,內(nèi)核,對(duì)用戶,來,來說是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中,心,心開發(fā),為了達(dá),到,到集群,系,系統(tǒng)整,體,體上的,負(fù),負(fù)載平,衡,衡，對(duì),各,各個(gè)節(jié),點(diǎn),點(diǎn)上的,任,任務(wù)進(jìn),行,行調(diào)度,，,，但不,進(jìn),進(jìn)行節(jié),點(diǎn),點(diǎn)間任,務(wù),務(wù)遷移,不需要,重,重新編,譯,譯內(nèi)核,集群上,的,的應(yīng)用,程,程序（,計(jì),計(jì)算）,開,開發(fā),適于開,發(fā),發(fā)基于,消,消息傳,遞,遞的

10、并,行,行應(yīng)用,程,程序,可以使,用,用,PVM/MPI,步驟：,配置并,行,行計(jì)算,的,的編譯,與,與運(yùn)行,環(huán),環(huán)境,主要是,rsh/ssh,設(shè)計(jì)、,編,編寫、,編,編譯程,序,序,使用,PVM/MPI,提供的,程,程序庫,及,及編譯,環(huán),環(huán)境,部署應(yīng),用,用程序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,運(yùn)行程,序,序,配置高,可,可用集,群,群,最大程,度,度地減,少,少服務(wù),中,中斷，,而,而不是,容,容錯(cuò)。,Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列軟,件,件,He

11、artbeat,集,集群,LVS,集,集群,集群在,虛,虛擬天,文,文臺(tái)中,的,的角色,高性能,計(jì),計(jì)算,構(gòu)成虛,擬,擬天文,臺(tái),臺(tái)網(wǎng)格,環(huán),環(huán)境中,強(qiáng),強(qiáng)有力,的,的計(jì)算,資,資源,高可用,服,服務(wù),在網(wǎng)格,環(huán),環(huán)境中,提,提供穩(wěn),定,定、可,靠,靠的數(shù),據(jù),據(jù)、計(jì),算,算、調(diào),度,度等服,務(wù),務(wù),網(wǎng)格計(jì),算,算,“,Resourcesharing&coordinatedproblemsolving in dynamic,multi-institutionalvirtualorganizations”,OnDemand,理想的,網(wǎng),網(wǎng)格,理想的,網(wǎng),網(wǎng)格,Thepictureabovedes

12、cribesaDataGridtestbed withthreesitesand aCertificationAuthority.Forspacereasons we do notshow allthemachinesofeachsite.,Theuserrequestsa certificate to theCertificateAuthorityweb front-end.,Thecertificateisproducedand signedbytheCertificateServer.,Theusergets thecertificate.,Nowthattheuserhashis/he

13、rcertificateinstalledonhis/herUser Interface,he/she cansubmithis/herjobrequests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/herjob requesttothe Resource Broker.,Submitted,TheResourceBroker queriesthe ReplicaCatalogandInformationIndextofindsui

14、tableresources(storagespace,dataand computingpower).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The out

15、putis movedto the ResourceBroker,The user gets his/her output,Cleared,網(wǎng)格計(jì)算環(huán),境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,結(jié)束語,虛擬天文臺(tái),將,將構(gòu)筑于網(wǎng),格,格環(huán)境之上,集群將構(gòu)成,網(wǎng),網(wǎng)格環(huán)境中,強(qiáng),強(qiáng)有力的計(jì),算,算與服務(wù)支,撐,撐平臺(tái),并行計(jì)算將,為,為具體事務(wù),處,處理提供技,術(shù),術(shù)與手段上,支,支持,Thanks!,演講完畢，,謝,謝謝觀看！,