《高性能并行計算平臺及并行計算環(huán)境概述》由會員分享，可在線閱讀，更多相關(guān)《高性能并行計算平臺及并行計算環(huán)境概述（41頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,高性能并行計算平臺及并行計算環(huán)境概述,中國水利水電科學(xué)研究院,信息網(wǎng)絡(luò)中心,2005,年,8,月,11,日,內(nèi) 容 提 要,1,、前言,2,、高性能并行計算平臺建設(shè),3,、水利水電高性能計算實踐,4,、結(jié)語,1,、前言,什么是高性能并行計算？,科學(xué)家和工程師可以用它來解決一些程序規(guī)模龐大、運算時間長以及數(shù)據(jù)量大的科研課題。,并行計算是提高服務(wù)器計算速度和處理能力的一種有效手段。,計算機按照編好的程序?qū)τ嬎銌栴}進行分解，并把分解的任務(wù)塊通過一定的方式交給不同的處理器去求解。,國際發(fā)展動態(tài),2005,年,6,月

2、,22,日公布的全球高性能計算機,top500,，第一名是,IBM,的,Blue Gene/L,，,Linpack,測試值為每秒,136.8,萬億次，第二名是,IBM,的,Blue Gene/W,，,Linpack,測試值為每秒,91,萬億次。,日本第一的高性能計算機，,Earth Simulator,（地球模擬器），,Linpack,測試值為,35.6,萬億次。,國內(nèi)發(fā)展動態(tài),中國的第一名，中國氣象局的高性能計算機，,Linpack,值為每秒,10.3,萬億次。,曙光系列、神威系列、銀河系列、深騰系列,中科院計算所、曙光公司和上海超級計算中心三方共同研制的曙光,4000A,，,Linpack

3、,測試值為每秒,8.061,萬億次。,聯(lián)想公司為中科院網(wǎng)絡(luò)信息中心生產(chǎn)的深騰,6800,，共有,1060,顆,1.3Ghz,的安騰,2,處理器，,Linpack,測試值為每秒,4.183,萬億次。,院內(nèi)需求分析,隨著工程規(guī)模的逐漸擴大、復(fù)雜問題求解分析的日益深入，其科學(xué)計算的“瓶頸”日趨嚴(yán)重，即使對模型和算法進行簡化，一次計算仍需要幾個小時、幾天甚至數(shù)十天的時間，這一現(xiàn)狀嚴(yán)重制約了我院水利水電學(xué)科的發(fā)展，許多工程師、教授提出的理論和設(shè)想都因為計算能力受到限制而無法實施。,課題,1,：小灣壩踵應(yīng)力誘導(dǎo)縫研究,小灣拱壩壩底縫計算采用網(wǎng)格有,20,萬個單元，總共,24,萬多個節(jié)點。,單機上運行模擬計

4、算程序時，一個計算步需要將近,45,個小時，一個工況一般有,3040,個計算步，總共有幾十種工況。,課題,2,：混凝土三維細(xì)觀力學(xué)模型的研究,模型,1,：濕篩試件靜動態(tài)彎拉強度細(xì)觀力學(xué)分析,研究中對試件進行劃分，用,4,面體單元將細(xì)網(wǎng)格,6,面體單元過渡到兩邊粗網(wǎng)格,6,面體單元，共有,24257,節(jié)點，,29952,個單元，其中骨料,2160,個單元，固化水泥砂漿體,3805,單元，粘結(jié)界面,14515,單元以及宏觀均勻混凝土,9472,個單元。,以上三維計算是在內(nèi)存,1G,，,CPU,為,2.8G,的,PC,機上進行的。靜力計算耗時,163,小時,39,分，約,7,天時間；動力計算耗時,1

5、96,小時,25,分鐘，約,8,天時間。,模型,2,：全級配試件靜動態(tài)彎拉強度三維細(xì)觀力學(xué)分析,剖分后的單元有骨料單元、融入小骨料后的固化水泥砂漿單元和兩者之間的界面單元，共有,24257,個節(jié)點，,113920,個單元。,計算時間：在以上配置相同的,PC,機上，三維靜力計算耗時,209,小時,50,分鐘，約,9,天時間；動力計算耗時,291,小時,57,分鐘，約,12,天時間。,問 題,要實現(xiàn)三維細(xì)觀力學(xué)數(shù)值計算，計算速度這一難題必須克服，通常，針對一個模型研究人員需要反復(fù)調(diào)整參數(shù)進行數(shù)值計算，一個算例耗時數(shù)天甚至數(shù)周簡直無法忍受。,上述種種計算和數(shù)據(jù)的處理對計算環(huán)境提出了新的要求，如果以傳

6、統(tǒng)的個人,PC,機作為計算平臺，計算的時間和效率遠遠滿足不了科研的需求，甚至?xí)捎趦?nèi)存、,CPU,等硬件的限制而無法進行計算。因此我院急需建設(shè)一個高性能并行計算平臺，更好的為科研項目服務(wù)。,二、高性能并行計算平臺建設(shè),硬件平臺建設(shè),初步構(gòu)想,采用,Sun,公司提供的,Sun Fire Supercluster,解決方案。,24,臺高性能的,Sun Fire 6800,服務(wù)器作為集群節(jié)點。,每臺服務(wù)器達到滿配置，即,24,個,1.2Ghz UltraSPARCIII CPU,，,192GB,內(nèi)存。,節(jié)點之間采用,Sun Fire Link Interconnect,技術(shù)通過光纖互聯(lián)。,IWHR,

7、高性能并行計算平臺硬件體系結(jié)構(gòu),Sun Fire 6800,技術(shù)指標(biāo),硬件完全冗余，可以從任何硬件故障中恢復(fù)。,最多,24,個,CPU,，最大,192GB,內(nèi)存，,32PCI,或者,16cPCI,插槽。,每臺,Sun Fire 6800,機器最多分為,4,個域，每個域相當(dāng)于一臺獨立的服務(wù)器。,具有很好的線性擴充能力，,24,個,CPU,運行時的,Linpack,值是,1,個,CPU,運行時的,23.3,倍。,Sun Fire Link Interconnect,Sun,Fire Link,為一套高帶寬、低延遲的互聯(lián)系統(tǒng)，可以擴展,Sun Fire6800,系統(tǒng)的可用性。,一個,Sun Fire

8、 Link,系統(tǒng)最多可以由,8,個,Sun Fire 6800,服務(wù)器節(jié)點組成，每個節(jié)點由,Sun Fire Link,光纖網(wǎng)絡(luò)連接在一起，,一整套軟件支持。,Sun Management Center,可以為,Sun Fire Link,網(wǎng)絡(luò)資源的配置、監(jiān)視與管理提供最佳可用性。,我院,Sun Fire 6800,現(xiàn)有配置,CPU,數(shù)量,4*1200Mhz,內(nèi)存容量,8 GB,（,16 X 512MB DIMMs),I/O,板,4,個，,PCI,擴展槽共,32,個,Sun Storage 3510 SCSI,磁盤陣列,可提供,539GB,的存儲空間,目前，本院的高性能并行計算平臺建設(shè)處于初步

9、試驗階段，待并行計算技術(shù)在我院應(yīng)用成熟以后，可以很方便的對該平臺進行硬件升級，以獲得更高的性能和計算能力。,現(xiàn) 狀,軟件平臺建設(shè),操作系統(tǒng),開發(fā)環(huán)境,編譯器,數(shù)學(xué)函數(shù)庫,高性能并行計算軟件,作業(yè)管理接口,并行程序運行環(huán)境,并行數(shù)學(xué)函數(shù)庫,并行程序調(diào)試分析工具,資源管理系統(tǒng),IWHR,高性能并行計算平臺軟件體系結(jié)構(gòu),操作系統(tǒng)：,Solaris 9,64,位的,Unix,操作系統(tǒng),具有杰出的穩(wěn)定性和可維護性,單一服務(wù)器上最多可支持,106,個,CPU,支持多線程，最多,100,萬個進程。,支持多種應(yīng)用軟件，如,Sun Cluster,軟件、,Sun,管理中心軟件、,Sun Studio,編譯環(huán)境,

10、Sun Grid Engine,等等。,開發(fā)環(huán)境：,Sun Studio 9,主要組件包含如下：,C Compiler,C+Compiler,Fortran Compiler,Sun Performance Library,Distributed,make,utility,dmake,dbx,Command-Line Debugger,Performance Analysis Tools,Integrated Development Environment(IDE),編譯器,對于科研課題的計算程序而言，編譯器的優(yōu)劣對生成的程序的執(zhí)行效率有著非常明顯的影響，現(xiàn)在在,Unix,下的免費編譯器軟件主

11、要是,GNU,計劃提供的,GCC,，該編譯器可以編譯,C,、,C+,、,F77,等語言編寫的程序。,Sun Fire 6800,服務(wù)器配套的編譯器是,Sun,公司開發(fā)的商業(yè)編譯軟件,-Sun Studio 9,，該編譯器在,Solaris,上編譯運行的效率比,GNU,的免費軟件要高,30%40%,。,數(shù)學(xué)函數(shù)庫：,Sun Performance Library,它是,Sun,公司基于以下標(biāo)準(zhǔn)的線性代數(shù)庫而生成的，具有相同的函數(shù)名和接口，但是在,Sun,的服務(wù)器上運行得更快更精確。,LAPACK,：用來解決線性代數(shù)問題,BLAS1,：用來解決向量,-,向量運算問題,BLAS2,：用來解決矩陣,-

12、,向量運算問題,BLAS3,：用來解決矩陣,-,矩陣運算問題,FFTPACK,和,VFFTPACK,：快速傅立葉轉(zhuǎn)換,高性能并行計算軟件,Sun HPC ClusterTools 5.0,作業(yè)管理接口,Sun ClusterTools Runtime Environment,（,CRE,）,并行計算運行環(huán)境,Sun MPI and MPI I/O,并行數(shù)學(xué)函數(shù)庫,Sun S3L(Scalable Scientific Subroutine Library),并行程序調(diào)試分析工具,Sun Prism,Sun MPProf,作業(yè)管理接口：,Sun CRE,執(zhí)行程序（,mprun,),殺死程序（,m

13、pkill,),顯示作業(yè)信息,顯示節(jié)點信息,并行計算運行環(huán)境,Sun MPI and MPI I/O,Sun MPI,是一個高度優(yōu)化的,MPI,版本。它支持,MPI1.2,標(biāo)準(zhǔn)和,MPI2.0,標(biāo)準(zhǔn)。,支持多線程編程。,與,Sun CRE,集成。,完全支持,Fortran77,、,C,和,C+,，支持一些基本的,Fortran90,語法。,通過共享內(nèi)存通信會獲得更好的性能。,并行數(shù)學(xué)函數(shù)庫：,Sun S3L,它是建立在,Sun MPI,之上的，給用戶提供了一系列廣泛應(yīng)用的并行函數(shù)庫。如,LU,分解、最小二乘法運算、矩陣轉(zhuǎn)置等等。,支持,Fortran77,、,Fortran90,、,C,和,C

14、+,Sun S3L,子程序調(diào)用,Sun Performance Library,來在節(jié)點上進行運算。,并行程序調(diào)試分析工具,Prism,和,MPProf,Prism,是一個圖形編程環(huán)境，使用戶能夠?qū)Σ⑿谐绦蜻M行調(diào)試和性能監(jiān)控。,MPProf,是一個用來查看,Sun MPI,程序的分析工具。運行它可以獲得程序的一些時間信息：,在所有進程里,MPI,函數(shù)庫調(diào)用所花費的時間占程序運行時間的百分比；,每個進程在,MPI,函數(shù)庫調(diào)用上花費的時間百分比；,MPI,函數(shù)庫調(diào)用的次數(shù)、程序花費的時間；,資源管理系統(tǒng),(Resource Management),Sun HPC ClusterTools 5 so

15、ftware,可以和下面三種分布式資源管理系統(tǒng)集成，用來管理資源的分配、并行作業(yè)的控制和監(jiān)視，以及作業(yè)信息的統(tǒng)計。,Sun Grid Engine,：,Codine 5.2,Load Sharing Facility:LSF 4.x,Portable Batch System:PBS 2.3.15 and PBS Pro 5.0,集成方法,IWHR,高性能并行計算平臺軟件體系結(jié)構(gòu),三、高性能并行計算實踐,課題一,在結(jié)構(gòu)材料所使用服務(wù)器計算的工程項目“小灣壩踵應(yīng)力誘導(dǎo)峰分析”中，服務(wù)器發(fā)揮了內(nèi)存、硬盤空間大，計算穩(wěn)定的特點，為該工程項目的計算提供了有力的支持。,課題二,在抗震中心的有關(guān)“混凝土三維細(xì)觀力學(xué)模型的研究”中，信息網(wǎng)絡(luò)中心聯(lián)系太極公司、國防科大等單位對原有串行程序進行并行化改造，在我院高性能服務(wù)器上試運行后，效果比較明顯。經(jīng)介紹，原來的串行程序運行需要,7,、,8,天左右時間經(jīng)改造后只需,34,個小時。,四、結(jié)語,我院高性能并行技術(shù)的應(yīng)用處于初步探索階段，經(jīng)過這半年多來的努力，現(xiàn)在已經(jīng)取得了一定的成果。希望能夠繼續(xù)和院內(nèi)各研究所合作，共同努力，把我院高性能計算這一塊迅速發(fā)展起來，為我院的知識創(chuàng)新搭建一個高起點的平臺，更好的為院內(nèi)以及整個水利水電行業(yè)的科研項目服務(wù)。,敬請專家領(lǐng)導(dǎo)指正！,謝謝！,