單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,高性能并行計(jì)算平臺(tái)及并行計(jì)算環(huán)境概述,中國(guó)水利水電科學(xué)研究院,信息網(wǎng)絡(luò)中心,2005,年,8,月,11,日,內(nèi) 容 提 要,1,、前言,2,、高性能并行計(jì)算平臺(tái)建設(shè),3,、水利水電高性能計(jì)算實(shí)踐,4,、結(jié)語(yǔ),1,、前言,什么是高性能并行計(jì)算？,科學(xué)家和工程師可以用它來(lái)解決一些程序規(guī)模龐大、運(yùn)算時(shí)間長(zhǎng)以及數(shù)據(jù)量大的科研課題。,并行計(jì)算是提高服務(wù)器計(jì)算速度和處理能力的一種有效手段。,計(jì)算機(jī)按照編好的程序?qū)τ?jì)算問(wèn)題進(jìn)行分解，并把分解的任務(wù)塊通過(guò)一定的方式交給不同的處理器去求解。,國(guó)際發(fā)展動(dòng)態(tài),2005,年,6,月,22,日公布的全球高性能計(jì)算機(jī),top500,，第一名是,IBM,的,Blue Gene/L,，,Linpack,測(cè)試值為每秒,136.8,萬(wàn)億次，第二名是,IBM,的,Blue Gene/W,，,Linpack,測(cè)試值為每秒,91,萬(wàn)億次。,日本第一的高性能計(jì)算機(jī)，,Earth Simulator,（地球模擬器），,Linpack,測(cè)試值為,35.6,萬(wàn)億次。,國(guó)內(nèi)發(fā)展動(dòng)態(tài),中國(guó)的第一名，中國(guó)氣象局的高性能計(jì)算機(jī)，,Linpack,值為每秒,10.3,萬(wàn)億次。,曙光系列、神威系列、銀河系列、深騰系列,中科院計(jì)算所、曙光公司和上海超級(jí)計(jì)算中心三方共同研制的曙光,4000A,，,Linpack,測(cè)試值為每秒,8.061,萬(wàn)億次。,聯(lián)想公司為中科院網(wǎng)絡(luò)信息中心生產(chǎn)的深騰,6800,，共有,1060,顆,1.3Ghz,的安騰,2,處理器，,Linpack,測(cè)試值為每秒,4.183,萬(wàn)億次。,院內(nèi)需求分析,隨著工程規(guī)模的逐漸擴(kuò)大、復(fù)雜問(wèn)題求解分析的日益深入，其科學(xué)計(jì)算的“瓶頸”日趨嚴(yán)重，即使對(duì)模型和算法進(jìn)行簡(jiǎn)化，一次計(jì)算仍需要幾個(gè)小時(shí)、幾天甚至數(shù)十天的時(shí)間，這一現(xiàn)狀嚴(yán)重制約了我院水利水電學(xué)科的發(fā)展，許多工程師、教授提出的理論和設(shè)想都因?yàn)橛?jì)算能力受到限制而無(wú)法實(shí)施。,課題,1,：小灣壩踵應(yīng)力誘導(dǎo)縫研究,小灣拱壩壩底縫計(jì)算采用網(wǎng)格有,20,萬(wàn)個(gè)單元，總共,24,萬(wàn)多個(gè)節(jié)點(diǎn)。,單機(jī)上運(yùn)行模擬計(jì)算程序時(shí)，一個(gè)計(jì)算步需要將近,45,個(gè)小時(shí)，一個(gè)工況一般有,3040,個(gè)計(jì)算步，總共有幾十種工況。,課題,2,：混凝土三維細(xì)觀力學(xué)模型的研究,模型,1,：濕篩試件靜動(dòng)態(tài)彎拉強(qiáng)度細(xì)觀力學(xué)分析,研究中對(duì)試件進(jìn)行劃分，用,4,面體單元將細(xì)網(wǎng)格,6,面體單元過(guò)渡到兩邊粗網(wǎng)格,6,面體單元，共有,24257,節(jié)點(diǎn)，,29952,個(gè)單元，其中骨料,2160,個(gè)單元，固化水泥砂漿體,3805,單元，粘結(jié)界面,14515,單元以及宏觀均勻混凝土,9472,個(gè)單元。,以上三維計(jì)算是在內(nèi)存,1G,，,CPU,為,2.8G,的,PC,機(jī)上進(jìn)行的。靜力計(jì)算耗時(shí),163,小時(shí),39,分，約,7,天時(shí)間；動(dòng)力計(jì)算耗時(shí),196,小時(shí),25,分鐘，約,8,天時(shí)間。,模型,2,：全級(jí)配試件靜動(dòng)態(tài)彎拉強(qiáng)度三維細(xì)觀力學(xué)分析,剖分后的單元有骨料單元、融入小骨料后的固化水泥砂漿單元和兩者之間的界面單元，共有,24257,個(gè)節(jié)點(diǎn)，,113920,個(gè)單元。,計(jì)算時(shí)間：在以上配置相同的,PC,機(jī)上，三維靜力計(jì)算耗時(shí),209,小時(shí),50,分鐘，約,9,天時(shí)間；動(dòng)力計(jì)算耗時(shí),291,小時(shí),57,分鐘，約,12,天時(shí)間。,問(wèn) 題,要實(shí)現(xiàn)三維細(xì)觀力學(xué)數(shù)值計(jì)算，計(jì)算速度這一難題必須克服，通常，針對(duì)一個(gè)模型研究人員需要反復(fù)調(diào)整參數(shù)進(jìn)行數(shù)值計(jì)算，一個(gè)算例耗時(shí)數(shù)天甚至數(shù)周簡(jiǎn)直無(wú)法忍受。,上述種種計(jì)算和數(shù)據(jù)的處理對(duì)計(jì)算環(huán)境提出了新的要求，如果以傳統(tǒng)的個(gè)人,PC,機(jī)作為計(jì)算平臺(tái)，計(jì)算的時(shí)間和效率遠(yuǎn)遠(yuǎn)滿(mǎn)足不了科研的需求，甚至?xí)捎趦?nèi)存、,CPU,等硬件的限制而無(wú)法進(jìn)行計(jì)算。因此我院急需建設(shè)一個(gè)高性能并行計(jì)算平臺(tái)，更好的為科研項(xiàng)目服務(wù)。,二、高性能并行計(jì)算平臺(tái)建設(shè),硬件平臺(tái)建設(shè),初步構(gòu)想,采用,Sun,公司提供的,Sun Fire Supercluster,解決方案。,24,臺(tái)高性能的,Sun Fire 6800,服務(wù)器作為集群節(jié)點(diǎn)。,每臺(tái)服務(wù)器達(dá)到滿(mǎn)配置，即,24,個(gè),1.2Ghz UltraSPARCIII CPU,，,192GB,內(nèi)存。,節(jié)點(diǎn)之間采用,Sun Fire Link Interconnect,技術(shù)通過(guò)光纖互聯(lián)。,IWHR,高性能并行計(jì)算平臺(tái)硬件體系結(jié)構(gòu),Sun Fire 6800,技術(shù)指標(biāo),硬件完全冗余，可以從任何硬件故障中恢復(fù)。,最多,24,個(gè),CPU,，最大,192GB,內(nèi)存，,32PCI,或者,16cPCI,插槽。,每臺(tái),Sun Fire 6800,機(jī)器最多分為,4,個(gè)域，每個(gè)域相當(dāng)于一臺(tái)獨(dú)立的服務(wù)器。,具有很好的線(xiàn)性擴(kuò)充能力，,24,個(gè),CPU,運(yùn)行時(shí)的,Linpack,值是,1,個(gè),CPU,運(yùn)行時(shí)的,23.3,倍。,Sun Fire Link Interconnect,Sun,Fire Link,為一套高帶寬、低延遲的互聯(lián)系統(tǒng)，可以擴(kuò)展,Sun Fire6800,系統(tǒng)的可用性。,一個(gè),Sun Fire Link,系統(tǒng)最多可以由,8,個(gè),Sun Fire 6800,服務(wù)器節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)由,Sun Fire Link,光纖網(wǎng)絡(luò)連接在一起，,一整套軟件支持。,Sun Management Center,可以為,Sun Fire Link,網(wǎng)絡(luò)資源的配置、監(jiān)視與管理提供最佳可用性。,我院,Sun Fire 6800,現(xiàn)有配置,CPU,數(shù)量,4*1200Mhz,內(nèi)存容量,8 GB,（,16 X 512MB DIMMs),I/O,板,4,個(gè)，,PCI,擴(kuò)展槽共,32,個(gè),Sun Storage 3510 SCSI,磁盤(pán)陣列,可提供,539GB,的存儲(chǔ)空間,目前，本院的高性能并行計(jì)算平臺(tái)建設(shè)處于初步試驗(yàn)階段，待并行計(jì)算技術(shù)在我院應(yīng)用成熟以后，可以很方便的對(duì)該平臺(tái)進(jìn)行硬件升級(jí)，以獲得更高的性能和計(jì)算能力。,現(xiàn) 狀,軟件平臺(tái)建設(shè),操作系統(tǒng),開(kāi)發(fā)環(huán)境,編譯器,數(shù)學(xué)函數(shù)庫(kù),高性能并行計(jì)算軟件,作業(yè)管理接口,并行程序運(yùn)行環(huán)境,并行數(shù)學(xué)函數(shù)庫(kù),并行程序調(diào)試分析工具,資源管理系統(tǒng),IWHR,高性能并行計(jì)算平臺(tái)軟件體系結(jié)構(gòu),操作系統(tǒng)：,Solaris 9,64,位的,Unix,操作系統(tǒng),具有杰出的穩(wěn)定性和可維護(hù)性,單一服務(wù)器上最多可支持,106,個(gè),CPU,支持多線(xiàn)程，最多,100,萬(wàn)個(gè)進(jìn)程。,支持多種應(yīng)用軟件，如,Sun Cluster,軟件、,Sun,管理中心軟件、,Sun Studio,編譯環(huán)境,Sun Grid Engine,等等。,開(kāi)發(fā)環(huán)境：,Sun Studio 9,主要組件包含如下：,C Compiler,C+Compiler,Fortran Compiler,Sun Performance Library,Distributed,make,utility,dmake,dbx,Command-Line Debugger,Performance Analysis Tools,Integrated Development Environment(IDE),編譯器,對(duì)于科研課題的計(jì)算程序而言，編譯器的優(yōu)劣對(duì)生成的程序的執(zhí)行效率有著非常明顯的影響，現(xiàn)在在,Unix,下的免費(fèi)編譯器軟件主要是,GNU,計(jì)劃提供的,GCC,，該編譯器可以編譯,C,、,C+,、,F77,等語(yǔ)言編寫(xiě)的程序。,Sun Fire 6800,服務(wù)器配套的編譯器是,Sun,公司開(kāi)發(fā)的商業(yè)編譯軟件,-Sun Studio 9,，該編譯器在,Solaris,上編譯運(yùn)行的效率比,GNU,的免費(fèi)軟件要高,30%40%,。,數(shù)學(xué)函數(shù)庫(kù)：,Sun Performance Library,它是,Sun,公司基于以下標(biāo)準(zhǔn)的線(xiàn)性代數(shù)庫(kù)而生成的，具有相同的函數(shù)名和接口，但是在,Sun,的服務(wù)器上運(yùn)行得更快更精確。,LAPACK,：用來(lái)解決線(xiàn)性代數(shù)問(wèn)題,BLAS1,：用來(lái)解決向量,-,向量運(yùn)算問(wèn)題,BLAS2,：用來(lái)解決矩陣,-,向量運(yùn)算問(wèn)題,BLAS3,：用來(lái)解決矩陣,-,矩陣運(yùn)算問(wèn)題,FFTPACK,和,VFFTPACK,：快速傅立葉轉(zhuǎn)換,高性能并行計(jì)算軟件,Sun HPC ClusterTools 5.0,作業(yè)管理接口,Sun ClusterTools Runtime Environment,（,CRE,）,并行計(jì)算運(yùn)行環(huán)境,Sun MPI and MPI I/O,并行數(shù)學(xué)函數(shù)庫(kù),Sun S3L(Scalable Scientific Subroutine Library),并行程序調(diào)試分析工具,Sun Prism,Sun MPProf,作業(yè)管理接口：,Sun CRE,執(zhí)行程序（,mprun,),殺死程序（,mpkill,),顯示作業(yè)信息,顯示節(jié)點(diǎn)信息,并行計(jì)算運(yùn)行環(huán)境,Sun MPI and MPI I/O,Sun MPI,是一個(gè)高度優(yōu)化的,MPI,版本。它支持,MPI1.2,標(biāo)準(zhǔn)和,MPI2.0,標(biāo)準(zhǔn)。,支持多線(xiàn)程編程。,與,Sun CRE,集成。,完全支持,Fortran77,、,C,和,C+,，支持一些基本的,Fortran90,語(yǔ)法。,通過(guò)共享內(nèi)存通信會(huì)獲得更好的性能。,并行數(shù)學(xué)函數(shù)庫(kù)：,Sun S3L,它是建立在,Sun MPI,之上的，給用戶(hù)提供了一系列廣泛應(yīng)用的并行函數(shù)庫(kù)。如,LU,分解、最小二乘法運(yùn)算、矩陣轉(zhuǎn)置等等。,支持,Fortran77,、,Fortran90,、,C,和,C+,Sun S3L,子程序調(diào)用,Sun Performance Library,來(lái)在節(jié)點(diǎn)上進(jìn)行運(yùn)算。,并行程序調(diào)試分析工具,Prism,和,MPProf,Prism,是一個(gè)圖形編程環(huán)境，使用戶(hù)能夠?qū)Σ⑿谐绦蜻M(jìn)行調(diào)試和性能監(jiān)控。,MPProf,是一個(gè)用來(lái)查看,Sun MPI,程序的分析工具。運(yùn)行它可以獲得程序的一些時(shí)間信息：,在所有進(jìn)程里,MPI,函數(shù)庫(kù)調(diào)用所花費(fèi)的時(shí)間占程序運(yùn)行時(shí)間的百分比；,每個(gè)進(jìn)程在,MPI,函數(shù)庫(kù)調(diào)用上花費(fèi)的時(shí)間百分比；,MPI,函數(shù)庫(kù)調(diào)用的次數(shù)、程序花費(fèi)的時(shí)間；,資源管理系統(tǒng),(Resource Management),Sun HPC ClusterTools 5 software,可以和下面三種分布式資源管理系統(tǒng)集成，用來(lái)管理資源的分配、并行作業(yè)的控制和監(jiān)視，以及作業(yè)信息的統(tǒng)計(jì)。,Sun Grid Engine,：,Codine 5.2,Load Sharing Facility:LSF 4.x,Portable Batch System:PBS 2.3.15 and PBS Pro 5.0,集成方法,IWHR,高性能并行計(jì)算平臺(tái)軟件體系結(jié)構(gòu),三、高性能并行計(jì)算實(shí)踐,課題一,在結(jié)構(gòu)材料所使用服務(wù)器計(jì)算的工程項(xiàng)目“小灣壩踵應(yīng)力誘導(dǎo)峰分析”中，服務(wù)器發(fā)揮了內(nèi)存、硬盤(pán)空間大，計(jì)算穩(wěn)定的特點(diǎn)，為該工程項(xiàng)目的計(jì)算提供了有力的支持。,課題二,在抗震中心的有關(guān)“混凝土三維細(xì)觀力學(xué)模型的研究”中，信息網(wǎng)絡(luò)中心聯(lián)系太極公司、國(guó)防科大等單位對(duì)原有串行程序進(jìn)行并行化改造，在我院高性能服務(wù)器上試運(yùn)行后，效果比較明顯。經(jīng)介紹，原來(lái)的串行程序運(yùn)行需要,7,、,8,天左右時(shí)間經(jīng)改造后只需,34,個(gè)小時(shí)。,四、結(jié)語(yǔ),我院高性能并行技術(shù)的應(yīng)用處于初步探索階段，經(jīng)過(guò)這半年多來(lái)的努力，現(xiàn)在已經(jīng)取得了一定的成果。希望能夠繼續(xù)和院內(nèi)各研究所合作，共同努力，把我院高性能計(jì)算這一塊迅速發(fā)展起來(lái)，為我院的知識(shí)創(chuàng)新搭建一個(gè)高起點(diǎn)的平臺(tái)，更好的為院內(nèi)以及整個(gè)水利水電行業(yè)的科研項(xiàng)目服務(wù)。,敬請(qǐng)專(zhuān)家領(lǐng)導(dǎo)指正！,謝謝！,