《高性能并行計算平臺及并行計算環(huán)境概述》由會員分享，可在線閱讀，更多相關(guān)《高性能并行計算平臺及并行計算環(huán)境概述（41頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,高性能并行計算平臺及并行計算環(huán)境概述,中國水利水電科學(xué)研究院,信息網(wǎng)絡(luò)中心,2005年8月11日,內(nèi) 容 提 要,1、前言,2、高性能并行計算平臺建設(shè),3、水利水電高性能計算實踐,4、結(jié)語,1、前言,什么是高性能并行計算？,科學(xué)家和工程師可以用它來解決一些程序規(guī)模龐大、運算時間長以及數(shù)據(jù)量大的科研課題。,并行計算是提高服務(wù)器計算速度和處理能力的一種有效手段。,計算機(jī)按照編好的程序?qū)τ嬎銌栴}進(jìn)行分解，并把分解的任務(wù)塊通過一定的方式交給不同的處理器去求解。,國際發(fā)展動態(tài),2005,年,6,月,22,日公布的全球

2、高性能計算機(jī),top500,，第一名是,IBM,的,Blue Gene/L,，,Linpack,測試值為每秒,136.8,萬億次，第二名是,IBM,的,Blue Gene/W,，,Linpack,測試值為每秒,91,萬億次。,日本第一的高性能計算機(jī)，,Earth Simulator,（地球模擬器），,Linpack,測試值為,35.6,萬億次。,國內(nèi)發(fā)展動態(tài),中國的第一名，中國氣象局的高性能計算機(jī)，,Linpack,值為每秒,10.3,萬億次。,曙光系列、神威系列、銀河系列、深騰系列,中科院計算所、曙光公司和上海超級計算中心三方共同研制的曙光,4000A,，,Linpack,測試值為每秒,8.

3、061,萬億次。,聯(lián)想公司為中科院網(wǎng)絡(luò)信息中心生產(chǎn)的深騰,6800,，共有,1060,顆,1.3Ghz,的安騰,2,處理器，,Linpack,測試值為每秒,4.183,萬億次。,院內(nèi)需求分析,隨著工程規(guī)模的逐漸擴(kuò)大、復(fù)雜問題求解分析的日益深入，其科學(xué)計算的“瓶頸”日趨嚴(yán)重，即使對模型和算法進(jìn)行簡化，一次計算仍需要幾個小時、幾天甚至數(shù)十天的時間，這一現(xiàn)狀嚴(yán)重制約了我院水利水電學(xué)科的發(fā)展，許多工程師、教授提出的理論和設(shè)想都因為計算能力受到限制而無法實施。,課題1：小灣壩踵應(yīng)力誘導(dǎo)縫研究,小灣拱壩壩底縫計算采用網(wǎng)格有,20,萬個單元，總共,24,萬多個節(jié)點。,單機(jī)上運行模擬計算程序時，一個計算步需要

4、將近,45,個小時，一個工況一般有,3040,個計算步，總共有幾十種工況。,課題2：混凝土三維細(xì)觀力學(xué)模型的研究,模型1：濕篩試件靜動態(tài)彎拉強(qiáng)度細(xì)觀力學(xué)分析,研究中對試件進(jìn)行劃分，用4面體單元將細(xì)網(wǎng)格6面體單元過渡到兩邊粗網(wǎng)格6面體單元，共有24257節(jié)點，29952個單元，其中骨料2160個單元，固化水泥砂漿體3805單元，粘結(jié)界面14515單元以及宏觀均勻混凝土9472個單元。,以上三維計算是在內(nèi)存1G，CPU為2.8G的PC機(jī)上進(jìn)行的。靜力計算耗時163小時39分，約7天時間；動力計算耗時196小時25分鐘，約8天時間。,模型2：全級配試件靜動態(tài)彎拉強(qiáng)度三維細(xì)觀力學(xué)分析,剖分后的單元有骨

5、料單元、融入小骨料后的固化水泥砂漿單元和兩者之間的界面單元，共有24257個節(jié)點，113920個單元。,計算時間：在以上配置相同的PC機(jī)上，三維靜力計算耗時209小時50分鐘，約9天時間；動力計算耗時291小時57分鐘，約12天時間。,問 題,要實現(xiàn)三維細(xì)觀力學(xué)數(shù)值計算，計算速度這一難題必須克服，通常，針對一個模型研究人員需要反復(fù)調(diào)整參數(shù)進(jìn)行數(shù)值計算，一個算例耗時數(shù)天甚至數(shù)周簡直無法忍受。,上述種種計算和數(shù)據(jù)的處理對計算環(huán)境提出了新的要求，如果以傳統(tǒng)的個人PC機(jī)作為計算平臺，計算的時間和效率遠(yuǎn)遠(yuǎn)滿足不了科研的需求，甚至?xí)捎趦?nèi)存、CPU等硬件的限制而無法進(jìn)行計算。因此我院急需建設(shè)一個高性能并行

6、計算平臺，更好的為科研項目服務(wù)。,二、高性能并行計算平臺建設(shè),硬件平臺建設(shè),初步構(gòu)想,采用Sun公司提供的Sun Fire Supercluster解決方案。,24臺高性能的Sun Fire 6800服務(wù)器作為集群節(jié)點。,每臺服務(wù)器達(dá)到滿配置，即24個1.2Ghz UltraSPARCIII CPU，192GB內(nèi)存。,節(jié)點之間采用Sun Fire Link Interconnect 技術(shù)通過光纖互聯(lián)。,IWHR 高性能并行計算平臺硬件體系結(jié)構(gòu),Sun Fire 6800 技術(shù)指標(biāo),硬件完全冗余，可以從任何硬件故障中恢復(fù)。,最多24個CPU，最大192GB內(nèi)存，32PCI或者16cPCI插槽。,

7、每臺Sun Fire 6800機(jī)器最多分為4個域，每個域相當(dāng)于一臺獨立的服務(wù)器。,具有很好的線性擴(kuò)充能力，24個CPU運行時的Linpack值是1個CPU運行時的23.3倍。,Sun Fire Link Interconnect,Sun,Fire Link,為一套高帶寬、低延遲的互聯(lián)系統(tǒng)，可以擴(kuò)展Sun Fire6800 系統(tǒng)的可用性。,一個,Sun Fire Link,系統(tǒng)最多可以由8個Sun Fire 6800服務(wù)器節(jié)點組成，每個節(jié)點由,Sun Fire Link,光纖網(wǎng)絡(luò)連接在一起，,一整套軟件支持。Sun Management Center可以為,Sun Fire Link,網(wǎng)絡(luò)資源的

8、配置、監(jiān)視與管理提供最佳可用性。,我院Sun Fire 6800現(xiàn)有配置,CPU 數(shù)量,4*1200Mhz,內(nèi)存容量,8 GB（16 X 512MB DIMMs),I/O板,4個，PCI擴(kuò)展槽共32個,Sun Storage 3510 SCSI 磁盤陣列,可提供539GB 的存儲空間,目前，本院的高性能并行計算平臺建設(shè)處于初步試驗階段，待并行計算技術(shù)在我院應(yīng)用成熟以后，可以很方便的對該平臺進(jìn)行硬件升級，以獲得更高的性能和計算能力。,現(xiàn) 狀,軟件平臺建設(shè),操作系統(tǒng),開發(fā)環(huán)境,編譯器,數(shù)學(xué)函數(shù)庫,高性能并行計算軟件,作業(yè)管理接口,并行程序運行環(huán)境,并行數(shù)學(xué)函數(shù)庫,并行程序調(diào)試分析工具,資源管理系統(tǒng)

9、,IWHR 高性能并行計算平臺軟件體系結(jié)構(gòu),操作系統(tǒng)：Solaris 9,64位的Unix操作系統(tǒng),具有杰出的穩(wěn)定性和可維護(hù)性,單一服務(wù)器上最多可支持106個CPU,支持多線程，最多100萬個進(jìn)程。,支持多種應(yīng)用軟件，如 Sun Cluster軟件、Sun 管理中心軟件、Sun Studio 編譯環(huán)境Sun Grid Engine等等。,開發(fā)環(huán)境：Sun Studio 9,主要組件包含如下：,C Compiler,C+Compiler,Fortran Compiler,Sun Performance Library,Distributed,make,utility,dmake,dbx,Comm

10、and-Line Debugger,Performance Analysis Tools,Integrated Development Environment(IDE),編譯器,對于科研課題的計算程序而言，編譯器的優(yōu)劣對生成的程序的執(zhí)行效率有著非常明顯的影響，現(xiàn)在在Unix下的免費編譯器軟件主要是GNU計劃提供的GCC，該編譯器可以編譯C、C+、F77 等語言編寫的程序。Sun Fire 6800 服務(wù)器配套的編譯器是Sun 公司開發(fā)的商業(yè)編譯軟件-Sun Studio 9，該編譯器在Solaris上編譯運行的效率比GNU的免費軟件要高30%40%。,數(shù)學(xué)函數(shù)庫：Sun Performance

11、 Library,它是Sun公司基于以下標(biāo)準(zhǔn)的線性代數(shù)庫而生成的，具有相同的函數(shù)名和接口，但是在Sun的服務(wù)器上運行得更快更精確。,LAPACK：用來解決線性代數(shù)問題,BLAS1：用來解決向量-向量運算問題,BLAS2：用來解決矩陣-向量運算問題,BLAS3：用來解決矩陣-矩陣運算問題,FFTPACK和VFFTPACK：快速傅立葉轉(zhuǎn)換,高性能并行計算軟件,Sun HPC ClusterTools 5.0,作業(yè)管理接口,Sun ClusterTools Runtime Environment（CRE）,并行計算運行環(huán)境,Sun MPI and MPI I/O,并行數(shù)學(xué)函數(shù)庫,Sun S3L(Sc

12、alable Scientific Subroutine Library),并行程序調(diào)試分析工具,Sun Prism,Sun MPProf,作業(yè)管理接口：Sun CRE,執(zhí)行程序（,mprun,),殺死程序（,mpkill,),顯示作業(yè)信息,顯示節(jié)點信息,并行計算運行環(huán)境,Sun MPI and MPI I/O,Sun MPI 是一個高度優(yōu)化的MPI版本。它支持MPI1.2 標(biāo)準(zhǔn)和 MPI2.0 標(biāo)準(zhǔn)。,支持多線程編程。,與Sun CRE 集成。,完全支持Fortran77、C和C+，支持一些基本的Fortran90 語法。,通過共享內(nèi)存通信會獲得更好的性能。,并行數(shù)學(xué)函數(shù)庫：Sun S3L,

13、它是建立在Sun MPI之上的，給用戶提供了一系列廣泛應(yīng)用的并行函數(shù)庫。如LU分解、最小二乘法運算、矩陣轉(zhuǎn)置等等。,支持Fortran77、Fortran90、C和C+,Sun S3L 子程序調(diào)用Sun Performance Library 來在節(jié)點上進(jìn)行運算。,并行程序調(diào)試分析工具,Prism和MPProf,Prism是一個圖形編程環(huán)境，使用戶能夠?qū)Σ⑿谐绦蜻M(jìn)行調(diào)試和性能監(jiān)控。,MPProf是一個用來查看Sun MPI程序的分析工具。運行它可以獲得程序的一些時間信息：,在所有進(jìn)程里MPI函數(shù)庫調(diào)用所花費的時間占程序運行時間的百分比；,每個進(jìn)程在MPI函數(shù)庫調(diào)用上花費的時間百分比；,MPI

14、函數(shù)庫調(diào)用的次數(shù)、程序花費的時間；,資源管理系統(tǒng)(Resource Management),Sun HPC ClusterTools 5 software可以和下面三種分布式資源管理系統(tǒng)集成，用來管理資源的分配、并行作業(yè)的控制和監(jiān)視，以及作業(yè)信息的統(tǒng)計。,Sun Grid Engine：Codine 5.2,Load Sharing Facility:LSF 4.x,Portable Batch System:PBS 2.3.15 and PBS Pro 5.0,集成方法,IWHR 高性能并行計算平臺軟件體系結(jié)構(gòu),三、高性能并行計算實踐,課題一,在結(jié)構(gòu)材料所使用服務(wù)器計算的工程項目“小灣壩踵應(yīng)

15、力誘導(dǎo)峰分析”中，服務(wù)器發(fā)揮了內(nèi)存、硬盤空間大，計算穩(wěn)定的特點，為該工程項目的計算提供了有力的支持。,課題二,在抗震中心的有關(guān)“混凝土三維細(xì)觀力學(xué)模型的研究”中，信息網(wǎng)絡(luò)中心聯(lián)系太極公司、國防科大等單位對原有串行程序進(jìn)行并行化改造，在我院高性能服務(wù)器上試運行后，效果比較明顯。經(jīng)介紹，原來的串行程序運行需要7、8天左右時間經(jīng)改造后只需34個小時。,四、結(jié)語,我院高性能并行技術(shù)的應(yīng)用處于初步探索階段，經(jīng)過這半年多來的努力，現(xiàn)在已經(jīng)取得了一定的成果。希望能夠繼續(xù)和院內(nèi)各研究所合作，共同努力，把我院高性能計算這一塊迅速發(fā)展起來，為我院的知識創(chuàng)新搭建一個高起點的平臺，更好的為院內(nèi)以及整個水利水電行業(yè)的科研項目服務(wù)。,敬請專家領(lǐng)導(dǎo)指正！,謝謝！,