《高性能并行計算平臺及并行計算環(huán)境概述》由會員分享，可在線閱讀，更多相關《高性能并行計算平臺及并行計算環(huán)境概述（41頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,高性能并行計算平臺及并行計算環(huán)境概述,中國水利水電科學研究院,信息網(wǎng)絡中心,2005年8月11日,內(nèi) 容 提 要,1、前言,2、高性能并行計算平臺建設,3、水利水電高性能計算實踐,4、結(jié)語,1、前言,什么是高性能并行計算？,科學家和工程師可以用它來解決一些程序規(guī)模龐大、運算時間長以及數(shù)據(jù)量大的科研課題。,并行計算是提高效勞器計算速度和處理能力的一種有效手段。,計算機按照編好的程序?qū)τ嬎銌栴}進行分解，并把分解的任務塊通過一定的方式交給不同的處理器去求解。,國際開展動態(tài),2005年6月22日公布的全球高性能計算

2、機top500，第一名是IBM的Blue Gene/L，Linpack測試值為每秒136.8萬億次，第二名是IBM的Blue Gene/W，Linpack測試值為每秒91萬億次。,日本第一的高性能計算機，Earth Simulator地球模擬器，Linpack測試值為35.6萬億次。,國內(nèi)開展動態(tài),中國的第一名，中國氣象局的高性能計算機，,Linpack,值為每秒,10.3,萬億次。,曙光系列、神威系列、銀河系列、深騰系列,中科院計算所、曙光公司和上海超級計算中心三方共同研制的曙光,4000A,，,Linpack,測試值為每秒,8.061,萬億次。,聯(lián)想公司為中科院網(wǎng)絡信息中心生產(chǎn)的深騰,68

3、00,，共有,1060,顆,1.3Ghz,的安騰,2,處理器，,Linpack,測試值為每秒,4.183,萬億次。,院內(nèi)需求分析,隨著工程規(guī)模的逐漸擴大、復雜問題求解分析的日益深入，其科學計算的“瓶頸日趨嚴重，即使對模型和算法進行簡化，一次計算仍需要幾個小時、幾天甚至數(shù)十天的時間，這一現(xiàn)狀嚴重制約了我院水利水電學科的開展，許多工程師、教授提出的理論和設想都因為計算能力受到限制而無法實施。,課題1：小灣壩踵應力誘導縫研究,小灣拱壩壩底縫計算采用網(wǎng)格有,20,萬個單元，總共,24,萬多個節(jié)點。,單機上運行模擬計算程序時，一個計算步需要將近,45,個小時，一個工況一般有,3040,個計算步，總共有幾

4、十種工況。,課題2：混凝土三維細觀力學模型的研究,模型1：濕篩試件靜動態(tài)彎拉強度細觀力學分析,研究中對試件進行劃分，用4面體單元將細網(wǎng)格6面體單元過渡到兩邊粗網(wǎng)格6面體單元，共有24257節(jié)點，29952個單元，其中骨料2160個單元，固化水泥砂漿體3805單元，粘結(jié)界面14515單元以及宏觀均勻混凝土9472個單元。,以上三維計算是在內(nèi)存1G，CPU為2.8G的PC機上進行的。靜力計算耗時163小時39分，約7天時間；動力計算耗時196小時25分鐘，約8天時間。,模型2：全級配試件靜動態(tài)彎拉強度三維細觀力學分析,剖分后的單元有骨料單元、融入小骨料后的固化水泥砂漿單元和兩者之間的界面單元，共有

5、24257個節(jié)點，113920個單元。,計算時間：在以上配置相同的PC機上，三維靜力計算耗時209小時50分鐘，約9天時間；動力計算耗時291小時57分鐘，約12天時間。,問 題,要實現(xiàn)三維細觀力學數(shù)值計算，計算速度這一難題必須克服，通常，針對一個模型研究人員需要反復調(diào)整參數(shù)進行數(shù)值計算，一個算例耗時數(shù)天甚至數(shù)周簡直無法忍受。,上述種種計算和數(shù)據(jù)的處理對計算環(huán)境提出了新的要求，如果以傳統(tǒng)的個人PC機作為計算平臺，計算的時間和效率遠遠滿足不了科研的需求，甚至會由于內(nèi)存、CPU等硬件的限制而無法進行計算。因此我院急需建設一個高性能并行計算平臺，更好的為科研工程效勞。,二、高性能并行計算平臺建設,硬

6、件平臺建設,初步設想,采用Sun公司提供的Sun Fire Supercluster解決方案。,24臺高性能的Sun Fire 6800效勞器作為集群節(jié)點。,每臺效勞器到達滿配置，即24個1.2Ghz UltraSPARCIII CPU，192GB內(nèi)存。,節(jié)點之間采用Sun Fire Link Interconnect 技術通過光纖互聯(lián)。,IWHR 高性能并行計算平臺硬件體系結(jié)構(gòu),Sun Fire 6800 技術指標,硬件完全冗余，可以從任何硬件故障中恢復。,最多24個CPU，最大192GB內(nèi)存，32PCI或者16cPCI插槽。,每臺Sun Fire 6800機器最多分為4個域，每個域相當于一

7、臺獨立的效勞器。,具有很好的線性擴充能力，24個CPU運行時的Linpack值是1個CPU運行時的23.3倍。,Sun Fire Link Interconnect,Sun Fire Link 為一套高帶寬、低延遲的互聯(lián)系統(tǒng)，可以擴展Sun Fire6800 系統(tǒng)的可用性。,一個Sun Fire Link系統(tǒng)最多可以由8個Sun Fire 6800效勞器節(jié)點組成，每個節(jié)點由Sun Fire Link光纖網(wǎng)絡連接在一起，,一整套軟件支持。Sun Management Center可以為Sun Fire Link 網(wǎng)絡資源的配置、監(jiān)視與管理提供最正確可用性。,我院Sun Fire 6800現(xiàn)有配置

8、,CPU 數(shù)量,4*1200Mhz,內(nèi)存容量,8 GB 16 X 512MB DIMMs),I/O板,4個，PCI擴展槽共32個,Sun Storage 3510 SCSI 磁盤陣列,可提供539GB 的存儲空間,目前，本院的高性能并行計算平臺建設處于初步試驗階段，待并行計算技術在我院應用成熟以后，可以很方便的對該平臺進行硬件升級，以獲得更高的性能和計算能力。,現(xiàn) 狀,軟件平臺建設,操作系統(tǒng),開發(fā)環(huán)境,編譯器,數(shù)學函數(shù)庫,高性能并行計算軟件,作業(yè)管理接口,并行程序運行環(huán)境,并行數(shù)學函數(shù)庫,并行程序調(diào)試分析工具,資源管理系統(tǒng),IWHR 高性能并行計算平臺軟件體系結(jié)構(gòu),操作系統(tǒng)：Solaris 9

9、,64位的Unix操作系統(tǒng),具有杰出的穩(wěn)定性和可維護性,單一效勞器上最多可支持106個CPU,支持多線程，最多100萬個進程。,支持多種應用軟件，如 Sun Cluster軟件、Sun 管理中心軟件、Sun Studio 編譯環(huán)境Sun Grid Engine等等。,開發(fā)環(huán)境：Sun Studio 9,主要組件包含如下：,C Compiler,C+Compiler,Fortran Compiler,Sun Performance Library,Distributed,make,utility,dmake,dbx,Command-Line Debugger,Performance Analys

10、is Tools,Integrated Development Environment(IDE),編譯器,對于科研課題的計算程序而言，編譯器的優(yōu)劣對生成的程序的執(zhí)行效率有著非常明顯的影響，現(xiàn)在在Unix下的免費編譯器軟件主要是GNU方案提供的GCC，該編譯器可以編譯C、C+、F77 等語言編寫的程序。Sun Fire 6800 效勞器配套的編譯器是Sun 公司開發(fā)的商業(yè)編譯軟件-Sun Studio 9，該編譯器在Solaris上編譯運行的效率比GNU的免費軟件要高30%40%。,數(shù)學函數(shù)庫：Sun Performance Library,它是Sun公司基于以下標準的線性代數(shù)庫而生成的，具有相

11、同的函數(shù)名和接口，但是在Sun的效勞器上運行得更快更精確。,LAPACK：用來解決線性代數(shù)問題,BLAS1：用來解決向量-向量運算問題,BLAS2：用來解決矩陣-向量運算問題,BLAS3：用來解決矩陣-矩陣運算問題,FFTPACK和VFFTPACK：快速傅立葉轉(zhuǎn)換,高性能并行計算軟件,Sun HPC ClusterTools 5.0,作業(yè)管理接口,Sun ClusterTools Runtime EnvironmentCRE,并行計算運行環(huán)境,Sun MPI and MPI I/O,并行數(shù)學函數(shù)庫,Sun S3L(Scalable Scientific Subroutine Library),

12、并行程序調(diào)試分析工具,Sun Prism,Sun MPProf,作業(yè)管理接口：Sun CRE,執(zhí)行程序mprun),殺死程序mpkill),顯示作業(yè)信息,顯示節(jié)點信息,并行計算運行環(huán)境,Sun MPI and MPI I/O,Sun MPI 是一個高度優(yōu)化的MPI版本。它支持MPI1.2 標準和 MPI2.0 標準。,支持多線程編程。,與Sun CRE 集成。,完全支持Fortran77、C和C+，支持一些根本的Fortran90 語法。,通過共享內(nèi)存通信會獲得更好的性能。,并行數(shù)學函數(shù)庫：Sun S3L,它是建立在Sun MPI之上的，給用戶提供了一系列廣泛應用的并行函數(shù)庫。如LU分解、最小

13、二乘法運算、矩陣轉(zhuǎn)置等等。,支持Fortran77、Fortran90、C和C+,Sun S3L 子程序調(diào)用Sun Performance Library 來在節(jié)點上進行運算。,并行程序調(diào)試分析工具,Prism和MPProf,Prism是一個圖形編程環(huán)境，使用戶能夠?qū)Σ⑿谐绦蜻M行調(diào)試和性能監(jiān)控。,MPProf是一個用來查看Sun MPI程序的分析工具。運行它可以獲得程序的一些時間信息：,在所有進程里MPI函數(shù)庫調(diào)用所花費的時間占程序運行時間的百分比；,每個進程在MPI函數(shù)庫調(diào)用上花費的時間百分比；,MPI 函數(shù)庫調(diào)用的次數(shù)、程序花費的時間；,資源管理系統(tǒng)(Resource Management

14、),Sun HPC ClusterTools 5 software可以和下面三種分布式資源管理系統(tǒng)集成，用來管理資源的分配、并行作業(yè)的控制和監(jiān)視，以及作業(yè)信息的統(tǒng)計。,Sun Grid Engine：Codine 5.2,Load Sharing Facility:LSF 4.x,Portable Batch System:PBS 2.3.15 and PBS Pro 5.0,集成方法,IWHR 高性能并行計算平臺軟件體系結(jié)構(gòu),三、高性能并行計算實踐,課題一,在結(jié)構(gòu)材料所使用效勞器計算的工程工程“小灣壩踵應力誘導峰分析中，效勞器發(fā)揮了內(nèi)存、硬盤空間大，計算穩(wěn)定的特點，為該工程工程的計算提供了有力的支持。,課題二,在抗震中心的有關“混凝土三維細觀力學模型的研究中，信息網(wǎng)絡中心聯(lián)系太極公司、國防科大等單位對原有串行程序進行并行化改造，在我院高性能效勞器上試運行后，效果比較明顯。經(jīng)介紹，原來的串行程序運行需要7、8天左右時間經(jīng)改造后只需34個小時。,四、結(jié)語,我院高性能并行技術的應用處于初步探索階段，經(jīng)過這半年多來的努力，現(xiàn)在已經(jīng)取得了一定的成果。希望能夠繼續(xù)和院內(nèi)各研究所合作，共同努力，把我院高性能計算這一塊迅速開展起來，為我院的知識創(chuàng)新搭建一個高起點的平臺，更好的為院內(nèi)以及整個水利水電行業(yè)的科研工程效勞。,敬請專家領導指正！,謝謝！,