《并行計算機與并行計算PPT課件》由會員分享，可在線閱讀，更多相關《并行計算機與并行計算PPT課件（40頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、,C,enter of,C,omputational,C,hemistry,情況介紹,分子反應動力學國家重點實驗室,交叉分子束動力學課題組,理論與計算化學國際合作中心,研究員2人，其中一位為中國科學院院士，高級訪問學者1人，博士后研究人員6人，,博士研究生18人，碩士研究生4人,與多個國際學術團隊有很好的合作，與紐約大學化學系張增輝教授合作建立理論與,計算化學國際合作研究中心,主要研究工作,實驗方面：,交叉分子束對光解，碰撞反應，立體化學動力學的研究,激光誘導熒光方法對光解，立體化學動力學的研究,飛秒激光對超快動力學過程的研究,理論方面：,準經典軌線方法對反應動態(tài)學的研究,量子力學方法對反應動

2、態(tài)學的研究,復雜體系勢能面的構造，擬和,量子化學及其他方法對分子結構，物質特性，化學反應過程的研究,1997-2001年，發(fā)表文章84篇，其中英文66篇,HPC Server,并行計算機與并行計算,為什么要建造并行計算機,并行計算機的類型,什么是并行計算，并行進程的特性及并行模型的分類,工作站集群(,COW),的基本結構,中國科學院十五計劃中關于并行計算部分,為什么要建造并行計算機,什么是超級計算環(huán)境,超級計算（,Supercomputing），,從技術的意義上說，是為了在問題的求解上具有更快的速度、更高的精度、更大的規(guī)模、更好的性能價格比而采用的非主流計算的設施和方式。,計算速度的要求,問題

3、:科學和工程問題的數(shù)值模擬與仿真,計算密集,數(shù)據(jù)密集,網(wǎng)絡密集,三種混合,要求:在合理的時限內完成計算任務,秒級制造業(yè),分鐘級短時天氣預報(當天),小時級中期天氣預報(310日),盡可能快長期天氣預報(氣候),可計算湍流模擬,問題的規(guī)模,計算機的規(guī)模:,TOP10(2001,年7月),IBM Builds Worlds Fastest,Supercomputer to Simulate,Nuclear Testing for U.S.Energy,Department,以動物的食物鏈為例,打破高性能計算的壁壘,2100,2100,2100,2100,2100,2100,2100,2100,21

4、00,單處理器,共享存儲,局域并行機群,廣域并行機群,GFLOPS,并行計算機分類,Flynn,分類法,SISD（,單指令流單數(shù)據(jù)流）系統(tǒng),SIMD（,單指令流多數(shù)據(jù)流）系統(tǒng),MISD（,多指令流單數(shù)據(jù)流）系統(tǒng),MIMD（,多指令流多數(shù)據(jù)流）系統(tǒng),五種物理機模型:實際的機器體系結構,PVP (Parallel Vector Processor,并行向量機),SMP (Symmetric Multiprocessor,對稱多處理機),MPP (Massively Parallel Processor,大規(guī)模并行處理機),COW(Cluster of Workstation,工作站機群),DSM

5、(Distributed Shared Memory,分布共享存儲多處理機),幾種我們常見的并行計算機,CPU,CPU,CPU,總線或交叉開關,SM,(,a)SMP,物理上單一地址空間,CPU,CPU,CPU,定制網(wǎng)絡,LM,LM,LM,虛擬分布共享存儲(,DSM),(,b)DSM,邏輯上單一地址空間,P/C,P/C,P/C,定制/標準網(wǎng)絡,LM,LM,LM,(,c)Cluster/COW,物理/邏輯上多地址空間,SMP,MPP,MPP,WAN,LM,DSM,SM,(,d)Grid(Cluster of Clusters),什么是并行計算，并行進程的表述,及并行模型的分類,什么是并行計算,進程

6、 1,發(fā)送信息,進程 2,接收信息,傳統(tǒng)的,串行計算,，,分為“指令”,和“數(shù)據(jù)”兩個部分，并在程序,執(zhí)行時“獨立地申請和占有”內,存空間，且所有計算均局限于,該內存空間。,并行計算,將,進程相對獨立的,分配于不同的節(jié)點上，由,各自獨立的操作系統(tǒng)調度，,享有獨立的,CPU,和內存資源,（內存可以共享）；進程間,相互信息交換通過消息傳遞,；,進程 1,進程 2,并行算法的表述,在并行算法的表述中，所有描述串行算法的語句及進程均可調用，,而只是為了表達并行性而引入幾條所謂的并行語句,當幾個算法步要并行執(zhí)行時，我們可以寫作,Do,step i,to,j,in parallel,step,i,step

7、,i,+1,step j,或者是：當幾個處理器同時執(zhí)行相同的操作時，我們可以寫作,for all,i,parallel do,.,.,.,end for,例如,n=2*k,個數(shù)的求和,輸入：,n=2*k,個數(shù)存入數(shù)組,A,中,輸出：,S=sigma(A(i),begin,(1)for i,=,1 to 4 parallel do,B(i),A(i),end for,(2)for h,=,1 to logn=2 do,for i=1 to n/2*h=1 parallel do,B(i),B(2i-1)+B(2i),end for,end for,(3)SB(i),end,把每一個,A(i),賦

8、給,B(i,),n=4,k=2,就是4個數(shù)的加和,h=1 to 2,h=1,I=1 to 2(4/2*1),B(1),B(1)+B(2),B(2)B(3)+B(4),h=2,I=1 to 1(4/2*2),B(1)B(1)+B(2),SB(1),若有2*2=4個處理器，則在1(,h),級可能的并行,運算數(shù)目為4/2*1=2.則運算任務分攤給前兩個,處理器,硬件結構抽象模型(自然模型),共享存儲,的模型和語言(適于,PVP,SMP,DSM),X3H5,Pthread,OpenMP,消息傳遞,的模型和語言(適于,MPP,Cluster,COW),MPI(,Fortran,C,Gamess,Vasp

9、,),PVM(,Fortran,C,),數(shù)據(jù)并行,的模型和語言(適于在,MPP/Cluster,上實現(xiàn),SPMD,應用),Fortran 90,HPF(High Performance Fortran),并行模型的分類,基于程序構造的模型,CSP,Linda（,Fortran,C,Gaussian,）,Global (,Molpro,，Columbus,),基于問題描述的模型,GAMMA,UNITY,基于并行計算理論的模型,PRAM,BSP,LogP,Yale,大學,Nicholas Carriero,和,David Gelernter,于1986年基于分散數(shù)據(jù)結構和共享存儲系統(tǒng)的并行計算模型

10、.,Linda,模型定義了一個功能強大的邏輯存儲器(,TS),和在其上的一組核心操作(,in,out,read,eval),它們能夠方便地嵌入到不同的語言(如,C,Fortran),中而構成相應的并行語言(,C-Linda,和,Fortran-Linda,等),該模型同時還支持動態(tài)程序設計和兩種不同的編程風格(,Master/Slaver,和,Divide-and-Conquer),為用戶開發(fā)不同類型 的應用程序提供了靈活的手段.,Linda,模型,（進程從,TS,中提取任務或數(shù)據(jù)進行計算,并將結果或生成的新任務放入,TS,中.并行執(zhí)行,的進程之間通過,TS,進行間接的通信和同步.,TS,是一

11、個可被多個進程共享的、能同時存放,數(shù)據(jù)和任務的數(shù)據(jù)箱）,TS,共享數(shù)據(jù)箱,進程 2,進程 4,進程 3,進程 1,Linda,模型的應用,Linda in Gaussian,HF:SP Opt Freq,MP2:Sp Opt Freq,DFT:SP Opt Freq,可以將串行代碼改編為并行代碼,支持,C,和,Fortran,語言,MPI,已經成為一種標準，應用越來越廣泛。而最流行的,MPI,工具集當屬,mpichhttp:/www-unix.mcs.anl.gov/mpi/mpich，,是目前高效率的超大規(guī)模并行計算（1000個處理器）最可信賴的平臺。,在當前所有的消息傳遞軟件中,最重要最流

12、行的是,MPI,它能運行在所有的并行平臺上,包括,SMP,和,PVP.,二者已經在,Windows NT,和,Windows 95,這樣的非,Unix,平臺上實現(xiàn).程序設計語言支持,C,Fortran,和,Java.,在國產的三大并行機系列神威、銀河和曙光上都實現(xiàn)了對,MPI,和支持.,MPI,(Message Passing Interface),MPI,模型,目標:是提供一個實際可用的、可移植的、高效的和靈活的消息傳遞,接口標準.,MPI,以語言獨立的形式來定義這個接口庫,并提供了與,C、,Fortran,和,Java,語言的綁定.這個定義不包含任何專用于某個特別的,制造商、操作系統(tǒng)或硬件

13、的特性.由于這個原因,MPI,在并行計算界,被廣泛地接受.,MPI,并行程序設計平臺由,標準消息傳遞函數(shù)及相關輔助函數(shù),構成，多個進程通過調用這些函數(shù)（類似調用子程序），進行通信；,一個程序同時啟動多份，形成多個獨立的進程，,在不同的處理機上運行，擁有獨立的內存空間，,進程間通信通過調用,MPI,函數(shù)來實現(xiàn)；每個進程,開始執(zhí)行時，將獲得一個唯一的序號（,rank）。,例如啟動,P,個進程，序號依次為0，1，,P-1；,MPI,并行進程的實現(xiàn),消息傳遞是相對于進程間通信方式而言的，與具體并行機存儲模式無關，,任何支持進程間通信的并行機，均可支持消息傳遞并行程序設計；幾乎,有共享和分布存儲并行計算

14、環(huán)境均支持進程間的消息傳遞通信；,進程0發(fā)送一個整數(shù)給進程1；進程1將該數(shù)加1，傳遞給進程2；進程2再將,該數(shù)加1，再傳遞給進程3；依次類推，最后，進程,N-1,將該數(shù)傳遞給進程0，,由進程1負責廣播該數(shù)給所有進程，并打印輸出。,進程 1,傳遞信息,進程 3,傳遞信息,進程 2,傳遞信息,進程 0,傳遞信息,在商品化的并行機上,MPI,的環(huán)境一般是由系統(tǒng)管理人員事先設置好的，用戶不需要變動它.而在用戶自已配置的,NOW(,工作站機群)上運行,MPI,程序則需要設置以下配置文件：(1)由于加載程序到結點上運行需要調用了,Unix,系統(tǒng)的,rsh,命令，所以需要在每個結點上設置.,rhosts,文

15、件，以使,rsh,能正確執(zhí)行；(2)由于,NOW,環(huán)境的異構性，需要在啟動時指定運行結點的體系結構；若未指定，是指使用與啟動并行程序的結點具有相同體系結構的結點.在啟動并行程序的機器里，具有相同體系結構的幾臺機器的名字存放在一個名為$,MPICH/util/machines/machines.,的文件中，一臺機器的名字占有文件的一行，其中$,MPICH,是一個環(huán)境變量，指明,MPICH,軟件安裝后所在的目錄.并行程序加載運行時是按照文件中機器名字的先后順序依次加載的.,商業(yè)機中的,MPI,程序用以下并行,C,編譯器,mpcc,來編譯:,執(zhí)行下列命令將可執(zhí)行程序,myprog,加載到,n,個節(jié)點

16、上:,mpcc myprog.c o myprog,mpirun myprog np n,MPI,進程是重型的單線進程.它們擁有不同的地址空間.因此,一個進程不能直接訪問另一個進程地址空間中的變量.進程間的通信用消息傳遞來實現(xiàn).,MPI,的編譯與運行,工作站集群(,COW),的基本結構,COW,簡介,工作站機群（,Cluster of Workstation）,是,將一群工作站用某種結構的網(wǎng)絡互聯(lián)起來，充分利用各工作站的資源，統(tǒng)一調度、協(xié)調處理，以實現(xiàn)高效并行計算。,通信原語庫以及并行程序設計環(huán)境工具:,MPI、PVM、linda,互聯(lián)網(wǎng)絡：,LAN（,Myricom Myrinet/Gigabite/Ethernet,）,節(jié)點：,高檔微機，對稱多處理機,SMP,操作系統(tǒng)：,Unix、Linux、NT、,改進和修改的操作系統(tǒng),通信協(xié)議：,TCP/IP、,特定的協(xié)議,基本實現(xiàn)原理,1,網(wǎng)絡文件系統(tǒng),NFS(Unix、Linux)、,網(wǎng)絡驅動器(,Windows)，MFS(Mosix kernel).,2,網(wǎng)絡信息服務,NIS(Unix、Linux)、NIS+(Solaris)、,域（,N