《第2講-并行計(jì)算框架及案例課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《第2講-并行計(jì)算框架及案例課件（47頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,*,單擊此處

2、編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),單擊此處編輯母版標(biāo)題樣式,JP Navarro,*,并行計(jì)算產(chǎn)生背景,整個(gè)大的串行任務(wù),分解,各個(gè)并行執(zhí)行部分,需做大量運(yùn)算，持續(xù)時(shí)間長(zhǎng),根據(jù)大任務(wù)內(nèi)在相關(guān)性,各個(gè)相對(duì)獨(dú)立模塊部分并行執(zhí)行，節(jié)約運(yùn)算時(shí)間,并行計(jì)算產(chǎn)生背景整個(gè)大的串行任務(wù)分解各個(gè)并行執(zhí)行部分需做大量,并行計(jì)算是相對(duì)于串行計(jì)算,并行計(jì)算是相對(duì)于串行計(jì)算,并行計(jì)算概念,并行計(jì)算概念,并行計(jì)算-高性能計(jì)算,并行計(jì)算,(Parallel Computing,）,高端計(jì)算,(High-end Paral

3、lel Computing),高性能計(jì)算,(High Performance Computing),超級(jí)計(jì)算,(Super Computing),任何高性能計(jì)算和超級(jí)計(jì)算都離不開使用并行技術(shù),The simultaneous use of more than one computer to solve a problem.,由,由運(yùn)行在多個(gè)部件上的小任務(wù)合作來(lái)求解一個(gè)規(guī)模很大的計(jì)算問(wèn)題的一種方法,4,并行計(jì)算-高性能計(jì)算并行計(jì)算(Parallel Compu,并行計(jì)算的應(yīng)用需求,5,并行計(jì)算的應(yīng)用需求5,計(jì)算科學(xué),與傳統(tǒng)的兩種科學(xué)，即,理論科學(xué),和,實(shí)驗(yàn)科學(xué),，并列被認(rèn)為是人類認(rèn)識(shí)自然的三大支

4、柱，他們彼此相輔相成地推動(dòng)科學(xué)發(fā)展與社會(huì)進(jìn)步。在許多情況下，或者是理論模型復(fù)雜甚至理論尚未建立，或者實(shí)驗(yàn)費(fèi)用昂貴甚至無(wú)法進(jìn)行時(shí)，計(jì)算就成了求解問(wèn)題的唯一或主要的手段。,并行計(jì)算的應(yīng)用需求,6,計(jì)算科學(xué)與傳統(tǒng)的兩種科學(xué)，即理論科學(xué)和實(shí)驗(yàn)科學(xué)，并列被認(rèn)為是,程序級(jí)并行,子程序級(jí)并行,語(yǔ)句級(jí)并行,操作級(jí)并行,微操作級(jí)并行,并行粒度,細(xì),粗,并行的層次,后三層大都由硬件和編譯器負(fù)責(zé)處理，程序員通常處理前兩層的并行,程序級(jí)并行并行粒度細(xì)粗并行的層次后三層大都由硬件和編譯器負(fù),硬件（并行機(jī)）,組成要素：節(jié)點(diǎn)，互聯(lián)網(wǎng)絡(luò)，內(nèi)存,結(jié)構(gòu)模型：,PVP,SMP,DSM,MPP,COW,并行算法設(shè)計(jì)（略）,并行編程環(huán)

5、境,系統(tǒng)環(huán)境：常見(jiàn)主流,Unix/Linux,操作系統(tǒng),編程語(yǔ)言：,Fortran 77/90/9,C/C+,并行計(jì)算基本條件,硬件（并行機(jī)）并行計(jì)算基本條件,并行計(jì)算機(jī)的分類,SISD,SIMD,MIMD,并行計(jì)算科學(xué)中主要研究的是空間上的并行問(wèn)題?？臻g上的并行導(dǎo)致了兩類并行機(jī)的產(chǎn)生，按照,Flynn,的說(shuō)法分為：?jiǎn)沃噶盍鞫鄶?shù)據(jù)流（,SIMD,）和多指令流多數(shù)據(jù)流（,MIMD,）。我們常用的串行機(jī)也叫做單指令流單數(shù)據(jù)流（,SISD,）。,并行計(jì)算機(jī)的分類SISDSIMDMIMD并行計(jì)算科學(xué)中主要研,10,并行計(jì)算機(jī)體系結(jié)構(gòu),組成要素,結(jié)點(diǎn),（node）：一個(gè)或多個(gè)處理器組成,互聯(lián)網(wǎng)絡(luò),（in

6、terconnetct network）：連接結(jié)點(diǎn),內(nèi)存,（memory）：多個(gè)存儲(chǔ)模塊組成,10并行計(jì)算機(jī)體系結(jié)構(gòu) 組成要素 結(jié)點(diǎn)（node）：一個(gè)或多,1,并行計(jì)算框架,PVP,（,Parallel Vector Processor,，,并行向量處理機(jī)）,代表：,銀河,I,NEC,地球模擬器,1并行計(jì)算框架PVP（Parallel Vector Pr,2,SMP,（,Symmetric Multiprocessor,，,對(duì)稱多處理機(jī)）,單一操作系統(tǒng)管理,共享內(nèi)存及計(jì)算機(jī)的其他資源,.,代表：,曙光,1,號(hào),IBM RS/6000,并行計(jì)算框架,2SMP（Symmetric Multipro

7、cessor,4,MPP,（,Massively Parallel Processor,，,大規(guī)模并行處理機(jī)）,每個(gè)結(jié)點(diǎn)均有自己的,操作系統(tǒng),獨(dú)立的內(nèi)存,.,代表：,Intel Option Red,IBM SP2,Dawning 1000,并行計(jì)算框架,4MPP（Massively Parallel Proces,5,COW,（,Cluster of Workstation,，,集群工作站）,代表：,IBM Cluster 1350/1600,曙光,2000,3000,目前分布式計(jì)算、云計(jì)算體系,的原型,并行計(jì)算框架,5COW（Cluster of Workstation，集群,Google

8、,云計(jì)算數(shù)據(jù)中心,Google云計(jì)算數(shù)據(jù)中心,并行計(jì)算機(jī)發(fā)展食物鏈,并行計(jì)算機(jī)發(fā)展食物鏈,并行計(jì)算的性能分析,2,、并行效率,并行計(jì)算的性能分析,并行語(yǔ)言的實(shí)現(xiàn)方式和實(shí)現(xiàn)難度的關(guān)系圖,改動(dòng)多少,實(shí)現(xiàn)難度,提供并行庫(kù),擴(kuò)充語(yǔ)法成分,新語(yǔ)言,并行程序設(shè)計(jì)方式：,設(shè)計(jì)全新的并行語(yǔ)言,擴(kuò)展串行語(yǔ)言語(yǔ)法，使其支持并行特征,為串行語(yǔ)言提供可調(diào)用的并行庫(kù),MPI,(,M,essage,P,assing,I,nterface,消息傳遞接口,):,是消息傳遞函數(shù)庫(kù)的標(biāo)準(zhǔn)規(guī)范，采用,提供并行庫(kù),的方式,MPI,產(chǎn)生背景,并行語(yǔ)言的實(shí)現(xiàn)方式和實(shí)現(xiàn)難度的關(guān)系圖改動(dòng)多少實(shí)現(xiàn)難度提供并行,一個(gè)簡(jiǎn)單的,MPI,程序,Hel

9、lo.c,#include“mpi.h”,/*,導(dǎo)入包含有,MPI,庫(kù)函數(shù)的頭文件,*,/,#include,/*,導(dǎo)入,C,語(yǔ)言頭文件,*,/,/*,*,使用,C,語(yǔ)言作為宿主語(yǔ)言，調(diào)用,MPI,庫(kù)編寫簡(jiǎn)單,Hello.c,并行程序,*,/,int main(int argc,char*argv),MPI_init,(,/*MPI,庫(kù)函數(shù),*,/,printf(“hello parallel world!n”);,/*C,庫(kù)函數(shù),*,/,MPI_Finalize,();,/*MPI,庫(kù)函數(shù),*,/,return 0;,MPI_Init();,并行代碼;,MPI_Fainalize();,只能

10、有串行代碼;,一個(gè)簡(jiǎn)單的MPI程序 Hello.c#include“,啟動(dòng)機(jī)器集群中的,3,個(gè)機(jī)器節(jié)點(diǎn)：,編譯,Hello.c,程序：,執(zhí)行,Hello,程序：,注意：可執(zhí)行程序,Hello.o,必須同時(shí)位于,3,個(gè)機(jī)器節(jié)點(diǎn)的,test3,目錄下。,一個(gè)簡(jiǎn)單的,MPI,程序,Hello.c,運(yùn)行：,啟動(dòng)機(jī)器集群中的3個(gè)機(jī)器節(jié)點(diǎn)：一個(gè)簡(jiǎn)單的MPI程序 He,MPI,消息,消息,(message),：,MPI,程序中在進(jìn)程間通信所傳送的所有信息稱為消息。,作用：,控制整個(gè)集群內(nèi)的所有機(jī)器節(jié)點(diǎn)進(jìn)行協(xié)同工作,對(duì)底層異構(gòu)系統(tǒng)進(jìn)行抽象，實(shí)現(xiàn)程序可移植性,組成：,消息信封,消息內(nèi)容,MPI消息消息(mess

11、age)：MPI程序中在進(jìn)程間通信,MPI,消息傳遞過(guò)程,分三個(gè)階段：,消息裝配,消息發(fā)送,消息拆卸,數(shù)據(jù)發(fā)送緩沖區(qū),消息裝配,消息傳遞,消息拆卸,數(shù)據(jù)接收緩沖區(qū),MPI,消息傳遞過(guò)程,MPI消息傳遞過(guò)程分三個(gè)階段：數(shù)據(jù)發(fā)送緩沖區(qū)消息裝配消息傳遞,MPI,常用六個(gè)基本函數(shù),MPI_Init();,MPI_Comm_size();,MPI_Comm_rank();,MPI_Send();,MPI_Recv();,MPI_Finalize();,MPI常用六個(gè)基本函數(shù)MPI_Init();,int MPI_Init(int*argc,char*argv),啟動(dòng),MPI,環(huán)境,標(biāo)志并行代碼的開始.,

12、并行代碼之前,第一個(gè),mpi,函數(shù)(除,MPI_Initialize(),外).,接收,main,函數(shù)傳遞的參數(shù),.,int MPI_Finalize(void),標(biāo)志并行代碼的結(jié)束,結(jié)束除主進(jìn)程外其它進(jìn)程.,int MPI_Init(int*argc,char*,int MPI_Comm_size(MPI_Comm comm,int*size),獲得通信空間,comm,中規(guī)定的組包含的進(jìn)程的數(shù)量.,int MPI_Comm_rank(MPI_Comm comm,int*rank),得到本進(jìn)程在通信空間,comm,中的,rank,值,即在組中的邏輯編號(hào)(從0開始，類似于進(jìn)程,ID,).,int

13、 MPI_Comm_size(MPI_Comm c,int MPI_Send(void *buff,int count,MPI_Datatype datatype,int dest,int tag,MPI_Comm comm),標(biāo)準(zhǔn)阻塞發(fā)送消息,buff,：消息發(fā)送緩沖區(qū),count:,指定數(shù)據(jù)類型,MPI_Datatype,的消息個(gè)數(shù),而不是字節(jié)數(shù),.,dest:,發(fā)送消息的目的地,tag:,消息標(biāo)簽,comm:,通信空間或通信域,int MPI_Send(void *buff,int,int MPI_Recv(void *buff,int count,MPI_Datatype dataty

14、pe,int source,int tag,MPI_Comm comm,MPI_Status *status),標(biāo)準(zhǔn)阻塞接收消息,buff,：消息接收緩沖區(qū),count:,指定數(shù)據(jù)類型,MPI_Datatype,的消息個(gè)數(shù),而不是字節(jié)數(shù),.,source:,發(fā)送消息源,tag:,消息標(biāo)簽,comm:,通信空間或通信域,status,：記錄消息接收狀態(tài)（成功或失?。?int MPI_Recv(void *buff,int,簡(jiǎn)單消息發(fā)送與接收案例,HelloWord.c,#include“mpi.h”,main(int argc,char*argv),int,p;,/*,進(jìn)程數(shù),該變量為各處理器中

15、的同名變量*,/,int,my_rank;,/*,我的進(jìn)程,ID,存儲(chǔ)也是分布的 *,/,MPI_Status,status;,/*,消息接收狀態(tài)變量,存儲(chǔ)也是分布 *,/,char,message100;,/*,消息,buffer,存儲(chǔ)也是分布的 *,/,MPI_Init,(,/*,初始化,MPI*/,/*,該函數(shù)被各進(jìn)程各調(diào)用一次,得到自己的進(jìn)程,rank,值*,/,MPI_Comm_rank,(MPI_COMM_WORLD,/*,該函數(shù)被各進(jìn)程各調(diào)用一次,得到進(jìn)程數(shù)*,/,MPI_Comm_size,(MPI_COMM_WORLD,簡(jiǎn)單消息發(fā)送與接收案例HelloWord.c#inclu

16、d,if(my_rank!=0),/*,建立消息*,/,sprintf(message,“Hello Word,I am%d!,my_rank);,/*,發(fā)送長(zhǎng)度取,strlen(message)+1,使,0,也一同發(fā)送出去*,/,MPI_Send,(message,strlen(message)+1,MPI_CHAR,0,99,MPI_COMM_WORLD);,else /*my_rank=0*/,for(source=1;source=2;source+),/*,指定,3,個(gè)進(jìn)程的并行環(huán)境*,/,MPI_Recv,(message,100,MPI_CHAR,source,99,MPI_COMM_WORLD,printf(“%sn,message);,MPI_Finalize();,/*,關(guān)閉,MPI,標(biāo)志并行代碼段的結(jié)束*,/,/*main*/,簡(jiǎn)單消息發(fā)送與接收案例,HelloWord.c,if(my_rank!=0)/*,HelloWord.c,的編譯與運(yùn)行,mpicc HelloWord.c,默認(rèn)生成,a.out,的可執(zhí)行代碼.,mpicc o HelloWord Hello