5并行計(jì)算環(huán)境及作業(yè)調(diào)度,成都信息工程學(xué)院項(xiàng)目實(shí)施,Putty,是一個(gè)免費(fèi)的、,Windows 32,平臺(tái)下的,telnet,、,rlogi,和,ssh,客戶端，其主要優(yōu)點(diǎn)如下：,完全免費(fèi),在,Windows,下運(yùn)行的都非常好,;,全面支持,ssh1,和,ssh2,；,綠色軟件，無(wú)需安裝，下載后可直接使用；,體積很??；,操作簡(jiǎn)單，所有的操作都在一個(gè)控制面板中實(shí)現(xiàn)。,putty,下載地址：,http:/ linux 10.2,系統(tǒng)的,Remote,遠(yuǎn)程管理功能；,Redhat Linux,系統(tǒng)默認(rèn)已經(jīng)打開,Remote,遠(yuǎn)程管理功能。,2,、,Suse Linux 10.2,系統(tǒng)配置如下：,node253:,#yast2,，選擇,Remote Administration,Xmanager,使用方法,服務(wù)端配置,安裝,Xmanager3,軟件,輸入,IP,地址,點(diǎn),RUN,Xmanager,使用方法,客戶,端配置,Putty,使用文本界面方式,VNC,和,Xmanager,可使用文本或是,圖形界面,VNC,：,在使用,遠(yuǎn)程,圖形界面操作時(shí)無(wú)法使用,TAB,鍵補(bǔ)全命令,，關(guān)閉,軟件不會(huì)結(jié)束當(dāng)前會(huì)話,Xmanager,在使用遠(yuǎn)程圖形界面操作時(shí),可以,使用,TAB,鍵運(yùn)行命令的補(bǔ)全,操作,，關(guān)閉軟件會(huì)結(jié)束當(dāng)前會(huì)話,根據(jù)使用習(xí)慣選擇不同的遠(yuǎn)程登錄工具,Putty,、,VNC,與,Xmanager,的異同,PBS,作業(yè)調(diào)度系統(tǒng),機(jī)群結(jié)構(gòu)的松散性（單一系統(tǒng)映象）,節(jié)點(diǎn)類型的差別（,CPU,類型、內(nèi)存大小、數(shù)量等）,用戶不同類型的作業(yè)（串行,/,并行，各類應(yīng)用軟件）,用戶可以使用資源的限制,機(jī)群使用中存在的問題,單一系統(tǒng)映象,機(jī)群松散的結(jié)構(gòu)的整合,系統(tǒng)資源整合,異構(gòu)系統(tǒng)的整合,多用戶的管理,用戶提交的任務(wù)的統(tǒng)一安排，避免沖突,用戶權(quán)限的管理,非授權(quán)用戶的控制,作業(yè)調(diào)度系統(tǒng)的功能,資源管理器：,管理集群的硬件資源及認(rèn)證信息等,隊(duì)列管理器：,管理當(dāng)前所有已提交但還未完成的作業(yè),調(diào)度器：,為作業(yè)分配資源,作業(yè)調(diào)度系統(tǒng)的組成,作業(yè)調(diào)度系統(tǒng)的結(jié)構(gòu),服務(wù)器,:pbs_server,調(diào)度器,:pbs_sched,執(zhí)行器,:pbs_mom,命令行,:,用戶腳本，管理命令等,PBS,的組成,準(zhǔn)備,：編寫描述改作業(yè)的腳本，包括作業(yè)名，需要的資源等。,提交,：使用,qsub,命令將該作業(yè)提交給,PBS,服務(wù)器,排隊(duì),：服務(wù)器將該任務(wù)排入適當(dāng)?shù)年?duì)列,調(diào)度,：服務(wù)器檢查各工作節(jié)點(diǎn)的狀態(tài)是否符合該作業(yè)的要求，并進(jìn)行調(diào)度。,執(zhí)行,：當(dāng)條件滿足時(shí)，作業(yè)被發(fā)給相應(yīng)的執(zhí)行服務(wù)器執(zhí)行。程序運(yùn)行時(shí)執(zhí)行服務(wù)器會(huì)收集程序的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤流，等程序結(jié)束時(shí)，將這些信息返回給用戶。,查詢和調(diào)整,：當(dāng)作業(yè)在運(yùn)行時(shí)，用戶可以使用,qstat,進(jìn)行狀態(tài)查詢。用戶發(fā)現(xiàn)作業(yè)提交錯(cuò)誤時(shí)，可以使用,qdel,刪除正在運(yùn)行的作業(yè)。,查看結(jié)果,：使用文本編輯軟件,vi,或者系統(tǒng)命令,cat,less,等查看輸出及錯(cuò)誤信息顯示。,PBS,的使用步驟,在,PBS,系統(tǒng)中，用戶使用,qsub,命令提交用戶程序。用戶運(yùn)行程序的命令及,PBS,環(huán)境變量設(shè)置組成,PBS,作業(yè)腳本，作業(yè)腳本使用如下格式提交到,PBS,系統(tǒng)運(yùn)行：,PBS,的基本命令,qsub,qsub-N test.vasp-l nodes=4:ppn=2-q defaults,注釋,以“,#”,開頭,PBS,運(yùn)行參數(shù),以“,#PBS”,開頭,SHELL,命令,PBS,作業(yè)腳本,#PBS-N vasp.Hg,#PBS-l nodes=4:ppn=4,#PBS-oe,#PBS-l walltime=05:00:00,#PBS-q high,echo This jobs is$PBS_JOBID$PBS_QUEUE,cd$PBS_O_WORKDIR,mpirun-np 16-machinefile$PBS_NODEFILE./vasp,qsub,運(yùn)行參數(shù),運(yùn) 行 參 數(shù),說(shuō) 明,-a,向,PBS,系統(tǒng)指定作業(yè)運(yùn)行的開始時(shí)間。,作業(yè)運(yùn)行時(shí)間格式為：,CCYYMMDDhhmm.SS,-A,使用不同的用戶來(lái)提交作業(yè)，缺省使用當(dāng)前用戶名,-o,-e,該參數(shù)指定標(biāo)準(zhǔn)錯(cuò)誤輸出的位置，缺省的情況下，,PBS,系統(tǒng)把標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤輸出放在用戶,qsub,命令提交作業(yè)的目錄下。,標(biāo)準(zhǔn)錯(cuò)誤輸出：,.o,標(biāo)準(zhǔn)錯(cuò)誤輸出：,.e,路徑使用如下格式標(biāo)準(zhǔn)：,:,-N,指定提交的作業(yè)名,-q,指定作業(yè)提交的目標(biāo)隊(duì)列，其中目標(biāo)隊(duì)列可以是目標(biāo)隊(duì)列、目標(biāo)節(jié)點(diǎn)名或者是目標(biāo)節(jié)點(diǎn)上的隊(duì)列。如果目標(biāo)隊(duì)列是一個(gè)路由隊(duì)列，那么服務(wù)器可能把作業(yè)路由到新的隊(duì)列中。如果該參數(shù)沒有指定，命令,qsub,會(huì)把作業(yè)腳本提交到缺省的隊(duì)列中。,-l,該參數(shù)指定作業(yè)腳本申請(qǐng)的,PBS,系統(tǒng)資源列表。,申請(qǐng)資源列表使用如下格式：,=,資源名,=,，,.,例如作業(yè)希望申請(qǐng)?jiān)陔p路節(jié)點(diǎn)上申請(qǐng),5,個(gè),CPU,資源的情況，,則可以在腳本中如下：,#PBS l nodes=2:ppn=2+1:ppn=1,PBS,的環(huán)境變量,變 量 名,說(shuō) 明,登陸,SHELL,繼承來(lái)的變量,包括,$HOME,，,$LANG,，,$LOGNAME,，,$PATH,，,$MAIL,，,$SHELL,和,$TZ,。,$PBS_O_HOST,qsub,提交的節(jié)點(diǎn)名稱,$PBS_O_QUEUE,qsub,提交的作業(yè)的最初隊(duì)列名稱,$PBS_O_WORKDIR,qsub,提交的作業(yè)的絕對(duì)路徑,$PBS_JOBID,作業(yè)被,PBS,系統(tǒng)指定的作業(yè)號(hào),$PBS_JOBNAME,用戶指定的作業(yè)名，可以在作業(yè)提交的時(shí)候用,qsub N,指定，或者在,PBS,腳本中加入,#PBS N,。,$PBS_NODEFILE,PBS,系統(tǒng)指定的作業(yè)運(yùn)行的節(jié)點(diǎn)名。該變量在并行機(jī)和機(jī)群中使用。當(dāng)在,PBS,腳本中用,#PBS l nodes=2:ppn=2,指定程序運(yùn)行的節(jié)點(diǎn)數(shù)時(shí)，可以使用,$PBS_NODEFILE,在腳本中引用,PBS,系統(tǒng)指定的作業(yè)運(yùn)行的節(jié)點(diǎn)名。比如：,#PBS l nodes=2:ppn=2,mpirun np 4 machinefile$PBS_NODEFILE,$PBS_QUEUE,PBS,腳本在執(zhí)行時(shí)的隊(duì)列名,PBS,作業(yè)腳本舉例,#,這是一個(gè)串行作業(yè)腳本的例子,#PBS-N Loop.out,#PBS-l nodes=1:ppn=1,cd$HOME/test/,./a.out$HOME/result/a.result,#,這是一個(gè)并行作業(yè)腳本的例子,#PBS-N vasp.Hg,#PBS-l nodes=8:ppn=2,#PBS-q low,echo This jobs is$PBS_JOBID$PBS_QUEUE,cd,$PBS_O_WORKDIR,mpirun-np 16-machinefile,$PBS_NODEFILE,./vasp,一個(gè)復(fù)雜的,PBS,作業(yè)腳本,#!/bin/bash,#PBS-N jobname,#PBS-l nodes=4:ppn=2,cat echo$PBS_NODEFILE$HOME/$PBS_JOBID.nodes,for node in cat$HOME/$PBS_JOBID.nodes,do,rsh$node mkdir/tmp/$PBS_JOBID,rsh$node cp-rf$PBS_O_WORKDIR/*/tmp/$PBS_JOBID/,done,cd/tmp/$PBS_JOBID,mpirun-np 8-machinefile$PBS_NODEFILE$HOME/bin/vasp,cp-rf/tmp/$PBS_JOBID/*$PBS_O_WORKDIR/,for node in cat$HOME/$PBS_JOBID.nodes,do,rsh$node rm-rf/tmp/$PBS_JOBID,done,rm$HOME/$PBS_JOBID.nodes,查詢作業(yè)運(yùn)行,作業(yè)提交后，會(huì)生成一個(gè)作業(yè)號(hào)，如：,dawningnode1$qsub test.pbs,93.node1,查看集群作業(yè)運(yùn)行狀態(tài)：,dawningnode1$qstat,Job id Name User Time Use S Queue,-,93.node1 test.pbs zhaocs 0 R default,95.node1 vasp.Hg vasp 0 E default,111.node1 structure amber 0 Q default,作業(yè)狀態(tài)說(shuō)明：,E,：退出,Q,：排隊(duì),H,：掛起,R,：運(yùn)行,C,：結(jié)束,查詢作業(yè)運(yùn)行,dawningnode1$qstat,Job id Name User Time Use S Queue,-,93.node1 test.pbs zhaocs 0 R default,95.node1 vasp.Hg vasp 0 E default,111.node1 structure amber 0 Q default,查詢某個(gè)作業(yè)運(yùn)行狀態(tài)：,qstat 93.node1(,或者,qstat 93),顯示作業(yè)運(yùn)行在哪些節(jié)點(diǎn)上,:,qstat-n 93.node1,顯示作業(yè)運(yùn)行詳細(xì)信息,:,qstat-f 93.node1,取消作業(yè),dawningnode1$qstat,Job id Name User Time Use S Queue,-,93.node1 test.pbs zhaocs 0 R default,95.node1 vasp.Hg vasp 0 E default,111.node1 structure amber 0 Q default,qdel 93.node1,查看節(jié)點(diǎn)狀態(tài),dawningnode1$pbsnodes-a,node2,state=free,np=12,ntype=cluster,node3,state=job-executive,np=12,ntype=cluster,node4,state=down,np=12,ntype=cluster,pbsnodes,命令的主要參數(shù),-a,列出所有結(jié)點(diǎn)及其屬性，屬性包括“,state”,和“,properties”,-o,將指定結(jié)點(diǎn)的狀態(tài)標(biāo)記為“,offline”,。這將幫助管理員暫時(shí)停止某些結(jié)點(diǎn)的服務(wù),-l,以行的方式列出被標(biāo)記的結(jié)點(diǎn)的狀態(tài)，如,-l free,，,-l offline,-c,清除結(jié)點(diǎn)列表中的“,offline”,或“,down”,狀態(tài)設(shè)置，使結(jié)點(diǎn)可以被分配給作業(yè),-r,清除指定結(jié)點(diǎn)的“,offline”,狀態(tài),查看節(jié)點(diǎn)狀態(tài),WRF-PBS,范例,#PBS N wrf,#PBS -l nodes=4:ppn=8,#PBS -j,oe,cd$PBS_O_WORKDIR;,NP=wc l$PBS_NODEFILE;,mpirun np$NP hostfile$PBS_NODEFILE,/public/software/WRF/WRFV3/run/wrf.exe,MM5-PBS,范例,#PBS N mm5,#PBS -l nodes=4:ppn=8,#PBS -j,oe,cd$PBS_O_WORKDIR;,NP=wc l$PBS_NODEFILE;,mpirun np$NP hostfile$PBS_NODEFILE,/,public/software/MM5/Run/mm5.mpp,Grapes-PBS,范例,#PBS N,grapes,#PBS -l nodes=4:ppn=8,#PBS -j,oe,cd$PBS_O_WORKDIR;,NP=wc l$PBS_NODEFILE;,mpirun np$NP hostfile$PBS_NODEFILE,/,public/software/grapes/run/grapes.exe,相關(guān)論壇,氣象家園,http:/,