作业曙光5000a

武汉大学曙光集群培训目录目录目录目录目录目录目录目录Shell编程基础Linux操作系统培训并行集群调试作业调度系统的使用科学计算程序的编译、运行Shell编程基础Linux操作系统培训并行集群环境搭建作业调度系统的使用PBS/Torque系统简介PBS/Torque的安装配置作业脚本与常用命令高级功能(Torque+Maui)科学计算程序的编译、运行PBS/Torque系统简介PBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS(PortableBatchSystem)PBS最初由NASA的Ames研究中心开发,为了提供一个能满足异构计算网络需要为了提供一个能满足异构计算网络需要的软件包,特别是满足高性能计算的需要.
它力求提供对批处理的初始化和调度执行的控制,允许作业在不同主机间的路由.
PBSPBSPBSPBSPBSPBSPBSPBS的组成的组成的组成的组成的组成的组成的组成的组成主要有用户服务器pbs_server,作业调度器pbs_sched,节点执行器pbs_mom三部分组成,三者之间协同工作,共同三部分组成,三者之间协同工作,共同实现作业管理、作业调度和负载平衡等工作,原理如下图:PBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/Torque的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置PBSPBSPBSPBSPBSPBSPBSPBS运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件服务器与计算节点的rsh必须能正常使用对某个用户的配置–${HOME}/.
rhosts,加入所有主机名–${HOME}/.
rhosts,加入所有主机名对所有用户的配置–计算节点/etc/hosts.
equiv是服务器名–服务器/etc/hosts.
equiv是所有计算节点名安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端用源码来安装#.
/configure--set-server-home=/var/spool/pbs--set-default-home=/var/spool/pbs--set-default-server=server_name#make#makeinstall服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置向/var/spool/pbs/server_name中添加服务器节点的主机名将集群中所有计算节点的主机名加入/var/spool/pbs/server_priv/nodes将集群中所有计算节点的主机名加入/var/spool/pbs/server_priv/nodes中,每个节点一行,如node01np=2将/var/spool/pbs/mom_priv/config中的,$clienthost改为$clienthostserver_name安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端客户端server_name与config的路径和配置与服务器端的完全一样加为开机自动启动加为开机自动启动chkconfig–addpbs_mom服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务器端启动修改/etc/pbs.
conf把start_sched=0改为1为1/etc/init.
d/pbs_serverstart客户端启动/etc/init.
d/pbs_momstart创建队列创建队列创建队列创建队列创建队列创建队列创建队列创建队列自动创建队列#cd/var/spool/pbs#qmgrPBSPBSPBSPBSPBSPBSPBSPBS的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令提交作业提交作业提交作业提交作业提交作业提交作业提交作业提交作业$qsubtest.
pbs-lnodes=16-l用于描述作业需要的资源,例如:nodes=4(4节点每节点1个CPU)nodes=4(4节点每节点1个CPU)nodes=2:ppn=2(2节点每节点2个CPU)nodes=1:ppn=2+2:ppn=1(1个双CPU节点和2个单CPU的节点)当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态得到PBS的当前状态:qstat当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态pbsnodes-{a|l}][-sserver]-a列出所有结点及其属性,属性包括"state"和"properties"-c清除结点列表中的"offline"或"down"状态-c清除结点列表中的"offline"或"down"状态设置,使结点可以被分配给作业.
-l以行的方式列出被标记的结点的状态-o将指定结点的状态标记为"offline".
这将帮助管理员暂时停止某些结点的服务.
-r清除指定结点的"offline"状态-s指定服务器当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态节点状态节点状态节点状态节点状态节点名节点名节点名节点名CPU数数数数其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令qselect–q[队列名]qdel-Deletesataskinthequeue.
qdeljob_identifier.
.
.
qhold-Suspendsajobinthequeue.
qhold-Suspendsajobinthequeue.
qholdjob_identifier.
.
.
qrls-Reactivatesasuspendedjobinthequeue.
qrlsjob_identifier.
.
.
qrerun重新运作作业qmove目标队列作业IDPBSPBSPBSPBSPBSPBSPBSPBS服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理PBSPBSPBSPBSPBSPBSPBSPBS服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制ssacl_host_enable=true指明是否使用acl_hosts属性,缺省为falsefalsessacl_hosts+=hostname.
domain缺省值允许所有的主机ssacl_user_enable=truessacl_users+=user@hostname.
domain设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制sqqnameacl_host_enable=truesqqnameacl_hosts+=hostname.
domainsqqnameacl_user_enable=truesqqnameacl_user_enable=truesqqnameacl_users+=user@hostname.
domainsqqnameacl_group_enable=truesqqnameacl_groups=group_name,[…]缺省为允许所有组设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制服务器级ssresources_default.
resource_name=value队列级队列级sqqnameresources_default.
resource_name=value资源资源资源资源资源资源资源资源作业执行中需要的东西.
例如:某个特定的节点、某个软件包,或者是CPU时间,内存等.
或者是CPU时间,内存等.
qsub–lcput=00:10:00script资源描述资源描述资源描述资源描述资源描述资源描述资源描述资源描述cput作业总共需要的CPU时间.
file作业要创建的文件大小.
nice作业优先级(nice值).
pcput作业中单个进程需要的CPU时间.
pmem作业中单个进程需要的物理内存大小.
pmem作业中单个进程需要的物理内存大小.
pvmem作业中单个进程需要的虚拟内存大小.
vmem作业总共需要的虚拟内存大小.
walltime作业运行的实际时间.
arch作业需要的系统体系结构.
host作业运行的节点名.
nodes作业运行需保留的节点数.
other其他资源.
software作业需要的软件的名称.
正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制服务器级–ssmax_running=value(最多正在运行作业的数目)–ssmax_user_run=value(最多单个用户作业数目)–ssmax_group_run=value(最多单个组任何用户运行的作业数目)队列级–sqqnamemax_running=value–sqqnamemax_user_run=value–sqqnamemax_group_run=valuePBSPBSPBSPBSPBSPBSPBSPBS高级功能高级功能高级功能高级功能高级功能高级功能高级功能高级功能MauiMauiMauiMauiMauiMauiMauiMaui作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具安装–tar-zxfmaui-3.
2.
6p19.
tar.
gz–.
/configure--with-pbs=/usr/local–make–make–makeinstall配置–servicepbs_schedstop–servicemaui.
drestartMauiMauiMauiMauiMauiMauiMauiMaui配置配置配置配置配置配置配置配置vi/usr/local/maui/maui.
cfg–RMPOLLINTERVAL00:00:10//资源信息更新时间–DOWNNODEDELAYTIME48:00:00//设置节点离线最长时间–JOBNODEMATCHPOLICYEXACTNODE//按照节点计算资源–NODEACCESSPOLICYSHARED//节点可以被多个任务使用–BACKFILLPOLICYNONE//使作业按照发送先后顺序获–BACKFILLPOLICYNONE//使作业按照发送先后顺序获//取节点资源–RESERVATIONPOLICYCURRENTHIGHEST//作业调度优先级–NODEALLOCATIONPOLICYCPULOAD//根据CPU负载决定资源获//取顺序关于MAUI各个配置参数的意义,请查看http://www.
clusterresources.
com/products/maui/docs/a.
fparameters.
shtmlMauiMauiMauiMauiMauiMauiMauiMaui高级配置高级配置高级配置高级配置高级配置高级配置高级配置高级配置对用户组进行修饰–USERCFG[DEFAULT]MAXJOB=16MAXNODE=16–GROUPCFG[zxyang]MAXPROC=32–GROUPCFG[shma]MAXPROC=8–GROUPCFG[txwang]MAXPROC=8–GROUPCFG[xqdai]MAXPROC=32对节点进行修饰–NODECFG[DEFAULT]MAXLOAD=2.
5–NODECFG[node031]MAXJOB=2PROCSPEED=600PARTITION=small对节点与用户进行修饰–SRCFG[tmp1]HOSTLIST=node2,node3,node4,node5,node6,node7,node8,node14,node15–SRCFG[tmp1]USERLIST=accelrys,master,doctor,wlliu,nanosun,tanxin,myl–SRCFG[tmp1]PERIOD=INFINITYPAMPAMPAMPAMPAMPAMPAMPAM认证设置认证设置认证设置认证设置认证设置认证设置认证设置认证设置限制用户绕过作业调度提交作业vi/etc/security/access.
conf–-:ALLEXCEPTrootshi:ALLvi/etc/pam.
d/system-authvi/etc/pam.
d/system-auth–accountsufficient/lib64/security/$ISA/pam_pbssimpleauth.
so–accountrequired/lib64/security/$ISA/pam_access.
so作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)下载地址:–ftp://ftp.
fysik.
dtu.
dk/pub/PBS/使用方式:–#pbsacct/var/spool/torque/server_priv/accounting/200804*–#pbsacct/var/spool/torque/server_priv/accounting/200804*历史作业查询:–Usage:/usr/local/bin/joblist(-jJobid|-nUserName)Date–joblist-j3161320081013查询jobid为31613发生于20081013的作业情况–joblist-nbdb20081013查询用户bdb发生于20081013的作业情况–joblist-nbdb2008101*采用通配符方式查询用户bdb的作业情况Shell编程基础Linux操作系统培训并行集群环境搭建作业调度系统的使用科学计算程序的编译、运行数学函数库的编译与使用科学计算程序的编译、运行数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用IndexIndexIndexIndexIndexIndexIndexIndexACMLACMLACMLACMLACMLACMLACMLACMLBLASBLASBLASBLASBLASBLASBLASBLAS库库库库库库库库LAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACK库库库库库库库库BLASCBLASCBLASCBLASCBLASCBLASCBLASCBLASCScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKGOTOGOTOGOTOGOTOGOTOGOTOGOTOGOTO库库库库库库库库ATLASATLASATLASATLASATLASATLASATLASATLAS库库库库库库库库FFTWFFTWFFTWFFTWFFTWFFTWFFTWFFTW库库库库库库库库ACMLACMLACMLACMLACMLACMLACMLACML库库库库库库库库两种安装方式–源码安装tar-xzvfacml-64bit-2-1-0.
tgz执行.
/install64.
sh–然后按提示输入–然后按提示输入安装完毕,acml安装在/opt/acml2.
1.
0目录下–PGI自带ACML库通过安装PGI编译器安装ACML库BLASBLASBLASBLASBLASBLASBLASBLAS系统自带–/usr/lib64/libblas.
a–/usr/lib64/libblas.
so源码安装源码安装–tar–xzvfblas.
tar.
gz–重新编辑Makefile文件–执行make,生成库文件libblas.
aLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACK库库库库库库库库源码安装–安装LAPACK库之前,首先系统已经安装了BLAS库.
tar–xzvflapack.
gz从LAPACK/INSTALL目录下相应平台的Make文件到LAPACK目录下,对于Linux平台来说,cp目录下,对于Linux平台来说,cpLAPACK/INSTALL/make.
inc.
LINUXLAPACK/make.
inc.
修改LAPACK/make.
inc文件,主要修改BLAS库的路径,将BLASLIB=.
.
/.
.
/blas$(PLAT).
a修改为系统中的BLAS库.
进入LAPACK目录,执行make,生成LAPACK库文件lapack_LINUX.
aMPIMPIMPIMPIMPIMPIMPIMPIBLACBLACBLACBLACBLACBLACBLACBLACSSSSSSSS源码安装–在安装MPIBLACS之前,首先要确定已经在系统中成功安装了MPI或者PVM.
执行tar–xzvfmpiblacs.
tgz,解开压缩包执行cdBLACS进入BLACS的主目录执行cdBLACS进入BLACS的主目录从BMAKES目录下拷贝相应的Make配置文件到BLACS的主目录下,例如,系统是采用Linux操作系统并且希望采用MPI安装BLASC,则执行cpBMAKES/Bmake.
MPI-LINUXBmake.
inc编辑Bmake.
inc文件若是采用Intel编译器或pgi编译器,需要修改Bmake.
inc文件中Fortran转C语言部分参数在BLACS主目录下执行makempiScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACK源码安装–在安装ScaLAPACK之前,首先要确定已经在系统中成功安装了MPI、BLAS和MPIBLACS,确定在上述几个软件安装好以后,再开始安装ScaLAPACK.
执行tar–xzvflapack.
tgz,解开压缩包执行cdSCALAPACK进入SCALAPACK的主目录执行cdSCALAPACK进入SCALAPACK的主目录从INSTALL目录下拷贝相应的Make配置文件到SCALAPACK的主目录下,例如,系统是采用Linux操作系统的,则执行cpINSTALL/SLmake.
LINUXSLmake.
inc编辑SLmake.
inc文件若是采用Intel编译器或pgi编译器,需要修改SLmake.
inc文件中Fortran转C语言部分参数在SCALAPACK主目录下执行make在SCALAPACK/TESTING/EIG目录下执行make在SCALAPACK/TESTING/LIN目录下执行makeATLASATLASATLASATLASATLASATLASATLASATLAS库库库库库库库库推荐二进制安装–从网站上下载相对应平台的ATLAS库,然后解压缩即可.
–性能较好–性能较好GOTOGOTOGOTOGOTOGOTOGOTOGOTOGOTO库库库库库库库库曙光5000ALinpack测试采用的BLAS库–二进制版本:从www.
cs.
utexas.
edu/users/flame/goto/网站上下载相对应平台的GOTO库,然后解压缩即可.
GOTO–源码版本:执行tarzxfGotoBLAS-1.
26.
tar.
gz执行cdGotoBLAS修改Makefile.
rulemake–j8makeinstallFFTWFFTWFFTWFFTWFFTWFFTWFFTWFFTW库库库库库库库库源码安装–从网站上下载fftw库的源代码包fftw-3.
0.
1.
tar.
gz–执行tar–xzvffftw-3.
0.
1.
tar.
gz进行解包–执行cdfftw-3.
0.
1进入fftw的目录–执行.
/configure–prefix=,其中为你要安装fftw库的目录–执行make–执行makeinstall–安装完毕科学计算程序的编译科学计算程序的编译科学计算程序的编译科学计算程序的编译、、、、运行运行运行运行科学计算程序的编译科学计算程序的编译科学计算程序的编译科学计算程序的编译、、、、运行运行运行运行DOCK–生物、化学WRF–气象、环境–气象、环境VASP–从头计算量子化学LS-DYNA–显式动力分析软件DOCKDOCKDOCKDOCKDOCKDOCKDOCKDOCK编译–1下载源包dock.
6.
2_source.
tar.
gz–2解压tarxvzfdock.
6.
2_source.
tar.
gz–3编译–3A进入路径cddock6/installB.
/configuregnuparallelCexportMPICH_HOME=your-MPICHDmake运行–生成grid文件–pbs提交作业DOCKDOCKDOCKDOCKDOCKDOCKDOCKDOCKpbs脚本–#PBS-Ndock–#PBS-lnodes=8:ppn=4–#PBS-lnodes=8:ppn=4–cd/data1/user/test/dock/dock6/tutorials/mpi_demo/4_dock/–time/data1/openmpi.
static.
pgi/bin/mpirun-np32--mcabtltcp,self,smbin/dock6.
mpi-impi.
in-ompi.
outWRFWRFWRFWRFWRFWRFWRFWRF编译安装–首先环境变量设置,运行.
/en.
sh–解压缩netcdf–输入.
/configure--prefix=/opt/netcdf–exportNETCDF=/opt/netcdf–exportNETCDF=/opt/netcdf–make;makeinstall–解压缩WRF–进入wrf文件夹–.
/configure,里面会有选择,选择3就可以了–.
/comepileem_real运行–pbs作业提交WRFWRFWRFWRFWRFWRFWRFWRFpbs脚本–#PBS-Nwrf–#PBS-lnodes=1:ppn=4–cd/data1/user/test/WRFV2/test/em_real–time/data1/openmpi.
static.
pgi/bin/mpirun--mcabtltcp,self,sm-np4.
/wrf.
exeVASPVASPVASPVASPVASPVASPVASPVASP编译安装–解压源码包–编译lib修改Makefile修改Makefile–编译vasp修改Makefile运行–pbs作业提交VASPVASPVASPVASPVASPVASPVASPVASPpbs脚本–#PBS-Nvasp–#PBS-lnodes=2:ppn=4–cd/data1/user/test/vasp.
Hg–cd/data1/user/test/vasp.
Hg–time/data1/openmpi.
static.
pgi/bin/mpirun--mcabtltcp,self,sm-np8.
/vaspLSLSLSLSLSLSLSLS--------DYNADYNADYNADYNADYNADYNADYNADYNA安装–不需要编译运行–pbs作业调度提交–pbs作业调度提交pbs脚本–#PBS-Nlsdyna–#PBS-lnodes=node3:ppn=4+node4:ppn=4+node5:ppn=4+node6:ppn=4–cd$PBS_O_WORKDIR–NODEFILE=`sort$PBS_NODEFILE|uniq-c|awk'{printf("%s:%s:",$2,$1);}'`–timeansys110-lsdynampp-np16i=j.
k-machines$NODEFILEmemory=200M欢迎提问!