植物细胞与染色体工程国家重点实验室

数据分析服务器用户指南2013-04-02Version-11/16目录第一章服务器基本信息.
2第二章服务器的使用.
3第三章Linux常用命令.
6第四章软件编译和安装.
10第五章文件传输12注意事项.
13附录.
142/16第一章服务器基本信息植物细胞与染色体工程国家重点实验室数据分析服务器基于生物信息分析中广泛使用的Linux操作系统,将常用的数据分析公共软件和数据库集成到系统中,搭建了一套适于进行生物信息和数量遗传学研究的平台,可以适应用户多种个性化分析的需求,该平台由专人进行维护、咨询和培训服务,协助本实验室人员深度挖掘海量数据.
Figure1.
服务器照片(存放于遗传发育所2号楼S2-117房间)服务器配置信息:品牌:IBM操作系统:RedHatEnterpriseLinux6.
1处理器:8颗IntelXeon10CE7-8850内存:1024GBDDR3RDIMM存储:48TB3/16第二章服务器的使用植物细胞与染色体工程国家重点实验室职工和学生均可向服务器管理员申请用户名和初始密码,获得上述信息后即可访问和使用服务器上的计算资源.
为了展开服务器上的科学计算工作,需要按以下步骤进行.
1.
账号申请:填好下表发送至:zhkzhou@genetics.
ac.
cn,即可获得账号和初始密码.
申请人课题组磁盘空间邮箱2.
本地准备工作为了登录服务器,在本地的PC机上需要安装链接服务器SHELL的客户端(client)程序.
对于windows用户,建议使用的软件SSHSecureShellClient,最新版本的软件和说明书可从以下网站下载:http://www.
onlinedown.
net/softdown/20089_2.
htmFigure2.
SSHSecureShellClient登录设置4/16本服务器的安全策略是仅允许遗传发育所内IP地址登陆,该策略可以有效防止网络攻击,最大限度保证数据安全.
Figure3.
SSHSecureShellClient登录后界面纯字符的SHELL命令行通常已经能够满足大多数用户.
登陆之后,首先要用passwd命令更改自己的密码,从而保证账号和资源安全.
当密码遗忘或遇到问题需要管理员解决时,可请管理员修改自己的密码.
修改密码的方法如下:[zkzhou@PCCE~]$passwdChangingpasswordforuserzkzhou.
(current)UNIXpassword:Linux系统中的密码在键入时不会显示.
修改完密码后,可以管理一下自己的家目录,Linux系统中,例如当登录用户为zkzhou时,家目录路径是/home/zkzhou.
在家目录中,一般会有一个.
bashrc文件存放bash的环境变量.
bash是LinuxSHELL的一种,其语法比较接近C语言,Linux的SHELL还有sh、csh、tcsh等多种.
目前服务器上的用户默认SHELL是bash.
关于.
bashrc文件的详细介绍请参考下一部分内容.
至此,可以在家目录中建立目录,存放要运行的软件和数据.
在平时的使用中,维护自己的家目录是非常重要的,对于软件的编译和运行,一个有条有理的5/16目录能够帮助你顺利完成自己的计算任务.
所以我们必须熟悉Linux系统和操作命令.
3.
Linux操作系统Linux是开源的操作系统,由内核和外部模块构成核心功能,Linux上的软件运行以后台进程的方式进行.
软件源代码由编译器编译成可执行文件(bin)存放在文件系统中,供用户调用执行.
对于维持系统基本功能的服务(service),比如httpd,通常以守护进程(daemon)的方式开机后自动在后台执行,等待用户的调用.
用户同系统的交互由SHELL来完成,类似WindowsDOS系统的命令行.
用户登录服务器后,通过在SHELL中输入命令来进行操作.
因此,用户要使用Linux系统,必须掌握基本的Linux命令.
Linux的用户分为两种:超级用户(root)和普通用户.
root用户拥有所有的权限,普通用户的权限在账号被创建的时候可以进行相应的设置.
Linux系统中的所有文件都被赋予一定的属性,这些属性包括拥有这个文件的用户(user)、组(group)、读写运行的访问权限、最近修改的时间等.
其中访问权限的功能非常强大.
众所周知Linux系统的安全性很高,可以说Linux系统的安全就依赖于这样一套严备的访问权限体系.
访问权限在Linux系统中由一个10位的字符串表示,第一位表示文件的类别:-表示普通文件(file);d表示文件目录(directory);l表示链接(symboliclink).
后面的9位分为3组rwx,第一组为文件所有者的访问权限,第二组为文件所有者所在群组的访问权限,第三组为其他用户的访问权限.
每组的3个字母:r代表可读权限(readable);w代表可写权限(writable);x代表可执行权限(executable).
6/16第三章Linux常用命令Linux操作系统自带的系统命令有很多,然而常用的只有不超过30个.
这些命令大致分为文件操作和进程管理两大类,具体用法参考相关书籍或网页.

1.
常用命令:1)man[command]查看command命令的说明文档(manualpage)2)ll或ls-[options][directory]列出目录里的文件,常用的ls的选项有-l-a-t等3)cd[directory]进入文件夹(不加目录名则默认进入你的家目录)4)pwd显示当前所在目录5)rm[files]删除文件(删除目录需要加-r选项,强制删除用-f)6)cp[source][target]复制文件7)mv[source][target]移动文件(也可以理解为改名)8)touch[filename]新建名为filename的文本文档9)mkdir[-p][directory]新建文件夹(-p为建立整个路径)10)ln[-s][path][link]建立链接(-s为建立软链接)11)cat[textfile]显示文本文档的内容12)grep'content'[file]在file中查找有content的行13)sed,awk,cut.
.
.
字符串处理程序14)chown[user.
group][file]修改file的所有人和群组15)chmod755[-R][file]改变file的访问权限,755三个数字为三组访问权限的加权值.
r=4,w=2,x=1.
755代表的意思是-rwxr-xr-x.
又比如644的意思是-r-xr-r-等.
7/1616)tarzxvf[*.
tar.
gz]解压缩文件包,z/j=gunzip/bz2格式,c/x=压缩/解压缩17)find-name[filename]在当前文件夹搜索名为filename的文件,有比较多的高级选项18)locate[file]快速查找定位文件,只能搜文件名19)file[file]查看file的文件类型20)vi功能强大的文本编辑工具:i进入编辑模式Esc退出编辑模式r修改单个字符:w保存:q[!
](放弃修改)退出:h帮助/string搜索string:2co4将第2行拷贝到第4行21)[command]>outfile将command命令的执行结果写入到outfile文本文件中22)&在后台执行程序23)[command1]|[command2]把command1执行的结果作为输入送到command2中执行2.
环境变量Linux系统的环境变量的作用在于他们定义了应用程序需要多次调用的值,比如:系统文件的路径、软件安装的路径等.
定义系统变量可以方便程序获得所需的值,而不必每次都重新定义.
PATH是最重要的一个环境变量,它的作用是存放可执行命令路径,当你在shell提示符后键入一个命令后,Linux会到PATH指定的路径去查找相对应的可执行文件,找到后执行它.
所以如果你要调用的命令路径不在PATH中,就得每次都在命令前加上绝对路径才能正常调用.
在bash中,查看系统变量的值,可以用echo$NAME.
定义系统变量的方法是:exportNAME=value,这个变量在bash被关闭之前有效.
为了让环境8/16变量永久被记住,则需要将它写入.
bashrc文件.
系统在打开一个bash的同时,会自动加载.
bashrc中定义的变量.
改动.
bashrc内容后,需执行source.
bashrc或重新登录bash才能生效.
例如将编译好的或下载的二进制软件放到/home/zkzhou/bin目录下,则需要修改.
bashrc文件以便于让软件运行:#vi.
bashrc在里面加入:exportPATH="$PATH:/home/zkzhou/bin"3.
脚本概括地说,脚本是shell中的一个命令集合,可以将多个命令作为一个单一文件执行,类似于DOS里面的批处理文件.
使用脚本,可以使繁琐的工作变得简单,也方便管理自己的程序.
在日常的工作中我们经常会遇到这样的情况,完成一项工作需要执行一连串的命令,并且在整个过程中需要根据结果的不同做相应的判断,脚本的出现使得我们不必自己一次次重复复杂的操作,而是将规则记录下来让计算机去为我们操作.
掌握脚本的使用,最重要的是理解变量、赋值和条件判断.
由于脚本是基于命令行输入输出的编程语言,所有的操作基本以字符串为基础,所以变量的类型只能是字符串.
以bash为例,#!
/bin/shforiin{1.
.
10}##i为变量,从1到10循环dobwaindex'myfile'$i'.
fasta'##分别对myfile1.
fasta~~myfile10.
fasta建索引done##将以上代码保存为bwaindex.
sh9/16执行脚本前,需要将文件chmod为可执行文件:chmod+xbwaindex.
sh对于字符串处理,Linux系统提供的awk和sed命令具有更加完备和强悍的功能.
有兴趣的读者可以自行查阅它们的说明文档.
这两个强大的工具使得复杂的字符串操作成为可能,所以在脚本中经常被用到.
4.
screen命令的用法很多用户会遇到这样的情况,一个任务需要运行很长时间,例如Genomemapping,这个时候,我们被迫一直开启一个SSH客户端的链接,以便观察任务执行的状态、进行下一步操作等等.
如果这个时候你的PC机需要关机或者重启,那么对于我们来说可能是个很痛苦的选择,因为一旦SSH连接断开后,任务即中断!
因此向大家推荐screen命令,这个命令是一个虚拟shell环境工具.
你可以在你登录到服务器之后,用这个工具创建一个虚拟的shell环境,在这个环境中工作,可以完全不用考虑断开连接对你的影响.
以下是screen的基本使用方法.
语法:screen[-AmRvx-ls-wipe][-d][-h][-r][-s][-S]Step1.
>screen–Smyjob##指定screen作业的名称;Step2.
>inputyoujobthenctrl+ad##离开screen;Step3.
>screen–ls##显示目前所有的screen作业;Setp4.
>screen–rmyjob##恢复离线的screen作业10/16第四章软件编译和安装Linux系统下的软件安装与Windows系统中不同,Windows系统中我们习惯于运行setup.
exe文件,其实它所做的工作是将自身压缩的可执行文件解压并拷贝到系统中,并在注册表中留下相关的记录,使得软件能够正常运行.
在Linux系统中没有注册表,另外由于开源软件的流通,软件经常以代码包的形式被下载使用.
这样做的一个好处是软件包所占空间非常小,但在安装前需要编译.

1.
编译器软件的代码通常由C语言、Fortran语言等写成,Linux也提供了相应的编译器,例如GNU的gcc,gfortran,Intel的f90等.
本服务器上使用的是GNU的编译器(gcc等).
在Linux系统中编译源文件非常简单,只需要执行命令[compiler]-flag[sourcefile]-o[executive].
compiler为编译器名,flag为编译过程中的参数设置,sourcefile为源代码文件,executive为编译成的可执行文件,默认的文件是a.
out.
例如:gcctest.
f-otest.
exe该命令用gcc编译器编译test.
f文件,将生成的可执行文件命名为test.
exe.
编译器的选项设置是否正确,影响到编译是否能顺利完成.
这些选项包括系统类型的选择、内存的使用、需要用到的链接库等.
2.
库熟悉编程的读者应该对库的概念有所了解,Linux系统中编译源代码指定链接库文件的方法是(以gcc编译器为例):11/16gcc-L/usr/lib–libdemo.
sotest.
f这样指定了在编译test.
f的过程中链接demo库文件libdemo.
so,该文件位于/usr/lib中.
3.
Makefile由于软件包往往是由大量的源码文件组成,它们之间又有着复杂的依赖关系,如果依次单个进行编译的话,会非常的耗时耗力,所以Linux提供了make机制来处理复杂的软件编译过程.
在软件包的各目录中,都有一个Makefile文件,记载了该文件夹中的源码按什么样的规则来编译.
在软件的根目录中,同样有一个Makefile记录软件的作者提供的可能的编译方式.
Makefile中记录了编译器名、编译器使用的选项以及源代码被编译的先后顺序等.
因此,我们在软件的编译过程中只需要修改Makefile中的相应项就可以了.
4.
编译软件的步骤软件编译的第一步,始终是阅读readme文件,因为软件的作者会在里面详细地介绍软件编译安装的过程以及可能遇到的问题.
为了方便用户的编译,许多软件的作者提供了configuration这一步,有点类似于windows软件"下一步"的风格.
运行configure脚本进行用户交互,根据得到的选择生成合适的Makefile,使得用户不用亲自研究Makefile的语法.
configure脚本在执行完后,会生成一个配置文件,Makefile会调用这个文件,使得设置生效.
正确修改Makefile之后,在软件的根目录下执行make命令,开始编译.
如果在编译中遇到了错误,会在输出文本中体现出来.
常见的错误有:使用了错误的编译模式、链接的库文件没有找到、系统兼容性等.
12/16第五章文件传输本服务器开通了sftp服务,可以供用户进行sftp协议的文件传输.
使用账号登录sftp,可以访问自己家目录下的文件,并可以执行读写操作.
sftpclient软件有许多种,对于windows用户,可以使用专门的sftp软件,比如FileZilla等.
该软件可以在http://filezilla-project.
org网站上自由下载.
sftp登录的方法是:主机:210.
73.
40.
209;用户名:zkzhou;密码:xxxxx;端口:22.
Figure4.
FileZilla登陆界面SSHSecureShellClient软件也具备文件传输功能,在SSH登陆状态下,只需点击Newfiletransferwindow按纽即可出现该功能界面.
13/16注意事项Linux系统具有高度可靠性,但并不能保证你的数据万无一失,因此所有的数据资料要在本地和服务器之间互为备份,以便万一数据丢失时可以恢复.