0. 一些基本概念

计算机集群：高性能集群(High Performance Computing，简称HPC)是一组松散或紧密连接在一起工作的计算机。由于这些计算机协同工作，在许多方面它们可以被视为单个系统。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。与网格计算机不同，计算机集群将每个节点设置为执行相同的任务，由软件控制和调度。

关于集群与分布式的区别有一段话总结得很好：集群是个物理形态，分布式是个工作方式。只要是一堆机器，就可以叫集群，他们是不是一起协作着干活，这个谁也不知道；一个程序或系统，只要运行在不同的机器上，就可以叫分布式，C/S架构也可以叫分布式。集群一般是物理集中、统一管理的，而分布式系统则不强调这一点。所以，集群可能运行着一个或多个分布式系统，也可能根本没有运行分布式系统；分布式系统可能运行在一个集群上，也可能运行在不属于一个集群的多台（2台也算多台）机器上。

节点是集群中的控制器。它通过专有的管理集群网络连接到集群中的其他节点。每个集群均包含节点，也就是管理数据和执行维护任务的计算单元。

1. 常见的几种资源管理和调度系统

SGE（Sun Grid Engine）：Sun网格引擎是一种来自于SUN Microsystem的分布式资源管理和调度系统，它用来在基于UNIX的计算环境中优化软件和硬件资源的使用。SGE能用于查找资源池内的闲置资源并利用这些资源；它同样用于通常的一些事务中，例如管理和调度作业到可用资源中。
PBS（Portable Batch System）：便携式批处理系统接受批处理作业（具有控制属性的shell脚本），保留和保护作业直到它开始运行。因为一个批处理作业是一个无需用户干预的，在计算机系统后台运行的程序，在批处理作业运行过程中，用户无法实时地得到作业运行结果，所以PBS只能在作业执行后，将作业结果返回给提交者。目前，PBS包含开源免费的OpenPBS、商业付费的PBS Pro、Torque三种分支。
Condor来自Wisconsin-Madison大学的研究项目。充分利用工作站的空闲时间是Condor的最显著特征。Condor管理的机群由网络中的工作站组成，工作站可以自愿加入或退出。Condor监测网络中所有工作站的状态，一旦某台计算机被认为空闲，便把它纳入到资源池中。在资源池中的工作站被用来执行作业。
LSF（Load Sharing Facility）：负载共享设施是由加拿大平台计算公司研制与开发的，由Toronto大学开发的Utopia系统发展而来。在使用范围上，LSF不仅用于科学计算，也用于企业的事务处理。功能上，除了一般的作业管理特性外，它还在负载平衡、系统容错、检查点操作、进程迁移等方面作了很好的努力，并力图使之实用化。

2. SGE常见指令

2.1 提交任务

qsub参数：

$ qsub -help

SGE 8.1.9

usage: qsub [options]

   [-a date_time]                           request a start time

   [-ac context_list]                       add context variable(s)

   [-Ap fname]                              add a new parallel environment from file

   [-astnode node_shares_list]              add sharetree node(s)

   [-at thread_name]                        add/start qmaster thread

   [-A account_string]                      account string in accounting record

   [-b y[es]|n[o]]                          handle command as binary

   [-binding [env|pe|set] exp|lin|str]      binds job to processor cores

   [-c ckpt_selector]                       define type of checkpointing for job

   [-cwd]                                   use current working directory

   [-C directive_prefix]                    define command prefix for job script

   [-dc simple_context_list]                delete context variable(s)

   [-dul listname_list]                     delete userset list(s) completely

   [-e path_list]                           specify standard error stream path(s)

   [-h]                                     place user hold on job

   [-hard]                                  consider following requests "hard"

   [-he  y[es]|n[o]]                        enable/disable hard error handling

   [-help]                                  print this help

   [-hold_jid job_identifier_list]          define jobnet interdependencies

   [-hold_jid_ad job_identifier_list]       define jobnet array interdependencies

   [-i file_list]                           specify standard input stream file(s)

   [-j y[es]|n[o]]                          merge stdout and stderr stream of job

   [-js job_share]                          share tree or functional job share

   [-jsv jsv_url]                           job submission verification script to be used

   [-l resource_list]                       request the given resources

   [-M mail_list]                           notify these e-mail addresses

   [-m mail_options]                        define mail notification events

   [-masterq wc_queue_list]                 bind master task to queue(s)

   [-mattr obj_nm attr_nm val obj_id_list]  modify an attribute (or element in a sublist) of an object

   [-N name]                                specify job name

   [-notify]                                notify job before killing/suspending it

   [-now y[es]|n[o]]                        start job immediately or not at all

   [-o path_list]                           specify standard output stream path(s)

   [-ot tickets]                            set jobs override tickets

   [-P project_name]                        set jobs project

   [-p priority]                            define jobs relative priority

   [-pe wc_pe_name slot_range]              request slot range for parallel jobs

   [-q wc_queue_list]                       bind job to queue(s)

   [-r y[es]|n[o]]                          define job as (not) restartable

   [-sc context_list]                       set job context (replaces old context)

   [-shell y[es]|n[o]]                      start command with or without wrapping <loginshell> -c

   [-soft]                                  consider following requests as soft

   [-srqs [rqs_list]]                       show resource quota set(s)

   [-sync y[es]|n[o]]                       wait for job to end and return exit code

   [-S path_list]                           command interpreter to be used

   [-t task_id_range]                       create a job-array with these tasks

   [-v variable_list]                       export these environment variables

   [-verify]                                do not submit, just verify

   [-V]                                     export all environment variables

   [-wd working_directory]                  use working_directory

   [-@ file]                                read commandline input from file

   [{command|-} [command_args]]

最常用参数：

- cwd #使用当前工作目录

- binding #将作业绑定到处理器核心

- p #定义工作的相对优先级，-1023 到 1024 , 默认值0

- P #定义项目名称，前提是存在该项目

- q #将作业绑定到队列

- l #请求给定的计算资，如-l arch=solaris64,h_vmem=750M,permas=1

示例qsub -cwd -l vf=2g,p=1 -q queuename.q -P projectname -binding linear:2 test.sh：

qsub

  -cwd

  -l vf=2g,p=1  #vf内存简写，p线程数简写；

#资源可分开写，可写全称，单位可大小写，如-l virtual_free=2G -l num_proc=1。

#关于资源限制域可通过 qconf -sc命令查看

  -q queueName.q

  -P ProjectName

  -binding linear:2  #处理器核心数 linear

test.sh

2.2 查看任务

qstat命令

qstat -j jobid #某个任务详细信息

qstat -u username #某用户的任务

qstat -u \* #所有用户任务

qstat -q all.q -u \*  #查看某个队列下所有任务

qstat -q all.q@node1 -u \*  #查看某个队列的某一节点下所有任务

qstat -f  #查看用户自己在每个节点的任务情况，没啥用

任务的状态：

qw #等待状态

hqw #任务挂起等待中，待依赖的任务完成后执行

Eqw #投递任务出错

r #任务正在运行

s #暂时挂起

dr #节点挂了之后，删除任务就会出现这个状态，只有节点重启之后，任务才会消失

2.3 删除任务

qdel命令

qdel jobid #可同时删除多个，如qdel jobid1 jodid2

qdel -u username #删除某用户所有任务

2.4 挂起/恢复任务

qhold命令：挂起qw的任务

qhold jobid

qhold -u \*

qrls jobid #恢复

qmod命令：挂起running中的任务

qmod -sj jobid

qmod -usj jobid #恢复

如果未提交到SGE系统，直接运行的命令用kill -STOP pid 挂起，用kill -CONT pid恢复。

2.5 更改任务属性

qalter命令修改已提交但正处于暂挂状态的作业的属性

参数和qsub一样。

Ref：https://www.bbsmax.com/A/MAzADlxyd9/

巴特西

集群SGE作业调度系统