A política de uso é administrada através de filas.
Não é necessário especificar a fila que deseja utilizar. O escalonador de trabalhos vai alocar um espaço na fila mais adequada baseando-se na solicitação de recursos do script de submissão. Contudo, é obrigatório a inclusão do walltime solicitado, respeitando o limite máximo de 336 horas (14 dias) presente nas filas mais longas, pois o escalonador precisa dessa informação para determinar a fila que será utilizada.
Quando submetido, o trabalho é "roteado" pela fila default RouteQ e distribuído para a fila de execução que melhor atende à solicitação.
Submissões podem ser classificado em 4 categorias diferentes: Sequencial, Paralelo, GPU e XeonPHI. Existem nós otimizados para atender especificamente cada uma das categorias. Acesse a guia Sistema para mais detalhes sobre os nós.
Utilização:
A submissão de trabalhos deve ser feita através scripts interpretados pelo PBS_Pro. Fica proibido rodar trabalhos diretamente na sessão do terminal.
Utilize as instruções abaixo para submissão de trabalhos.
Trabalhos sequenciais:
Um trabalho é considerado sequencial quando aloca apenas uma ncpu.
Exemplo de script para trabalho sequencial:
#PBS -N nome
#PBS -l ncpus=1
#PBS -l walltime=24:00:00
module load intel
./prog
Trabalhos paralelos:
Um trabalho é paralelo quando aloca 2 ou mais ncpus e só é considerado válido se não exceder a cota do usuário definida nas Políticas para utilização.
Exemplo de script para trabalho paralelo, solicitando 2 nós e 40 processadores em cada:
#PBS -N JobPar
#PBS -l select=2:ncpus=40:mpiprocs=40
#PBS -l walltime=24:00:00
module load gcc
module load mpich
mpiexec -np 80 --hostfile $PBS_NODEFILE ./prog > saida
Nesta classe estão disponíveis dois tipos de nós de processamento distintos: nós com 40 ncpus e nós com 56 ncpus, como pode ser verificado em Sistema.
Para direcionar o trabalho especificamente para um destes nós faz-se necessário definir a diretiva "nodetype":
Exemplo para direcionar o trabalho apenas para os nós com 40 ncpus:
#PBS -N JobPar40
#PBS -l select=2:ncpus=40:nodetype=n40:mpiprocs=40
#PBS -l walltime=24:00:00
module load gcc
module load mpich
mpiexec -np 80 --hostfile $PBS_NODEFILE ./prog > saida
Exemplo para direcionar o trabalho apenas para os nós com 56 ncpus:
#PBS -N JobPar56
#PBS -l select=2:ncpus=56:nodetype=n56:mpiprocs=56
#PBS -l walltime=24:00:00
module load gcc
module load mpich
mpiexec -np 112 --hostfile $PBS_NODEFILE ./prog > saida
dica: Para melhorar o desempenho, usualmente deve-se concentrar as ncpus na menor quantidade de nós possível. Para isso configure a diretiva "select" para o menor valor possível, ou seja, uma alocação do tipo "#PBS -l select=1:ncpus=40" é melhor que "#PBS -l select=2:ncpus=20" utilizando a mesma quantidade de ncpus. Este método, além de minimizar a troca de mensagens pela rede, procura evitar a concorrência de recursos de um mesmo nó por vários usuários.
Trabalhos em GPU:
Um trabalho será considerado de GPU quando solicitar recursos do tipo "ngpus". Deve ser alocado 1 ngpu para cada nó de processamento do tipo GPU.
Exemplo de script para trabalhos em GPU, solicitando um nó GPU completo:
#PBS -N JobGPU
#PBS -l select=1:ngpus=1
#PBS -l walltime=24:00:00
module load gcc
./cuda_project
Trabalhos em XeonPHI:
Os trabalhos em XeonPHI deverão ser submetidos apenas através de fila especial.
Comandos úteis:
Verificar informações básicas das filas:
$ qstat -q
Verificar situação atual da fila:
$ qstat
Verificar situação atual detalhada da fila:
$ qstat -an1
Filtrar por usuário:
$ qstat -u <username>
$ qstat -an1u <username>
Verificar situação de um trabalho específico:
$ qstat -f <Job_ID>
Consultar estimativa de espera de trabalho em fila:
$ qstat -T
Submissão de trabalho:
$ qsub <script_de_job>
Remoção de trabalho:
$ qdel <Job_ID>
Verificar cota de uso de "ncpus":
$ totaljob
Consultar a disponibilidade do cluster em tempo real:
$ clusternodes
Outras configurações:
O escalonador de trabalhos suporta diversas personalizações que podem ser encontradas no manual do usuário na guia "Manuais".
Destacamos aqui as mais comuns:
Unificar relatórios de erro e padrão:
#PBS -oe
Ativar envios de e-mail para status do trabalho em: início (b), fim (e) e cancelamento (a):
#PBS -m abe
Configurar e-mail para receber as mensagens acima:
#PBS -M Este endereço de email está sendo protegido de spambots. Você precisa do JavaScript ativado para vê-lo.