LPBS

LPBS (Local Portable Batch System) er et værktøj til at emulere PBS på en lokal arbejdsstation.
PBS / MOMENT er et job planlægning system, der bruges på mange high performance computing klynger. Den LPBS pakke indeholder værktøjer til at køre PBS job scripts på en lokal arbejdsstation. Specifikt giver LPBS den lqsub kommando, der tager de samme muligheder som PBS qsub kommando og kører et job script lokalt, i et miljø, næsten identisk med en, der PBS / MOMENT ville give. Jobbet vil køre i baggrunden og tildeles et job-id. I modsætning til PBS-system, vil LPBS ikke udføre nogen planlægning, men vil blot køre jobbet forelagt. LPBS giver yderligere værktøjer til at håndtere kørende jobs.
Installation
LPBS kan installere fra PyPi, ved hjælp af
pip installere LPBS
Alternativt kan emballagen være installeret fra kilden med
python setup.py installere
Konfiguration
LPBS gemmer alle sine konfiguration og runtime data i mappen angivet i miljøvariablen $ LPBS_HOME. Skal defineres Denne miljøvariabel. Konfigurationen er i filen lpbs.cfg inde $ LPBS_HOME. Hvis filen ikke findes, når nogen af ​​de LPBS scripts er kørt, vil en konfigurationsfil med følgende standardværdier oprettes:
[Server]
# Fuld hostname for indsendelse server (hostname.domain). Vil blive stillet til rådighed
# For at køre job via miljøet variable PBS_SERVER. Job-id'er vil ende
# I serveren værtsnavn
hostname: localhost
domæne: lokal
[Node]
# Fuld værtsnavn af fuldbyrdelsen node (hostname.domain). Vil blive stillet til rådighed
# For at køre job via miljøet variable PBS_O_HOST. Da LPBS er
# Designet til at udføre job lokalt, indstillingerne her bør generelt være
# Identiske med dem i [Server] sektionen
hostname: localhost
domæne: lokal
[LPBS]
# Indstilling til udførelse job.
# Hvis 'username_in_jobid "er aktiveret, vil jobbet id'er have form
# 'Seqnr.user.hostname.domain ", hvor" bruger "er brugernavnet på den bruger
# Indsende jobbet.
# Filen givet i »sequence_file 'bruges til at holde styr på den" seqnr'
# Optræder i jobbet ID.
# Filen givet i "logfil 'bruges til at logge alle LPBS arrangementer. Begge
# 'Sequence_file "og" logfil "er i forhold til $ LPBS_HOME.
username_in_jobid: 0
sequence_file: sekvens
logfil: lpbs.log
[Scratch]
# Indstillinger for scratch felt til job. »Scratch_root 'definerer et
# Sted, hvor job skal skrive midlertidige data. Hvis givet som en relativ sti,
# Det er i forhold til $ LPBS_HOME. Variabler Miljø vil blive udvidet ved
# Tid jobbet indsendelse.
# Hvis værdien af ​​# 'create_jobid_folder "er sat til 1, en mappe med navnet på
# Den fulde opgave-id'et oprettes inde scratch_root. Denne mappe er automatisk
# Slettes, når jobbet er slut, medmindre 'keep_scratch' er sat til 1. Hvis jobbet
# Mislykkedes, scratch slettes ikke, medmindre "delete_failed_scratch 'er sat
# 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Meddelelse]
# Indstillinger på, hvordan brugeren skal underrettes om begivenheder som start
# Og slutningen af ​​et job. Hvis sent_mail er sat til 1, vil e-mails sendes til
# meddelelser afhængig af værdien af ​​den "-m 'muligheden for at lqsub. Hvis
# 'Send_growl "er indstillet til 1, er Growl (http://growl.info) anvendes til at anmelde
# På MacOS X. Meddelelser via Growl tager ikke højde for de »-m 'indstillinger
# Under jobafsendelse.
send_mail: 0
send_growl: 0
[Mail]
# SMTP-indstillinger for e-mail-meddelelser. Notification emails bliver sendt fra
# Adressen af ​​"fra" valgmulighed. SMTP-serveren givet i "smtp" er
# Anvendes til at sende e-mails, hvis "verificere" er sat til 1, autentificering er
# Gjort med den pågældende 'username "og" password ". Hvis 'TLS' er 1, TLS-kryptering
# Vil blive anvendt.
fra: nobody@example.org
smtp: smtp.example.com:587
brugernavn: user
password: hemmeligt
godkende: 0
tls: 1
[Growl]
# Indstillinger for Growl notifikationer. Meddelelser sendes til enten
# Localhost eller en ekstern vært via GNTP protokollen. Indstillingen 'hostname'
# Giver adressen og porten på Growl serveren, givet 'password' er
# Bruges til godkendelse (bemærk, at hvis du sender til localhost, nej
# Godkendelse er nødvendig, og adgangskoden skal være tom). Hvis
# "Klæbrige" er sat til 1, vil Growl meddelelser være klistret. Det er
# Muligt at sende meddelelser til mere end én vært. I dette tilfælde både
# 'Hostname' og 'password' skal være en kommasepareret liste over værdier, med
# Hvert element svarer til en vært. F.eks
# Værtsnavn: localhost, eksternvaert
# Password:, hemmeligt
hostname: localhost: 23053
password:
klæbrig: 0
[Log]
# 'Logfil "giver navnet på den centrale logfil, i forhold til $ LPBS_HOME.
logfil: lpbs.log
Bemærk, at hvis der anvendes standard config filen, skal miljøvariabel $ SCRATCH_ROOT defineres og den mappe den peger på, bør eksistere og være skrivbar for alle brugere, der måtte sende job.
For et system for hele installationen, / var / lpbs er et passende sted for $ LPBS_HOME. Den variable miljø kan indstilles i /etc/bash.bashrc for alle brugere. For anlæg i bruger rummet, er virtualenv anbefales.
Efter den vigtigste konfigurationsfil, vil filen $ HOME / .lpbs.cfg også læses. En bruger kan bruge dette til at tilsidesætte indstillinger i systemkonfigurationen. Endelig qsub kommandoen har også en --config option, der giver mulighed for at angive endnu en ekstra config fil, der skal læses.
Anvendelse
LPBS indeholder scripts lqsub, lqstat og lqdel, der emulere PBS / TORQUE kommandoer qsub, qstat og lqdel hhv. Den lqsub kommando bruges til at indsende jobs, lqstat bruges til at vise oplysninger om at køre jobs, og lqdel bruges til at afbryde kørende jobs. For eksempel:
Goerz @ localhost: ~> lqsub job.pbs
3.localhost.local
Goerz @ localhost: ~> lqstat
Job id Navn Bruger Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest Goerz 00:00:22
Goerz @ localhost: ~> lqstat -f 3.localhost.local
Job Id: 3.localhost.local
& Nbsp; Job_Name = pbstest
& Nbsp; Job_Owner = Goerz
& Nbsp; server = localhost.local
& Nbsp; exec_host = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = STDERR
& Nbsp; Join_Path = True
& Nbsp; Mail_Points = n
& Nbsp; Output_Path = pbstest.out
& Nbsp; resources_used.walltime = 00:00:43
Goerz @ localhost: ~> lqdel 3.localhost.local
Den qsub Kommandoen er designet til at forstå alle kommandolinjeflag af qsub kommandoen i moment-version 2.18, bortset fra at alle muligheder i forbindelse med planlægning lydløst ignoreres. Derfor bør alle PBS job script være submittable uden ændringer. For detaljer, køre lqsub, lqstat og lqdel med --help option, og / eller se på Torque manual.
Et eksempel Job Script
Det følgende er et eksempel på en simpel PBS job script, der vil udskrive den fulde miljø, at jobbet ser. Du kan indsende dette job både med LPBS og PBS / MOMENT at kontrollere, at med passende indstillinger i lpbs.cfg, LPBS giver et identisk miljø LPBS.
#! / Bin / bash
#PBS -N Pbstest
#PBS -j Oe
#PBS -l Knuder = 1: PPN = 1
#PBS -l Walltime = 00: 00: 10
#PBS -l Mem = 10MB
#PBS -o Pbstest.out
echo "################################################ #### "
echo "Bruger: $ PBS_O_LOGNAME"
echo "Batch job startede den $ PBS_O_HOST"
echo "PBS job id: $ PBS_JOBID"
echo "PBS job navn: $ PBS_JOBNAME"
echo "PBS arbejdsmappe: $ PBS_O_WORKDIR"
echo "Job startede den" `hostname`` dato for udfyldelse
echo "Aktuel mappe:" `pwd`
echo "PBS miljø: $ PBS_ENVIRONMENT"
echo "################################################ #### "
echo "################################################ #### "
echo "Full Miljø:"
printenv
echo "################################################ #### "
echo "Jobbet er ved at blive henrettet på følgende node:"
cat $ {PBS_NODEFILE}
echo "################################################ ########## "
echo "Job Færdig:" `dato for udfyldelse
exit 0

Krav :

• Python