Condor

Condor er nu påvirket af både den teknologiske og sociologiske udfordringer, sådan computermiljø,
Condor Team har bygget fantastiske værktøjer, der giver forskere og ingeniører til at øge deres computing gennemløb

Hvad er nyt i denne udgivelse:.

< li> 7.6.X er den nye stabile Condor serie.
• Mange nye funktioner blev tilføjet siden 7.4.X.

Hvad er nyt i version 7.3.2:

• release notes:
• Formatet for outputtet fra condor_status med -grid option er blevet ændret for at give flere nyttige oplysninger.
• Fjernet ny linje tilføjet i slutningen af ​​condor_status -format output. Derfor bør kode, som analyserer produktionen af ​​denne kommando nu være forsigtig, når trimning den sidste linje.
• Nye funktioner:
• condor_fetchlog kan nu hente den historie filer af en condor_schedd dæmon. Og historien fil opbevarer condor_schedd dæmonen kan nu drejes dagligt eller månedligt.
• condor_ckpt_server vil automatisk rydde op uaktuelle checkpoint filer. De konfigurationsvariabler der styrer denne adfærd er beskrevet nedenfor.
• condor_ckpt_server (enten 32-bit eller 64-bit) eksekverbare vil nu kommunikere korrekt mellem 32-bit og 64-bit indsende noder. Hvis det ved en vis chance bit opstår bredde emner i checkpoint protokol (for eksempel med filstørrelser), er klare fejlmeddelelser logget på kontrolposten serverlogfiler.
• Den nye condor_ssh_to_job værktøj giver interaktiv debugging af kørende jobs. Se evt på [*] for yderligere oplysninger.
• condor_status kommando er nu betydeligt hurtigere, især med -format mulighed.
• Grid univers grid typen GT5 er blevet tilføjet til forelæggelse for nye Globus GRAM5 service. Når en GRAM tjeneste er identificeret som GT5, JobManager throttling og Grid Monitor ikke anvendes. Se afsnit 5.3.2 for yderligere oplysninger.
• Grid univers grid typen creme er blevet tilføjet til forelæggelse for CREAM jobservice af gLite. Se afsnit 5.3.8 for yderligere oplysninger.
• Når lavt på filen deskriptorer til at skabe nye netværk sockets, den condor_schedd dæmonen undgår nu den ubegrænsede stabling af meddelelser, som det sender periodisk til condor_negotiator og condor_startd.
• Forestillingen og fiasko håndtering af Grid Monitor er blevet forbedret.
• For grid typen nordugrid i nettet universet, er job statusoplysninger nu opnået ved anvendelse Nordugrid ARC LDAP-server, som bør i høj grad forbedre ydeevnen. Desuden kan Condor nu fortælle, når disse job kører.
• Den nye -valgrind mulighed for at condor_submit_dag årsager condor_submit_dag at generere en indsende beskrivelsesfil der bruger Valgrind på condor_dagman, i stedet for den condor_dagman binære som sin eksekverbar.
• condor_dagman nu dovent evaluerer og åbner node job logfiler. I stedet for at parsing alle indsende beskrivelsesfiler og straks åbne deres angivne logfiler ved opstarten, condor_dagman analyserer nu indsende beskrivelsesfiler lige før hvert job er forelagt, og har hver logfil åben, når relevante job er i køen eller udfører POST scripts . Desuden condor_dagman nu genererer automatisk en standard bruger logfil for enhver node job, der ikke angiver en.
• Både støtte og dokumentation for MPI universet er blevet fjernet. MPI-programmer understøttes ved brug af den parallelle univers.
• Når condor_startd dæmonen test af virtuel maskine software ikke (til maskiner, der er konfigureret som kan køre virtuelle maskiner), vil condor_startd periodisk gentage prøven, indtil det lykkes.
• nordugrid_gahp begrænser nu antallet af forbindelser til hver enkelt NorduGrid ARC server og genbruger forbindelser, når det er muligt.
• Tilføjet ClassAd funktionen eval (), som tager en streng indlæg og evaluerer indholdet af strengen som en ClassAd udtryk. En politik eksempel, hvor det er nyttigt, er beskrevet i afsnit 3.5.9 om job suspension.
• Den nye condor_q option -attributes begrænser de attributter, der vises, når du bruger -xml eller -Long muligheder. Begrænsning af antallet af attributter også øger effektiviteten af ​​forespørgslen.
• Condor magt administrationsfunktioner nu implementeret som et plug-in. Især condor_startd kører nu et eksternt program, som angivet af konfigurationen variable HIBERNATION_PLUGIN at foretage påvisning af tilgængelige lav effekt tilstande og skift til disse lave strøm stater.
• Den nye Condor dæmonen condor_rooster er blevet tilføjet til at vågne op overvintrende maskiner, når udtrykket er defineret af konfigurationen variable UNHIBERNATE bliver sandt. De konfigurationsvariabler vedrørende condor_rooster er beskrevet i afsnit 3.3.35.
• Tilføjet muligheden for at trække oplysninger fra brugeren hændelsesloggen læserens state buffer til brugeren log læseren. Dette gennemføres via en ny ReadUserLogStateAccess C ++ klasse som defineret i read_user_log.h.
• Ændringer i værdien af ​​konfigurationen variable CERTIFICATE_MAPFILE eller indholdet af filen, der henvises til ikke længere kræve en fuld genstart af Condor. I stedet vil kommandoen condor_reconfig forårsage ændringer, der skal udnyttes.
• condor_master dæmonen vil nu udskrive stien og argumenter til eventuelle dæmoner det starter, hvis D_FULLDEBUG er aktiveret. Tidligere var der ingen måde at få den til at vise de argumenter, som den var begyndt en dæmon.
• condor_had dæmonen har nu mulighed for at styre andre end condor_negotiator dæmoner. Dette styres via HAD_CONTROLLEE makro.
• Condor nu anerkender VOMS udvidelser i X.509 fuldmagter. De VOMS attributter kodes i jobbet ClassAd tilskrive X509UserProxySubject.
• condor_startd kan nu rydde op strandede virtuelle maskiner, efter et nedbrud af Condor eller sin vært operativsystem.
• Efter et styrt, den condor_gridmanager ikke længere genstarter alle jobmanagers for GT2 job. Dette skulle forbedre inddrivelsen tid.
• Condor fungerer bedre med ClassAds kategoriseret som generisk i condor_collector dæmonen. Forskellige dæmoner, der registrerer sig med generiske ClassAds kan nu få værktøjer som bruger -subsystem mulighed manipulere deres ClassAds ordentligt.
• Condor nu tilvejebringer en mekanisme til at håndhæve en streng ressource begrænsende for nogle universer kører arbejdspladser.
• opsætningsvariabel tilføjelser og ændringer:
• Den nye konfiguration variable EMAIL_SIGNATURE angiver en brugerdefineret signatur er vedhæftet til e-mail sendt af Condor-systemet. Hvis defineret, så er denne skik signatur erstatter standard er angivet internt. Der er ingen standard værdi for denne variabel.
• Den nye konfiguration variable CKPT_SERVER_CLIENT_TIMEOUT informerer condor_schedd hvor lang i sekunder den er villig til at vente at forsøge at tale med en condor_ckpt_server proces før erklære en condor_ckpt_server ned. Se afsnit 3.3.11 for komplet beskrivelse.
• Den nye konfiguration variable CKPT_SERVER_CLIENT_TIMEOUT_RETRY informerer condor_schedd at når en condor_ckpt_server er blevet markeret som ned, hvordan kan sekunder der skal gå, før condor_schedd vil forsøge at kommunikere med condor_ckpt_server igen. Se afsnit 3.3.11 for komplet beskrivelse.
• Den nye konfiguration variable CKPT_SERVER_REMOVE_STALE_CKPT_INTERVAL informerer condor_ckpt_server at begynde fjernelse af uaktuelle checkpoints på det angivne interval i sekunder. Se afsnit 3.3.8 for en fuldstændig beskrivelse.
• Den nye konfiguration variable CKPT_SERVER_STALE_CKPT_AGE_CUTOFF informerer condor_ckpt_server hvor gammel en checkpoint fil adgang tid skal være i orden at blive betragtet uaktuelle. Denne gang sammenlignes med den nuværende opfattelse af nu, hvor den checkpoint server kontrollerer checkpoint billedfil. Se afsnit 3.3.8 for en fuldstændig beskrivelse.
• Den nye konfiguration variable SlotWeight kan anvendes til at give et slot større vægt ved beregningen brug, computing retfærdige aktier, og håndhæve gruppe kvoter. Se 3.3.10 for komplet beskrivelse.
• Den nye konfiguration variabel MAX_PERIODIC_EXPR_INTERVAL implementerer et loft over den tid mellem vurderingen af ​​periodiske udtryk, på grund af den adaptive timing udledes af konfigurationen variable PERIODIC_EXPR_TIMESLICE. Se 3.3.11 for komplet beskrivelse.
• Den nye konfiguration variable GRIDMANAGER_SELECTION_EXPR kan bruges til at styre, hvor mange condor_gridmanager processer vil blive opfostrede at administrere grid univers job. Som en del af denne ændring, fjernede konfigurationen variable og støtte kode for GRIDMANAGER_PER_JOB siden den nye konfiguration variablen erstatter det. Se 3.3.11 for komplet beskrivelse.
• Konfigurationen variable GRIDMANAGER_MAX_PENDING_SUBMITS_PER_RESOURCE og de tilsvarende gasspjæld GRIDMANAGER_MAX_PENDING_SUBMITS er blevet fjernet.
• den nye konfiguration variabel GRID_MONITOR_DISABLE_TIME kontrollerer, hvor længe condor_gridmanager vil vente efter støder en fejl, inden du forsøger at genstarte en Grid Monitor job. Se 3.3.23 for komplet beskrivelse.
• Den nye foruddefinerede konfiguration makro DETECTED_MEMORY angiver mængden af ​​fysisk hukommelse (RAM) opdaget af Condor. Den opgives i Mbytes.
• Den nye foruddefinerede konfiguration makro DETECTED_CORES angiver antallet af CPU-kerner opdaget af Condor.
• den nye konfiguration variable DELEGATE_FULL_JOB_GSI_CREDENTIALS styrer, om en fuld eller begrænset X.509 proxy er uddelegeret til gitter typen GT2 gitter univers job. Se 3.3.26 for komplet beskrivelse.
• Den nye konfiguration variable UNHIBERNATE bruges af condor_startd at annoncere i sin ClassAd et boolsk udtryk angivelse, når maskinen skal blive vækket, for eksempel ved condor_rooster. Se 3.3.10 for komplet beskrivelse.
• Den nye konfiguration variable HIBERNATION_PLUGIN angiver stien til plug-in, hvor condor_startd bruger både til at registrere de strømbesparelsestilstand kapaciteter en maskine og til at skifte maskinen til en energibesparende tilstand. Se 3.3.10 for komplet beskrivelse.
• Den nye konfiguration variable HIBERNATION_PLUGIN_ARGS angiver yderligere kommandolinjeflag som condor_startd vil videre til plug-in, når påberåbe den for at skifte maskinen til en energibesparende tilstand. Se 3.3.10 for komplet beskrivelse.
• Den nye konfiguration variable HIBERNATION_OVERRIDE_WOL kan bruges til at dirigere condor_startd at ignorere Wake On LAN (WOL) kapaciteter i maskinens netværksinterface, og for at skifte til et lavt strømforbrug, selv om grænsefladen ikke understøtter WOL, eller hvis WOL er deaktiveret på den. Se 3.3.10 for komplet beskrivelse.
• De variable DAGMAN_USER_LOG_SCAN_INTERVAL kontrol ny konfiguration, hvor længe condor_dagman venter mellem kontrol job logfiler for statusopdateringer. Se 3.3.25 for komplet beskrivelse.
• Den nye konfiguration variabel DAGMAN_DEFAULT_NODE_LOG sætter standard logfil navn på den nye condor_dagman standardnoden logfil funktion. Se 3.3.25 for komplet beskrivelse.
• Fjernet de variable DAGMAN_DELETE_OLD_LOGS konfiguration; ny logfil læsning kode gør det forældet.
• Den nye konfiguration variable HAD_CONTROLLEE bruges til at angive navnet på den dæmon som de condor_had kontrol. Dette navn skal svare dæmonen navn i condor_master s DAEMON_LIST.
• Bugs Fast:
• Rettet en fejl i ClassAd funktioner, hvor argumenter, der skulle have været tvinges korrekt i strenge i stedet vurderet til FEJL.
• Rettet en forvirrende diagnostisk besked med JobRouter, der skete, da et job blev fjernet inden for 5 minutter efter indgivelsen.
• Rettet en fejl, hvor brugen af ​​dynamiske slots (se afsnit 3.13.7) forårsaget maskinen ClassAd tilskriver SLOT_STARTD_ATTRS forsvinder fra ClassAd for nogle slots.
• Rettet en Windows-platform bug, hvor vinduet tilhører en Condor job ikke modtager en maling besked.
• Rettet en fejl der forårsager condor_q -analyze at gå ned, når der ikke var nogen condor_schedd dæmon ClassAd fil.
• Rettet en condor_procd nedbrud forårsaget når miljøet af en overvåget proces overskredet 1MByte i / proc.
• Rettet en Windows-platform bug, som kan medføre, at condor_credd at gå ned, hvis en anmodet legitimationsoplysninger ikke er i adgangskoden butikken.
• Rettet en fejl, der var årsag jobbet hændelsesloggen drejelås, der skal oprettes med forkerte tilladelser.
• Rettet en fejl i rotation af jobbet hændelseslog, som kan forårsage det aldrig at blive roteret i Windows-havn Condor.
• Rettet en potentiel race condition i initialiseringen jobbet hændelsesloggen.
• Fast race condition, som kan forårsage et styrt af condor_collector og condor_schedd på nedlukning.
• Rettet en fejl, hvor condor_master ville undertiden dø og producere en dprintf_failure.MASTER fil, når enten genstarte som følge af nye binære tidsstempler eller når startede i første omgang.
• Rettet en hukommelsesfejl i forbindelse med SOAP konfigurationsvariabler, der opstod, da Condor blev omkonfigureres.
• Rettet en fejl, hvor indsende beskrivelsesfil kommando cron_day_of_week fejlagtigt blev ignoreret.
• Fixed bug, hvor konfigurationsvariabler MAX_JOB_QUEUE_LOG_ROTATIONS og GRIDMANAGER_SELECTION_EXPR ikke ville fungere korrekt ved start op; de kun arbejdede efter en condor_reconfig.
• Rettet en fejl, hvor SOAP operationer blev fejlagtigt godkendt med peer IP.
• Rettet en Windows-platform bug, hvor ikke alle Condor dæmoner blev betroet af Windows Firewall (tidligere kendt som Internet Connection Firewall eller ICF).
• Rettet en lukning race condition i condor_master hvad angår høje tilgængelighed dæmoner.
• Rettet en fejl, hvor en Condor dæmon forkert bestemmes det var løbet tør for socket deskriptorer.
• Rettet en fejl, hvor condor_schedd ville blokere for meget lange perioder, mens du prøver at oprette forbindelse til en ned checkpoint server. Nu condor_schedd vil gøre et blokerende forbinde med en timeout til checkpoint server for en konfigurerbar antal sekunder. Hvis connect mislykkes, vil condor_schedd sætte et moratorium for tilslutning til checkpoint server indtil konfigurerbare moratorium periode passerer. Konfigurationsfilen variabler, der beskriver denne adfærd er beskrevet ovenfor.
• Ændret checken at condor_dagman gør for andre condor_dagman forekomster kører samme DAG, hvis den finder en lås fil ved opstart. Nu, hvis condor_dagman er ikke sikker på om den anden DAGMan er i live, fortsætter det, i stedet for at afslutte.
• Rettet en stor fil deskriptor læk i Stork dæmonen.
• Rettet en fejl, hvor vellykkede Stork overførsler blev markeret som mislykkedes.
• Rettet en ualmindelig hukommelsesfejl i brugerens begivenhed logfilen læsning kode, når du læser dårligt formaterede hændelser.
• Rettet en fejl, hvor flere maskiner ClassAds i condor_collector med samme navn, men forskellige StartdIPAddr attributværdier, ville forårsage condor_negotiator at afslutte med en fejl. Dette er usædvanligt og bør ikke ske i en typisk Condor installation. Den mest sandsynlige årsag er at bruge condor_advertise at annoncere brugerdefinerede ClassAds for grid matchmaking.
• Rettet en fejl, der forårsagede condor_dagman til core dump hvis alle indsende forsøg mislykkedes på en DAG node har en POST script. Denne fejl har eksisteret siden Condor-version 7.1.4.
• Rettet en hukommelsesfejl i condor_schedd, der opstod, da konfigurationen variable NEGOTIATOR_MATCH_EXPRS blev brugt.
• Rettet en fejl i Windows-platformen kode, der behandler scripts som eksekverbare. Ukendte filtypenavne blev behandlet som en fejl, i stedet for som en Windows eksekverbar.
• condor_job_router nu korrekt indstiller ClassAd tilskrive EnteredCurrentStatus til det aktuelle tidspunkt, når du opretter en ny dirigeres job. Tidligere det kopierede denne attribut fra den oprindelige opgave.
• condor_job_router udsender en mere venlig log meddelelse, når det anført, at dirigeres kopi af jobbet blev fjernet.
• En rettelse er foretaget for et problem set i 7.3.1, hvor Condor dæmoner ved hjælp CCB at oprette forbindelse til andre Condor dæmoner ville undertiden indtager store mængder af CPU-tid uden grund.
• Rettet en sjælden fejl sag bug, der forsøger at oprette forbindelse via CCB kunne bo i en verserende tilstand på ubestemt tid.
• En Unix kun bug forårsaget Condor dæmoner til at mislykkes at starte, hvis MAX_FILE_DESCRIPTORS var konfigureret højere end den nuværende hårde grænse arvet af Condor. Hvis Condor kører som root, er dette ikke længere tilfældet.
• condor_gridmanager reklamerer nu grid ClassAds korrekt, når der er flere condor_collector dæmoner.
• Når du bruger condor_q -xml og -format sammen for at begrænse antallet af ClassAd attributter tilbage i forespørgslen, XML container tag blev ikke genereret. Det er fast, men nu er den foretrukne måde til at begrænse de returnerede attributter er at bruge condor_q option -attributes.
• Rettet en fejl, hvor Unix condor_master mislykkedes, når de forsøger at genstarte sig selv, hvis konfigurationen variable MASTER_LOCK blev defineret, eller hvis condor_master er kaldt med det -t mulighed. Denne fejl har eksisteret siden 7.0-serien, og sandsynligvis har eksisteret meget længere end det.
• Rettet en betydelig hukommelsesfejl i gahp_server. Denne læk var kun til stede i tidligere Condor 7.3.x udgivelser.
• Rettet en fejl, der kan forårsage en fjernet job, der holdes, og derefter løsladt til at vende tilbage til standbytilstand.
• Globus jar filer distribueres med x86-64 RHEL 5 omdrejninger blev beskadiget, hvilket GT4 gitter typen job til at mislykkes. Dette er blevet rettet.

Hvad er nyt i version 7.2.2:

• Tilføjet en fuld havn Condor til Debian 5.0 på x86-platformen.
• Tilføjet en klippet havn Condor til Debian 5.0 på x86_64 platform.
• Tilføjet -DumpRescue kommandolinjemarkering at condor_dagman og condor_submit_dag. Dette flag er beregnet primært til test.
• Tilføjet støtte til -debug mulighed for at condor_qedit.
• Job Router bruger nu en tid skive timer til periodisk evaluering udtryk, svarende til condor_schedd dæmonen. Evalueringen interval styres af konfigurationen variable PERIODIC_EXPR_INTERVAL, og som standard til 60 sekunder, den samme standard som anvendes af det condor_schedd dæmonen.
• Job Router nu nulstiller kilden jobbet, hvis der opstår en fejl, når du opdaterer condor_schedd dæmon til en periodisk udtryk, vurderes til Sand. Jobbets periodiske udtryk skal evalueres igen nogle gang i fremtiden med en succesfuld opdatering.

Hvad er nyt i version 7.2.0:.

• Større funktionsforbedringer

Hvad er nyt i version 7.0.5:

• Denne udgivelse indeholder mange fejlrettelser og nogle forbedringer til fejl håndtering af lokaluniverset arbejdspladser.
• Bemærk, at nogle af fejlrettelser er sikkerhedsrelateret; Derfor bør sites enten opgradere eller begrænse tilladelser på hvem der får lov til at indsende Condor job til betroede brugere.