Specifikace vlastností uzlů/úloh

Dokumentace » Specifikace vlastností uzlů/úloh

Při zadávání úloh do prostředí CERIT-SC infrastruktury (a to jak skrze čelní uzly CERIT-SC, tak skrze čelní uzly MetaCentra) je, podobně jako v prostředí MetaCentra, zapotřebí specifikovat vlastnosti a požadavky zadávané úlohy:

1. základní vlastnosti požadovaných uzlů
   • počet požadovaných strojů/procesorů, velikost potřebné paměti, dostupné licence či velikost místa na lokálním svazku /scratch
   • specifikace těchto vlastností se v rámci CERIT-SC infrastruktury provádí zcela shodným způsobem jako v rámci infrastruktury MetaCentra - detaily a příklady specifikace viz stránky MetaCentra
Při zadávání úlohy v rámci příkazu qsub uživatel informuje systém přidělování úloh o náročnosti své úlohy tím, že specifikuje, kolik uzlů (nodes), procesorů, paměti a času jeho úloha využije. I když momentálně pracujeme na tom, aby tato specifikace byla současně přímou žádostí o přidělení zdrojů, tzn. aby úloha dostala přiděleno právě tolik zdrojů, kolik bylo v rámci qsub specifikováno, je třeba vědět, že zatím tomu tak není.  Prozatím se tedy jedná pouze o informaci, na základě níž náš systém úlohu vhodně umístí/zařadí.
Specifikuje-li uživatel výrazně méně zdrojů, než jeho úloha skutečně potřebuje, bude jeho úloha nevhodně umístěna/zařazena a o zdroje se bude "přetahovat" s ostatními běžícími úlohami. Bude-li diskrepance mezi specifikovanými a skutečně použitými zdroji výrazná nebo opakovaná, budeme muset zadávajícího uživatele od zdrojů odstavit.  Prozatím pro takové případy funguje systém emailových varování, prostřednictvím níž jsou uživatelé automaticky informováni, že jejich úlohy spotřebovávají více zdrojů než kolik při zadání qsub specifikovali.
Naopak specifikuje-li uživatel výrazně více zdrojů, než jeho úloha skutečně potřebuje, bude jeho úloha zbytečně dlouho čekat ve frontě.
2. rozšířené vlastnosti požadovaných uzlů
   • typ CPU, operační systém, síťový subsystém, aj.
   • specifikace těchto vlastností je v rámci CERIT-SC infrastruktury, vzhledem k využití uzlů uniformní HW i SW výbavy, aktuálně nepotřebná (všechny uzly disponují uniformními vlastnostmi debian, debian6, x86_64, infiniband, cl_zewura a nfs4). Po budoucím plánovaném rozšíření výpočetních uzlů CERIT-SC infrastruktury a po zajištění dříve zmíněné interoperability plánovacích systémů CERIT-SC a MetaCentra však bude využití rozšířených vlastností strojů nezbytné - o této skutečnosti Vás budeme včas informovat.
3. požadavky na speciální fronty
   • aktuálně dostupné speciální fronty jsou:
     • backfill - nízkoprioritní fronta; úlohy z této fronty "vyplňují" volná místa v plánovacím rozvrhu (například v případě čekání na ukončení úlohy, jejíž zdroje jsou zapotřebí pro strádající úlohu). Fronta přijímá pouze jednouzlové úlohy s dobou trvání do 24 hodin. Úlohy v této frontě mohou být z naší strany v případě potřeby (např. mobilizace zdrojů pro náročnou úlohu jiného uživatele) kdykoli přerušeny nebo zcela ukončeny.
   • zadání úlohy s požadavkem na speciální frontu:
     $ qsub -q QUEUENAME ...    # zadáno z čelního uzlu CERIT-SC

     $ qsub -q QUEUENAME@wagap.cerit-sc.cz ... # zadáno z čelního uzlu Meta
4. maximální doba běhu úlohy
   • jelikož logika specifikace maximální doby běhu úlohy prošla oproti infrastruktuře MetaCentra nejvýraznější změnou, je tato detailně rozebrána v následující sekci.

Specifikace maximální doby běhu úlohy

Oproti infrastruktuře MetaCentra, kde se specifikace maximální doby běhu úlohy, ovlivňující způsob jejího plánování, provádí implicitně začleněním úlohy do jedné z předpřipravených, časově omezených front (short, normal, long, atp.), se v rámci CERIT-SC infrastruktury všechny úlohy začleňují do jediné (implicitní) fronty. Určení maximální doby běhu úlohy se pak provádí s využitím nepovinného parametru walltime, což s sebou přináší lepší možnosti plánování úloh (a tím jejich rychlejší spouštění) - motivace a implementace viz sekce Pod pokličkou.

Důležité:

• Všechny úlohy překračující svůj vyhrazený časový rámec, specifikovaný parametrem walltime, budou ze strany plánovacího systému násilně ukončovány.
• Při specifikaci maximální doby běhu úlohy nejsou uživatelé plánovacím systémem nijak omezováni, tj. i velmi krátkou (např. minutovou) úlohu lze zadat s velmi dlouhou specifikovanou dobou maximálního běhu (např. v řádu dnů). V tomto případě však bude na danou úlohu pohlíženo jako na dlouhotrvající, což může negativně ovlivnit dobu jejího plánování (jinými slovy, může být spuštěna později, než by při vhodnější specifikaci mohla být).

Doporučení: Obecně lze doporučit specifikaci časového rámce v délce o 20-30 % větší než je předpokládaná doba běhu zadávané úlohy. V případě, kdy předpokládanou dobu běhu úlohy není možno dopředu odhadnout, doporučujeme Vám tuto pro první běh/iteraci zadat s větší časovou rezervou a skutečnou dobu běhu úlohy (zjistitelnou skrze příkaz qstat) následně použít jako základ pro specifikaci časového rámce v dalších bězích/iteracích úlohy.