Párhuzamos és Grid rendszerek 5. előadás

Tipp: a diák között a J és K billentyűkkel lehet lépkedni.

Letöltés

1.

Párhuzamos és Grid rendszerek (5. ea) metaszámítógépt l a gridig Szeberényi Imre BME IIT <szebi@iit.bme.hu> M Párhuzamos és Grid rendszerek © BME-IIT Sz.I. EGYETEM 1782 2013.03.11. -1-

2.

Hol tartunk ? • Megismerkedtünk az alapfogalmakkal, architektúrákkal. • Egyszer absztrakciós modellt alkottunk a párhuzamos gépek leírására. • Megismertük a párhuzamos programok tervezésének egy módszerét (PCAM). • Áttekintettük a hosszútávú ütemez ket. • Áttekintettük a fontosabb elosztott fájlrenszereket. Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. -2-

3.

Elosztott rendszerek reneszánsza Olcsó és teljesít képes rendszerek elterjedése = + Nagyméret elosztott rendszerek, metacomputing Párhuzamos és Grid rendszerek © BME-IIT Sz.I. Hálózati technológia fejl dése GRID 2013.03.11. -3-

4.

Grid koncepció • Számítógépek er forrásainak egy adott cél érdekében összefogott halmaza, melyet a felhasználó egységesen, egy egészként kezelve tud elérni a Grid bármely pontjáról. • A Grid szóhasználat szándékosan utal az elektromos hálózatra (power grid). • A kezdeti intézményi gridek regionális, nemzeti, ill. világméret gridekké n nek, melyek er forrásait dinamikusan és gazdaságosan lehet elosztani. • Adat, számítási és információs gridek. Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. -4-

5.

Grid hasonlat Mobil G R I D Munkaállomás M I D D L E W A R E Supercomputer, PC-Cluster Spec. er forr.: Érzékel k, adatgy jt k Vizualizáció Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. -5-

6.

Klaszter Felhasználó alkalmazás A felhasználó feladata a környezet komplexitásának leküzdése, átlátása • független telephelyek • független harver-szoftver • különböz azonosítók és módszerek • lokális kapcsolat a gépekkel Hálózat Site A Párhuzamos és Grid rendszerek © BME-IIT Sz.I. Site B 2013.03.11. -6-

7.

Metaszámítógép Felhasználó alkalmazás Metacenter: Az alkalmazott absztrakciós réteg eltakarja az elosztott környezetb l adódó problémák egy részét, de még számos korlátozás létezik. • Két vagy több er forrás felügyelete Korlátok: • • • • közös architektúra közös névtér közös ütemez közös biztonság Hálózat Központi ütemez és fájl kiszolgáló Site A Párhuzamos és Grid rendszerek © BME-IIT Sz.I. Site B 2013.03.11. -7-

8.

Korai Grid redszerek Felhasználó almalmazás Inf. kérés Válasz Közös köztesréteg Döntés és submit. Grid köztesréteg - közös interfész közös protokollok közös szolg. egyedi biztonság autonómia (site) Olyan API, ami nagyban leegyszer síti a fejleszt és felhasználó feladatát, de még nem intelligens. Hálózat Site A Párhuzamos és Grid rendszerek © BME-IIT Sz.I. Site B 2013.03.11. -8-

9.

Mai Gridek Felhasználó alkalmazás Intelligens köztesréteg Intelligens köztesréteg Grid köztesréteg Az er források intelligens API-kon keresztül érhet k el. Hálózat Site A Párhuzamos és Grid rendszerek © BME-IIT Sz.I. • automatikus er forrás allokáció • er forrás bróker • felhasználói azonosítótól független • Rugalmas: webszolgáltatás alapú Site B 2013.03.11. -9-

10.

Általános Grid model Er forrás biztosítás Intézet 1 Intézet 2 Intézet 4 Internet Intézet 3 Er forrás igénylés Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 10 -

11.

A Grid két szerepl je • Er forrás donorok= D • Er forrás felhasználók = U • A kett aránya meghatározza az alkalmazott Grid modelljét: – if U ~ D – if U >> D – if U << D Általános Grid modell utility Grid modell desktop Grid modell Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 11 -

12.

Az általános modell komplikált • • • • Végtelen használati minta Különböz célú biztonsági megfontolások Valós idej információs rendszer Komplex könyvelési és teljesítmény kiegyenlít rendszer • Flexibilisen programozható architektúra • Az egyszer sítésekb l az alábbi két irányzat született – Utility gridek – Desktop vagy volunteer gridek Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 12 -

13.

Utility Grid modell Intézet 1 Donor és felhasználó Er forrás biztosítás statikus 7/24 Intézet 2 Donor és felhasználó Internet Felhasználó N Felhasználó 1 Dinamikus er forrás igények Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 13 -

14.

A Utility Gridek jellemz i • A donorok profi er forrás biztosítók (7/24 órás üzemmód) Egyszer sítés • Hasonló er források Egyszer sítés • Mindenki használhatja az er forrásokat saját problémáinak megoldására • Aszimmetrikus kapcsolat a donorok és felhasználók között U >> D Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 14 -

15.

Utility Grid példa: EGEE • > 260 sites 50 országban • ~ 102 000 CPUs • ~ 600 PB tárkapacitás • 150k feladat/nap • > 200 Virtuális Szervezet • gLite middleware Párhuzamos és Grid rendszerek © BME-IIT Sz.I. - 15 http://www.eu-egee.org/ 2013.03.11.

16.

Innen indult 2002-ben http://www.cern.ch LHC ~9 km SPS CERN Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 16 -

17.

Hadron ütköztet • 10 Petabytes évente • Adatok kezelése, feldolgozása kb. százezerszer nagyobb számítási teljesítményt igényel, mint a mai processzorok teljesítmények! Mont Blanc (4810 m) Downtown Geneva Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 17 -

18.

Egyik kísérlet (CMS) detektora Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 18 -

19.

Példa2: Open Science Grid http://www.opensciencegrid.org/ • 30 Virtuális Szervezet • 105 Er forrás donor • 26 Támogató szervezet • Middleware: Virtual Data Toolkit (VDT): • A Grides eszközök egy gy jteménye • Condor • Globus • VO Management Service Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 19 -

20.

A Utility Gridek architektúrája Alkalmazások OLE DCOM Er forrás menedzsment CPU TB-os Tárkapacitás Párhuzamos és Grid rendszerek © BME-IIT Sz.I. Grid Portálok Könyvelés Egyéb Politika JAVA/JINI Hitelesítés Hozzáférés Együttes lefoglalás CORBA Probléma megoldás Hiba menedzsment Együttm ködés Monitorozás Helyi er források CONDOR Adat hozzáférés Általános Grides szolgáltatások Köztes réteg szolgáltatások MPI Elemzés & Vizualizáció Er forrás Ütemezés Alkalmazás támogatás Eszköz menedzsm. Információ szolgáltatás Alkalmazás csoportok Er forrás menedzsment Online tár Tudományos m szerek Kommunikáció 2013.03.11. - 20 -

21.

Virtuális szervezetek és a Grid Grid: – Er forrás, ami a köztesréteg egy verzióját futtatja VO: – A siteok és felhasználók egy logikai csoportja – Biztonsági politika – Dinamikus? Virtuális Szervezetek Grid • Atlas VO 10 éve • WISDOM kihívás néhány hét Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 21 -

22.

Desktop Grid modell Dinamikus er forrás biztosítás Vállalati / Donor: Vállalat / Egyetemi Szerver Alkalmazás Internet Egyetem / privát PC Donor: Vállalat / Donor: Vállalat / Egyetem / privát PC Egyetem / privát PC Software disztribúció Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 22 -

23.

A Desktop Grid modell jellemz i • Akárki adhat hozzá er forrást • Heterogén er források, melyek dinamikusan be és kilépnek. • Egy vagy kevés projekt használhatja az er forrásokat • Az er források klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges • Aszimmetrikus reláció a donorok és felhasználók között: U << D • El ny: • Egy PC hozzáadása egyszer • Installálni, karbantartani egy DG szervert sokkal egyszer bb Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 23 -

24.

Desktop Gridek típusai • Global Desktop Grid • Célja hogy hatalmas er forrásokat gy jtsön össze tudományos kihívások megoldására • Példa: • BOINC (SETI@home) • Local Desktop Grid • Célja, hogy egyszer en összegy jthet vé tegye a közeli er forrásokat (vállalat, egyetem, ….) Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 24 -

25.

SETI: a globális Desktop Grid • SETI@home – 3.8M felhasználó 226 országban – 1200 CPU év/nap – 38 TF teljesítmény – Nagymértékben heterogén: >77 különböz processor típus – Az infrastruktúra elkülönített az alkalmazástól: BIONC Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 25 -

26.

További DG projektek • LHC@home • Docking@home • DrugDiscovery@home Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 26 -

27.

Konklúziók • Az általános Grid modell jó, de nehezen implementálható • A gyakorlati megoldás az egyszer sítés: • Utility grids • Desktop grids • Mindkét fajtából létezik m köd képes megvalósítás • EGEE, EGI, US OSG, NorduGrid, UK NGS • BOINC • A továbbiakban UTILITY gridekkel foglalkozunk Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 27 -

28.

Globus megközelítés • Egy toolkit és számos szerviz, ami az általános feladatok megoldását segíti. – (Bag of services model) • Domainek közötti megoldás – (Integration of intra-domain solutions) • Helyi és globális szervizek – “IP hourglass” model Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 28 -

29.

Technikai megközelítés • Er sen támogatja az inkrementális fejlesztést. – Számos programozási modellt és eszközt támogat • Kis teszt-környezetekt l a nagy nemzetközi rendszerekig jól skálázható • Alapvet en a felhasználók igényei szerint fejl dik Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 29 -

30.

Homokóra modell • Az alapvet architektúra/infr. kialakítását segíti – Számos alap-szerviz – Domain specifikus megközelítés • A kialakítás alapelvei – Alacsony költségek – Helyi felügyelet – Adaptációk támogatása Párhuzamos és Grid rendszerek © BME-IIT Sz.I. Applications Diverse global services Core Globus services Local OS 2013.03.11. - 30 -

31.

Réteges szerkezet Applications High-level Services and Tools GlobusView DUROC MPI MPI-IO CC++ Testbed Status Nimrod/G globusrun Core Services Nexus Gloperf Metacomputing Directory Service Condor MPI LSF Easy NQE Globus Security Interface Local Services Párhuzamos és Grid rendszerek © BME-IIT Sz.I. GRAM Heartbeat Monitor GASS TCP AIX UDP Irix Solaris 2013.03.11. - 31 -

32.

F komponensek • GRAM: Globus Resource Allocation Manager – Processzek létrehozása a távoli er forrásokon • MDS: Metacomputing Directory Service – Gépnevek és GRAM er források összerendelése • GSI: Grid Security Infrastructure – Authenikácó és authorizáció • GASS: Global Access to Secondary Storage – Háttértár kezelése Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 32 -

33.

GRAM és a helyi ütemez k kapcs. globus-job-run gatekeeper gatekeeper gatekeeper jobmanager jobmanager jobmanager fork LSF LoadLeveler GRAM P1 P2 P1 Párhuzamos és Grid rendszerek © BME-IIT Sz.I. P2 P1 P2 2013.03.11. - 33 -

34.

Grid biztonság • Biztonság alatt sokszor eltér dolgokat értünk: • Azonosítás/Fejlogosítás/Jogok delegálása – Az alkalmazást futtató felhasználó ne tudja jogosulatlanul használni az er forrásokat • Alkalmazás és köztesréteg biztonság – Az alkalmazásokban való bizalom – Köztesrétegben való bizalom • Adatbiztonság – A rendszerbe bevit/keletkez adatok csak a jogosultak számára legyenek elérhet k – Az adatátviteli csatornák ne "csöpögjenek" Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 34 -

35.

Miért fontos ? • Igen jelent s er forráshalmaz áll jelenleg a felhasználók rendelkezésére: – Több mint 102 ezer CPU (core) – Jelent s sávszélesség – 600 petabyte tároló Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 35 -

36.

Azonosítás, feljogosítás, • Azonosítás: valóban az-e akinek mondja magát – X.509 tanúsítvánnyal történik – analógia: személyi igazolvány • Feljogosítás: mely er forrásokat használhat – komplex elosztott rendszerrel történik (VOMS) – analógia: lista a könyvtárban, hogy mit kölcsönözhetek. Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 36 -

37.

Jogok delegálása • Delegálás: valaki nevében eljárni – X.509 CGSI kiterjesztéssel – analógia: megbízzuk a csoporttársat, hogy kölcsönözzön ki v.mit Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 37 -

38.

Azonosítás XY valóban az-e akinek mondja magát. – X.509 tanúsítvánnyal – PKI felhasználásával Name Issuer Public Key Signature Párhuzamos és Grid rendszerek © BME-IIT Sz.I. John Doe 755 E. Woodlawn State of Urbana IL 61801 Illinois Seal BD 08-06-65 Male 6’0” 200lbs GRN Eyes 2013.03.11. - 38 -

39.

Azonosítás problémái • Melyik aláíró tanúsítványát fogadjuk el ? • Hogyan lehet meggy z dni, hogy tényleg az övé • Mi történik, ha ellopják, vagy elveszik a tanúsítvány? • Honnan tudom, hogy nem másolták le és ez csak egy másolat (hamisítvány) Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 39 -

40.

Feljogosítás Mit tehet, mit vehet igénybe ? – er forrás specifikus – seite-onként eltér lehet – virtuális szervezetek Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 40 -

41.

Azonosítás, feljogosítás host cert (long life) high frequency CA CA CA low frequency service user crl update user cert (long life) registration VO-VOMS VO-VOMS voms-proxy-init VO-VOMS proxy cert (short life) authz cert (short life) VO-VOMS authentication & authorization info Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 41 -

42.

Proxy tanúsítvány • Rövidlejáratú és korlátozott felhasználású X.509 tanúsítvány – Speciális tanúsítvány, amit egy normál végfelhasználó vagy egy másik proxy ír alá– Támogatja a delegációt Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 42 -

43.

Proxy tanúsítvány Identity of the user User Certificate Proxy Certificate Subject DN/Proxy Subject DN (new) public key (new) private key (not encrypted) Public Key Issuer (CA) Digital Signature grid-proxy-init Issuer (user) Digital Signature (user) User Certificate private key (encrypted) Subject DN sign Párhuzamos és Grid rendszerek © BME-IIT Sz.I. Public Key Issuer (CA) Digital Signature 2013.03.11. - 43 -

44.

Delegáció • Második szint proxy tanúsítvánnyal: – A távoli szerver generál proxy tanúsítványt egy új privát/publikus kulccsal, amit elküld a klienshez. – A kliens aláírja a proxy tanúsítványt és visszaküldi a szervernek. • Így a távoli processz a kliens nevében eljárhat. – a távoli szerver megszemélyesíti a felhasználót Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 44 -

45.

Myproxy server • Privát kulcs biztonságos tárolására. Általában 1-2 hét a lejárati id . • Képes a tárolt kulcs alapján proxy tanúsítvány meghosszabbítására. – hosszú futási idej jobok – myproxy-init, myproxy-logon Párhuzamos és Grid rendszerek © BME-IIT Sz.I. 2013.03.11. - 45 -

Utolsó frissítés: 2013-03-12 21.48