SpatialHadoop. Tema. U iversitatea Politeh ica Bucureşti Facultatea Electro ică,teleco u icaţii şi Teh ologia I for aţiei. Master IISC

Transcription

1 U iversitatea Politeh ica Bucureşti Facultatea Electro ică,teleco u icaţii şi Teh ologia I for aţiei Master IISC Disciplina Sisteme de operare avansate Tema SpatialHadoop Coordonator: prof. dr. ing. Stefan Stăncescu Masterand Sima Viorel Grupa: 411-IISC

2 Lista Figurilor Figura 1. Diferența modului de interogare între Hadoop și SpatialHadoop Figura 2. Schema arhitecturala SpatialHadoop Figura 3. Spatiul de indexare in SpatialHadoop Figura 4. Fazele partitionarii in SpatialHadoop Figura 5. Indexarea folosind R+-tree a stazilor Figura 6. Diferenta in timpul operatiunii de mapare intre Hadoop si SpatialHadoop Figura 7. Interogare knn pentru k=3 în SpatialHadoop

3 Cuprins Lista Figurilor... 2 Hadoop... 4 MapReduce... 4 Disponibilitatea si balansarea incarcaturii in Cloud Computing... 5 SpatialHadoop... 7 Introducere... 7 LANGUAGE LAYER STORAGE LAYER: INDEXING MAPREDUCE LAYER OPERATIONS LAYER Concluzii Bibliografie... 16

4 Hadoop Apash Hadoop este un software de tipul open source care este scalabil si poate sa fie folosit pentru prgramarea paralela. Libraria Apash Hadoop este un framework care permite programelor distribuite sa acceseze mai portiuni de date pe mai multe clustere folosind modele simple de programare. Are un design pentru o buna scalabilitate, poate sa creasca foarte usor de la un simplu server la mii de servere, fiecare dintre aceste servere avand spatii de stocare. Acesta nu se foloseste de hardware pentu a avea o buna disponibilitate, aceasta librarie este astfel conceputa pentru a detecta problemele care apar in layer-ul de aplicatie astfel aceasta poate sa detecteze si sa rezolve aceste probleme care apar.[12] Sistemul de fisiere Sistemul de fisiere al Hadoop-uui este un sistem distribuit scalabil si portabil, scris in java pentru framework-ul Hadoop. Un cluster Hadoop este format dintr-un singur name node si mai mutle data odes. Fiecare ditre aceste datanode servesc la blocarea datelor din retea folosind protocolul HDFS. HDFS stocheaza fisiere mari pe multiple sisteme, prin replicarea datelor acesta va face ca datele mentinute de el sa aiba o redundanta mare si astfele se va creste disponibilitatea datelor fara sa mai fie nevoei si alte sparii de stocare care folosesc RAID. Datele vor fi stocate in 3 noduri: 2 in acelasi rack si una intr-un rack diferit.aceste noduri pot sa comunice intre pentru a face o rebalansarea a datelor. [14] MapReduce MapReduce este un model de programare care este folosit in procesarea de date mari cu ajutorul unor algoritmi paraleli distribuiti pe un cluster. Un program MapReduce este compus dintr-o procedura de mapare Map() (se filtreaza si sorteaza datele ) si o procedura de reducere a datelor Reduce(). Acest sisteme face procesa prin marshalling serverele distribuite, ruleaza mai multe task-uri in paralel, manageriaza toate comunicatiile de date itre diferite parti ale sistemului oferind redundanta.[15] MapReduce engine este constituit din un JobTraker care gaseste nevoile utilizatorului.acesta transmite aceasta informative cartre TaskTraker care aloca nodurile necesare pentru gestionarea nevoilor sistemului. JobTraker cunoaste care noduri contin date si care sunt cele mai aproapiate de nodul care are nevoie de acele date, daca task-ul nu poate fi facut pe nodul de la care s-a cerut aceasta alocare de resurse acesta va reduce traficul in jurul acestui nod permitandu-i acestui nod sa foloseasca resursele nodurilor vecine [15]

5 Disponibilitatea si balansarea incarcaturii in Cloud Computing Disponibilitatea resurselor intr-un mod dinamic este unul dintre cele mai importante feature ale sistemelor actuale.sistemele din Cloud pot sa aiba probleme din cauza unor evenimente neasteptate meteorologice.din aceasta cauza este nevoie de un sistem care sa observe aceste schimbari in disponibilitatea sistemelor de tipul Cloud si sa aloce alfel resursele. Disponibilitatea trebuie sa fie analizata depinzand de performanta si de nevoile utilizatorului astfel se va putea face o scalare corecta a resurselor sistemelor ramase.cu ajutorul acestui algoritm de balansare al resusrelor se pot scadea timpii de failure ai sistemelor. De exemplu daca o problema apare asupra unui sistem atunci cu ajutorul acestui algoritm se pot migra operatiile catre un alt sistem. Prin aceast algortm se poate reduce de asemenea si consumul de energie.[13] Balansarea incarcaturii Este o noua tehnica care faciliteaza retelele si gestionarea resurselor prin maximizarea throughput cu un timp de raspuns cat mai mic.impartirea traficului intre servere, datele pot fi trimise fara un delay. Un exemplu din viata de zi cu zi sunt website-urile.fara aceasta balansare, utilizatorul va experimenta intarzieri in incaracara paginilor ceea ce va duce la o experienta mai putin placuta. Balansarea se poate face cu ajutorul unor algoritmi cum ar fi : Algoritmi statici si algoritmi dinamici.[13] In Cloud Computing, vanzatorii de Cloud ofera aceasta balansarea a incarcaturii ca si un feature, care permit entitatilor sa creasca numarul de procesoare sau de memorii pentru a obtine o mai buna eficentizare a resurselor. Acest feature depinde de nevoile de resurse pe care le are fiecare companie. Astfel se poate trage concluzia ca balansarea incarcaturii are 2 nevoi importante : 1.pentru a creste disponibilitarea resurselor 2. pentru a creste performanta Astazi exista multe software care imbunatatesc compatibilitatea hardware cu retelele distribuite. Aceste software sunt caracterizate ca si servicii de retea sau sunt componete ale software-ului care permit o buna scalabilitate a aplicatiei si a retelei.exista mai multe modele de aplicatii care sunt folosite in interiorul middleware. Pentru o buna comunicatie la nivelelul reteli sau pentru o cresterea a optimizarii modului de alocare a resurselor se pot folosii diferite arhitecturi in retelele distribuite.

6 Tranzactiile Este necesar un sistem care monitorizeaza toate tranzactiile prin toate entitatiie, deoarece este necesar sa se cunoasca unde au fost alocate resursele si cat timp au fost acestea alocate. Astfel sistemele cloud vor scala mult mai rapid ceea ce va face ca disponibilitatea resurselor sa creasca, prin aceste optimizari se va reduce si costul energieie ceea ce se va traduce intr-un profit mai bun. Acest sisteme de monitoririzre este inca un concept foarte nou ceea ce inseamana ca pot exista si mici bug-uri. De exeplu vanzatorii de clodu pot utiliza aceste sisteme de monitorizare problema apare prin faptul ca nu se pot inca monitoriza cu exacticitatea taote aceste tranzactii, astfel nu se pot folosii inca 100% corect resursele sistemului ceea ce duce la pierderi din castig. [13] Disponibilitatea HDM(The Hospital Data Management ) HDM este un sistem care creste disponibilitatea si eficenta gasiirii datelor din multiple baze de date intr-o infrastructura de tipul cloud. [13] Aceste sisteme sunt folosite de asemenea pentru a mari scalabilitatea sistemelor prin identifacarea modului in care au fost alocate datele si costinduind pe baza acestor indentificari noi moduri de gasire si recuperarea a datelor. Prin folosirea compresiei dimensiunea datelor va scadea ceea ce se traduce printr-un cost mai mic cu aceelasi resurse. [13] Principalele masuratori care pot facute intr-un sistem HDM Observarea de paterni Prevederea folosirii resurselor Compresia CPU usage, rata de transfer Acest sistem poate sa prevada ce date sunt foarte des folosite si sa tina aceste date intr-o memorie de tip cache, astfel poate fi crescuta rata de transfer si dea asemenea sa se miimilizeze pachetele ceea ce duce la o mai buna functionarea a retelei.[13]

7 SpatialHadoop Introducere Încă din 2007 Hadoop a fost adoptat ca o soluție pentru procesoarele scalabile si pentru marile baze de date de exemplu : machine learning, procesări de grafice. Hadoop folosește MapReduce o paradigma de programare simplificata pentru procese distribuite pentru a construi un Framework. Abstractizarea programării folosind MapReduce simplifică programarea pentru dezvoltatori, in timp ce Framework-ul MapReduce se ocupa de paralelism, de toleranta la defecte si de alte mici probleme.in acest timp exista o explozie imensa în ceea ce privește datele spațiale de la diferite dispozitive cum ar fi smat phones. De exemplu sateliți NASA au date arhiva de peste 500TB si datele aceste sunt in crestere. Astfel s-a început o cercetare amănunțită asupra avantajelor care le poate oferii MapReduce. In mediile academice au început sa apară 3 tipuri de prototipuri pentru o eficentizare mai buna a modului de parcurgere si stocare al datelor de mari dimensiuni. [1][2][3][4] 1. Parallel-Secondo este un DBMS care foloseste Hadoop pentru a distribui taskurile [1] [2][3][4] 2. MD-HBase extinde HBase către un model non relațional pentru bazele de date Hadoop pentru a se putea un suport pentru indecşii multidimensionali[1] [2][3][4] 3. Hadoop-GIS extinde Hive (un fel de magazie ca si structura si este construi peste Hadoop ), foloseste uniform grid index pentru interogari si self-join. [1] [2][3][4] Principala problema care apare in aceste sisteme este aceea acestea încă trebuie sa folosească Hadoop ca un black box, astfel încep sa apară limitări pentru sistemele actuale Hadoop. De exemplu Hadoop GIS care este cel mai avansat prototip de pana acum suferă din cauza următoarelor limitări. Hadoop nu a fost gândit pentru datele de tip spațial deoarece aceste date trebuie sa fie privite puțin diferit fata de datele non spațiale. Astfel daca se va folosi Hadoop ca si black box vor începe sa apară diferite limitări de performanța cum ar fi bottlenecks. De asemenea HadoopGIS folosește Hive, iar acest lucru îl limitează sa poată sa fie folosit doar pentru datele distribuite uniform. Fiind deasupra Hadoop-ului, programele MapReduce nu pot accesa indecşi spațiali. Astfel utilizatorii nu pot definii noi operații spațiale fața de cele deja implementate [1] [2][3][4]

8 SpatialHadoop este un nou Framework al MapReduce care are un suport native pentru datele spațiale. Acesta depășește limitările tuturor Framework-uri. SpatialHadoop are în el un nou nou cod care îi permite utilizatorului să modifice indecși spațiali. Acesta este cheia care staă in spatele eficienţei Framework-ului SpatialHadoop. SpatialHadoop poate sa folosească un set de indecși spațiali care pot sa includă si indecși de tipul Rtree, care sunt construiți in interiorul sistemelor distribuite Hadoop. Asta face ca SpatialHadoop sa fie unic prin tipul acesta de abordare, de asemenea utilizatorii SpatialHadoop pot sa interacționeze direct cu Hadoop pentru a dezvolta o multitudine de funcții spațiale. SpatialHadoop este de tipul open source si deja a fost descărcata de peste 75,000. [1] [2][3][4] Figura 1 Diferenta modului de interogare intre Hadoop si SpatialHadoop[1] Interogarea găsește toate punctele care sunt localizate într-o zona rectangulară si este reprezentata de 2 colturi hx1, y1i si hx2,y2i. Prima interogare arata cat de mult se foloseste din memorie, în timp ce a doua selectează datele care depășesc o anumita constanta, cum Hadoop nu are indecși spațiali, acesta trebuie sa scaneze toate datele ca sa răspundă la interogarea făcuta, din acest motiv performanta este foarte scăzuta. Este nevoie de aproximativ 200 de secunde pentru un cluster Hadoop de 20 de noduri ca sa proceseze o încărcătura de 60GB (70M de obiecte spațiale ). Pe de cealaltă parte SpatialHadoop folosește indecșii ca sa facă aceeași lucru in aproximativ 2 secunde. In plus codul din Hadoop este mi greu de citit din cauza vechimi sale. [1] [2][3][4] SaptialHaoop este compus din 4 nivele : limbaj,stocare, MapReduce, nivelul de operații, toate acestea se afla in interiorul codului de baza Hadoop. Limbajul folosit este Pigeon care

9 este un limbaj de nivel înalt care face ca datele spațiale sa poată fi mai ușor implementate de către utilizatori. Nivelul de stocare este un nivel care are 2 indecși (unul local si unul global ). [1] Index-ul global împarte datele pe mai multe noduri in timp de index-ul local organizează datele in fiecare nod, acest index este folosit pentru a se găsi 3 indecși spațiali Grid file, R-tree si R+- tree. Pentru ca acești indecși sa fie accesibili către programele MapReduce, SpatialHadoop introduce 2 noi componente in nivelul de MapReduce numite SpatialFileSplitter si SpatialRecordReader care exploatează cei doi indecși cel global si cel local. Nivelul de operații care încapsulează a mulțime de operații spațiale folosește avantajul noilor componente in un mediu de stocare si de nivelele MapReduce. [1] [2][3][4] Figura 2. Schema arhitecturala SpatialHadoop[1] In Figura 2 este prezentat arhitectura SpatialHadoop. Similar cu Hadoop, cluster-ul SpatialHadoop conține unul dinte nodurile master care sparge job-ul map-reduce in task-uri mai mici, aceste task-uri sunt făcute de către nodurile slave. Exista 3 tipuri de utilizatori care interacționează cu SpatialHadoop. [1] [2][3][4] 1.Userii obișnuiți care accesează SpatialHadoop prin limbajul spațial pentru a putea sa iși proceseze seturile de date. [1] [2][3][4]

10 2.Dezvoltatorii care au nevoie de o mai buna înțelegere a sistemului ca sa poată sa implementeze noi operații spațiale [1] 3. Administratorii care pot sa își îmbunătățească sistemele prin ajustări ai parametrilor în fișierele de configurare. SpatialHadoop adopta nivele de design pentru simplificarea datelor spațiale. [1] LANGUAGE LAYER Deoarece paradigma MapReduce necesita un mare efort pentru ca operațiunea programarea sa fie făcuta corect, au apărut un set de declarații SQL pentru a îmbunătății acest lucru. SpatialHadoop nu oferă un limbaj nou de programarea ci aduce niște mici extensii, pentru a se putea adăuga tipuri de date si de funcții spațiale. [5] [6][7] 1. Tipurile de date. Pigeon este un limbaj care suprascrie tipurile de date bytearray ex : lakes = LOAD lakes AS (id:int, area:polygon) ; [5] [6][7] 2. Functile spatiale Pigeon foloseste functii definite de utilizator. Urmatorul exemplu arata cum se poate folosi funcira de distanta care masoara distanta dintre o casa si serviciu sc_loc. houses_with_distance = FOREACH houses GENERATE id, Distance(house_loc, sc_loc); ; [5] [6][7] 3. Interogarea KNN care imbogateste limbajul Pig Latin printr-un nou statement KNN de exemplu : nearest_houses = KNN houses WITH_K=100 USING Distance(house_loc, query_loc). [5] [6][7] In plus se rescriu o parete din directivele utiliate in Pig Latin. [5] [6][7] 1.Filter. Pentru a se sustine o mare difersitate de interogari, se va suprascrie Filter din Pig Latin pentru ca acesta sa accepte un spatial predicate si sa ceara procedura corespunzatore pentru aceste interogari.de exemplu : houses_in_range = FILTER houses BY Overlaps(house_loc, query_range); [5] [6][7] 2.Join. Pentru a se putea face join-uri spatiale va trebui sa fie rescrisa statement JOIN din Pig Latin astfel acesta va trebui sa primeasca 2 fisiere spatiale a imput.apoi acest Join statement este trimis catre procedurile specifice spatiale. exemplu: lakes_states = JOIN lakes BY lakes_boundary states BY states_boundary PREDICATE = Overlaps. [5] [6][7]

11 STORAGE LAYER: INDEXING Indexarea.Deoarece unele fisierele din Hadoop sunt fisiere din heap care nu sunt indexate corect, performanta este limintata, pentru a se depasi aceasta limitatie, SpatialHadoop a folosit indexe spatiale care se afla in interiorul sistemelor distribuite din Hadoop ceea ce va face ca datele sa fie usor de gasit. Aceasta indexare este principalul avantaj fata de Hadoop. [8][9][10] Figura 3. Spatiul de indexare in SpatialHadoop In mod traditional indexarea aeasta nu era posibila in Hadoop din cauza a doua pricine. Index-urile sunt structuri optimizate pentru programarea procedurala, in acest tip de programare programele sunt executate secvential, in timp ce SpatialHadoop foloseste programare functionala, in care programul este compus dintr-o harta care reduce functiile executate de catre noduri. [8][9][10] Algoritmi paraleli pentru R-trees sunt inca in dezvoltare, aici dezvoltatori incearca sa dezvolte noi algoritmi paraleli ca sa poate rezeolva problemele folosind multiple thread-uri. Un fisier in HDFS poate sa fie scris numai secvenial.tehinica de bulk loading pentru fisierele Grid si R-tree nu este inca aplicabila seturilor de date mari folosite in SpatialHadoop deoarece ele au nevoei ca inteaga baza de date sa se afle in memorie. [8][9][10] Figura 4. Fazele partitionarii in SpatialHadoop

12 Aceste tehnici pentru indexare spațiala în Hadoop vor fi împărțite in 3 categorii. 1.Build only. O abordare MapReduce is aceea care este propusa pentru a construi un R-tree, dar acest R-tree trebuie sa aibă interogări in exteriorul MapReduce folosind tehnicile traditionale. [8][9][10] 2. Custom on-the-fly indexing cu fiecare executie de interogare, un index care nu este obisnuit este creat si distrus dupa fiecare astfel de interogare [8][9][10] 3.Indexare in HDFS- Momentan este cunoscut doar faptul ca exista numai indecsi bazati doar pe HDF pentru a fi setate traictoriile, cu toate acestea structura acestor indecsi poate sa sustina numai o parte din interogari pentru un set de traictorii, ceea ce inseamna ca sunt foarte limitati.indexarea spatiala in Spatial Hadoop este in interiorul celei de a 3 categorie deoarece este construita in interiorul HDFS. Cu toate acestea in ciuda diferitelor abordari, indexarea in SpatialHadoop adopta HDFS pentru urmatroarel standarde :indexarea structurilor, numelor, Grid file, R-tree, R+-tree, de asemenea pot fi folosite pentru a sustine diferite interogari scise in MapReduce. [8][9][10]. Figura 5. Indexarea folosind R+-tree a stazilor[1] In figura 5 este dat un exemplu despre nevoia de indexare sub forma de R+-tree(si R-tree) in SpatialHadoop, ceea ce arata si cheia principala care sta in spatele performantei folosirii framework SpatialHadoop. In aceasta figura este aratat cum este partitionat acestindex R+- tree care este constituit dintr-un fisier de dimensiunea de 400GB, acesta include toate retelele care au fost extrase din OpenStreetMap. Poligoanele negre din figura indinca felul in care sunt partitionate granitele indescilor globali. Fiecare partitie este suficenta numai pentru 64MB de

13 date, dupa cum se poate observa in figura in zonele dense ex Europa, sunt folosite foarte multe poligoane, dar in zonele unde nu avem nevoie de inforamtie sunt continute numai de cateva poligoane de exemplu Oceanle. Aceasta figura poate fi privita ca un fisier de 400GB care este impartit in mici particele de cate 64MB fiecare aceeasta este cheia transformarii si astfel este aratat avantajul folosirii SpatialHadoop fata de Hadoop. [8][9][10] MAPREDUCE LAYER Acesta este similar cu Hadoop, acest nivel de MapReduce in interiorul SpatialHadoop este un nivel in care se executa anumite interogării. Cu toate acesta în ciuda felului in care Hadoop face input-ul de fișiere care sunt nu sunt indexate, SpatialHadoop poate sa susțină fișiere care sunt indexate spațial. In Figura 6 este arătat felul cum sunt gestionate fișierele atât din punctul de vedere al Hadoop cat si din punctul de vederea al Frameworlk-ului SpatialHadoop. In Hadoop fișierele de imput trec prin un FileSplitter care împarte aceste fișiere in n bucăți, unde n este setat prin programul de MapReduce, bazat pe numărul de noduri care sunt disponibile. Apoi fiecare dintre aceste parți se duc către un RecordReader care extrage înregistrările ca fiind valori pereche ale cheii, apoi aceste valori sunt folosite in funcția de mapare. SpatialHadoop îmbogățește vechiul sistem Hadoop prin 2 componente majore : SpatialFilterSplitter si un splitter care exploateaza indexurile globale si un SpatialRecor dreader care citește un split din fisierul spațial indexat si exploatează indexurile locale pentru a eficientiza procesul[8] Figura 6. Diferenta in timpul operatiunii de mapare intre Hadoop si SpatialHadoop[8]

14 OPERATIONS LAYER Aceasta com i ație de i de și spațiali in interiorul nivelului de sto are u oul ivel spațial din MapReduce oferă Framework-ului SpatialHadoop cu posibilitatea de eficie tizare a i e selor operații spațiale.se pot o serva î deose i 3 operații specifice [11] 1.rage query 2.spatial join 3.knn KNN - Nearest Neighbor este o interogare care ia un set de puncte p, un punct Q de mijloc si un k u ăr întreg ca si imput, apoi va returna k cele mai apropiate P puncte de Q. In Hadoop un algoritm knn sca ează toate pu tele di i teriorul fișierului, al ulează distanta Q si produce k rezultate. Cu ajutorul SpatialHadoop se vor exploata diferite tehnici de taiere, iar pri a este teh i i se vor o ți e o mai buna performanta decât in cazul Hadoop. Un algoritm KNN de interogare într-un SpatialHadoop este o pus di 3 pași: [11] 1. Pasul i ițial u de apare u pri răspuns aproximativ cu privire la cate puncte k sunt apropiate de Q, apoi acea parte selectata este transmisa SparilRecodReaderto, pentru ca acesta sa produ ă acei k reali 2. e verifi a î ă o data ca rezultatele alese sa fie reale, se dese ează un cerc de test cu centrul cercului centrat pe Q si cu raza egala cu dista ta di tre Q si k(este el ai î depărtat vecin care a fost caracterizat ca fă ând parte din partea Q ), daca rezultatul nu este in afara lui Q atunci rezultatul este corect daca nu se trece pa pasul al 3-lea. [11] 3. Răspunsul corect cuprinde doar ce se afla in interiorul cercului C de test. [11] Figura 7. Interogare knn pentru k=3 in SpatialHadoop

15 I Figura 7 este arătat 2 exemple de interogare folosind KNN pentru k=3. In figura 7 a se poate observa cer ul de test C for at di o ulți e de pu te si are o ți e răspu sul i ițial {p1,p2,p3}.in figura 7b se observa cercul C are se i terse tează u alte lo uri. Astfel răspunsul in acest caz va fi {p1,p2,p7}.[9] Concluzii SpatialHadoop este un Framework care este foarte folositor atunci când este nevoie de procesare de date foarte mari ca si dimensiune. A esta are o reștere a ti pului de exe uție fata de Hadoop de pana la 100 ori. De asemenea din cauza limbajului de programare care este folosit in implementare si care este destul de apropiat u QL este ult ai ușor de folosit.

16

17 Bibliografie [1]. SpatialHadoop: A MapReduce Framework for Spatial Data by Ahmed Eldawy Mohamed F. Mokbel Computer Science and Engineering, University of Minnesota, Minneapolis, MN, USA April 2015 [2] [3] G. Wang, M. Salles, B. Sowell, X. Wang, T. Cao, A. Demers, J. Gehrke, and W. White, Behavioral Simulations in MapReduce, PVLDB, [4] J. Dean and S. Ghemawat, MapReduce: Simplified Data Processing on Large Clusters, Communications of ACM, vol. 51, [5] C. Olston, et. al. Pig Latin: A Not-so-foreign Language for Data Processing, in SIGMOD, [6] A. Eldawy and M. F. Mokbel, Pigeon: A Spatial MapReduce Language, in ICDE, [7] [8] A. Akdogan, U. Demiryurek, F. Banaei-Kashani, and C. Shahabi, Voronoi-based Geospatial Query Processing with MapReduce, in CLOUDCOM, [9] K. Wang, et. al. Accelerating Spatial Data Processing with MapReduce, in ICPADS, [10] J. Patel and D. DeWitt, Partition Based Spatial-Merge Join, in SIGMOD, [11]W. Lu, Y. Shen, S. Chen, and B. C. Ooi, Efficient Processing of k Nearest Neighbor Joins using MapReduce, PVLDB, [12] [13] [14] [15]