KLASTEROVANJE KADA PODACI NEDOSTAJU KORIŠĆENJEM METODE PROMENLJIVIH OKOLINA CLUSTERING WHEN MISSING DATA BY USING THE VARIABLE NEIGHBORHOOD SEARCH

Transcription

1 KLASTEROVANJE KADA PODACI NEDOSTAJU KORIŠĆENJEM METODE PROMENLJIVIH OKOLINA CLUSTERING WHEN MISSING DATA BY USING THE VARIABLE NEIGHBORHOOD SEARCH NATAŠA GLIŠOVIĆ 1, TATJANA DAVIDOVIC, MIODRAG RAŠKOVIĆ 1 Državni Univerzitet u Novom Pazaru, natasaglisovic@gmail.com Matematički Institut SANU, {tanad, goca@mi.sanu.ac.rs} Rezime: Rad se bavi istraživanem efikasnosti klasterovana pomoću metode promenlivih okolina (eng. Variable neighborhood search-vns), konkretno, pomoću nekih nenih varianti. Takođe, bavi se i problemom nedostaućih podataka i donošena odluke u takvim okolnostima. Cil ovog istraživana e da se predloženo rastoane, u slučaevima kada podaci iz nekog razloga nedostau, implementira kroz neke variante metaheurističke metode promenlivih okolina. Efikasnost implementacie pokazana e kroz eksperimentalne rezultate na konkretno bazi autoimunih bolesti Kliničkog centra Srbie. Klučne reči: metod promenlivih okolina (VNS), redukovana metoda promnlivih okolina (RVNS), nedostaući podaci, rastoane, klasterovane, autoimune bolesti. Abstract: The paper deals with the study of the clustering efficiency with the variable neighborhood search- (VNS), more precisely with some of its varianse. It also deals with the problem of missing data and decision making in such circumstances. The aim of this research is to implement the proposed distance, in cases when data for some reason are missing, into some variants of the variable neighborhood search metaheuristic method. The efficiency of the proposed implementation is demonstrated through the experimental results on the concrete basis of autoimmune diseases from the Clinical Center of Serbia.. Keywords: Variable neighborhood search (VNS), Reduced Variable neighborhood search (RVNS), Missing Data, Distance, Clustering, Autoimmune Diseases. 1. UVOD Mogućnosti primene operacionih istraživana u medicini su mnogostruke, na primer postavlane diagnoza, dozirane terapie, optimizacia dužine lečena i slično. U ovom radu razmatra se primena optimizacionih metoda u postavlanu diagnoze bolesnicima na osnovu izvršenih pregleda i analiza. Svaki pacient predstavlen e vektorom atributa koi se sastoi od rezultata izvršenih analiza. Diagnoza se ustvari svodi na klasterovane pacienata u zadati bro bolesti na osnovu rastoana definisanih nad odgovaraućim vektorima. Klasterovane (eng. clustering) e tehnika istraživana podataka koa otkriva obekte (koi se opisuu atributima) sličnih osobina i deli ih u grupe (klastere), čineći ih pregledniim i korisniim. Klaster analiza zapravo predstavla pronalažene grupa obekata takvih da su obekti u grupi međusobno slični (ili povezani), a da su obekti u različitim grupama međusobno raličiti (ili nepovezani). Metode zasnovane na udalenosti su veoma popularne u literaturi, er mogu da se koriste za bilo koi tip podataka, dok god postoi odgovarauća funkcia rastoana pogodna za tu vrstu podataka. Dakle, problem grupisana podataka može da se svede na problem pronalažena funkcie rastoana za tu vrstu podataka. Iz ovoga proizilazi da e pronalažene funkcie rastoana postala važna oblast istraživana u obradi podataka (Wang and Sun 01; Das and Mannila 000). Da bi se uopšte sprovela analiza grupisana, neophodno e definisati mere bliskosti dva obekta na osnovu nihovih karakteristika. Koncept sličnosti se određue u zavisnosti od samih podataka. S obzirom da su podaci u većini slučaeva vektori stvarnih vrednosti, Euklidska udalenost između podataka može poslužiti kao mera te različitosti. Međutim, edan od nedostataka poznatih rastoana (kao što su: Euklidsko rastoane, Menhetn rastoane, rastoane Minkovskog) e što se mogu primeniti samo kada nam e poznata vrednost svih komponenti, t. osobina koe posmatramo kod obekata (Aggarwal 003). 158

2 Osnovni problem pri primeni standardnih metoda klasterovana na problem razmatran u ovom radu e što u medicini nie lako odrediti rastoane s obzirom da veoma često neke od analiza nedostau. Zato se koristi nova funkcia merena rastoana predložena u prethodnim istraživanima (Glišović and Rašković 017) koa e ugrađena u model celobronog linearnog programirana (eng. Integer Linear Programming, ILP) i nove heurističke metode zasnovane na metaheurističko metodi promenlivih okolina. Implementirane metode primenene su u klasterovanu medicinskih podataka Kliničkog centra Srbie, odelena za alergologiu i imunologiu kod koih se avio problem nedostaućih podataka. Istraživane e prikazano kroz nekoliko faza. Pošto baza podataka koa e korišćena u eksperimentalnom delu ima nedostauće podatke za poedine atribute (koi opisuu svaki element baze, obekat), u ovom istraživanu smo prvo opisali predloženo rastoane na osnovu koeg možemo odrediti udalenost dva obekta kada podaci nedostau. U narednom odelku će biti reči o problemu nedostaućih podataka kao i izboru mera sličnosti/rastoana. Zatim ćemo formulisati problem klasterovana kao i primenu osnovne i redukovane metode promenlivih okolina na problem klasterovana sa nedostaučim podacima. Rezultati istraživana biće predstavleni u odelku 4, a zaklučak i mogućnosti za neka dala istraživana predstavićemo u odelku 5.. PROBLEM NEDOSTAJUĆIH PODATAKA. IZBOR MERA SLIČNOSTI/RASTOJANJA Problem nedostaućih podataka e od velikog značaa. Kada se govori o mehanizmima nedostaućih podataka treba utvrditi prvo razlog nedostaana podataka. Podaci mogu nedostaati iz više razloga. Neki od nih su: podaci nisu raspoloživi, došlo e do grešaka u radu sa opremom, nekonzistentnosti sa drugim podacima, pa su zato izbrisani, nisu unešeni zbog nerazumevana, nisu smatrani bitnim u trenutku unosa itd. Bitna e odluka šta raditi sa nedostaućim podacima. Neke od mogućnosti su (Graham 01): Izbrisati elemente kod koih se avlau nedostaući podaci-što nie preporučlivo posebno kod klasifikacie, a naročito ako nedostauće vrednosti variau od elementa do elementa, t. nedostau različiti elementi kod različitih obekata (vektora). Ručno popunavane nedostaućih vrednosti koe e zamorno i često neizvodlivo. Automatsko popunavane: nekom opštom konstantom, srednom vrednosti elemenata za sve obekte (vektore) koi pripadau isto klasi. Naverovatnia vrednost-zaklučak se donosi na osnovu Baesove formule ili prema stablu odlučivana. U bazi sa koom se radilo u ovom istaživanu (baza pacienata koi boluu od autoimunih bolesti) do nedostaućih podataka e došlo zato što za neke od pacienata nie bilo potrebe da se odrade određene analize, er se pre nih ustanovilo o koo bolesti e reč ili nie bilo sredstava zato što su poedine analize skupe, a neki od podataka nedostau zbog gubitka tog podatka u trenutku unosa u bazu podataka (u otpusnim listama na osnovu koih su unošeni podaci došlo e do previda). Da bi prevazišli ovo ograničene, a da opet sačuvamo kompaktnost nalaza t. da ne vršimo brisane nalaza kod koih postoe nedostaući podaci, predlažemo da se koristi rastoane definisano formulom (1) predloženo u Glišović and Rašković (017). Da bi se uopšte sprovela analiza grupisana, neophodno e definisati mere bliskosti dva obekta na osnovu nihovih karakteristika. Koncept sličnosti se određue u zavisnosti od samih podataka. S obzirom da su podaci u većini slučaeva vektori stvarnih vrednosti, Euklidska udalenost između podataka može poslužiti kao mera te različitosti. Neka baza podataka sadrži m obekata n n n xi R, i 1,..., m. Za meru d: R R R kažemo da n n predstavla meru različitosti (rastoana, metrike), obekata xi R i y R u oznaci di d( xi, y) ako zadovolava sledeće osobine za sve obekte: 1. di 0 (uslov nenegativnosti) d d (uslov simetričnosti). i i 3. di dik dk (uslov neednakosti trougla) Za meru s sx (, y) i i kažemo da predstavla meru sličnosti obekata xi i zadovolava sledeće osobine: (uslov normiranosti) s i. si 1, samo ako su obekti ednaki y, gde e 1 i, m, ako i 159

3 s 3. i i s (uslov simetričnosti) Pored problema nedostaućih podataka opisanog iznad, unešeni podaci u bazi kou smo koristili su šifrovani, pa se zato došlo na ideu korišćena Hamingovog rastoana (eng. Hamming distance) (Norouzi et al 01) i predloga novog rastoana koe koristi Hamingovo. Neka e F konačan skup vektora. n d x, y između dva vektora x, y F e bro mesta (elemenata) na Definicia: Hamingovo rastoane koim se ova dva vektora razlikuu. Rastoane predloženo u Glišović and Rašković (017) koristi Hamingovo rastoane i iskazne formule. Korišćene iskaznih formula u definicii rastoana e zbog opštosti rastoana. Neka su i dva skupa iskaznih formula koem pripadau formule koe predstavlau konunkciu literala. Predloženo rastoane između ova dva skupa iskaznih formula definisano e sa: max min d( A, B) max min d( A, B) A B B A D(, ) (1) gde e d( A, B ) Hamingovo rastoane. Primer: Neka su data dva vektora v 1 i v dužine tri sa vrednostima elemenata a, b i c na takav način da imamo sledeće podatke o vektorima: vektor v 1 ima а b (iz nekog razloga nedostae informacia o vrednosti elementa c ) vektor v ima а b c Ako primenimo predloženo rastoane, formula koa opisue prvi vektor, је: а b ( c c). Kada pretvorimo sve u konukcie imećemo dve formule а b c i а b c (te dve formule pripadau skupu formula ). Dok skup formula drugog vektora, skup, čini samo formula а b c. Ako primenimo rastoane (1), na ova dva vektora, dobićemo da ono iznosi: max min d( A, B) max min d( A, B) A B B A D(, ) max min (, ),min (, ) max min (, ), (, )) maxmin 1,min maxmin1, 1 3. d а bcа bc d а bcаbc d а bcаbc d а bcаbc 3. FORMULACIJA PROBLEMA KLSTEROVANJA. OSNOVNA I REDUKOVANA METODA PROMENLJIVIH OKOLINA 3.1. KLASTEROVANJE Postoi nekoliko formulacia problema klasterovana zavisno od funkcie cila koa se optimizue, a u ovom istraživalu e korišćena formulacia preko problema p-mediane (Mladenović et al. 007). Neka su x i i y binarne promenlive definisane na sledeći način: x y i 1, ako se obekat i nalazi u klasteru, 0, inače. 1, ako obekat reprezentue odgovaraući klaster, 0, inače. dx () min i i i t. d. xi 1 za svako i (3) x i y za svako i, (4) 160

4 y p (5) x, y 0,1 (6) i Formulacia e iskorišćena u komercialnom solveru CPLEX za dobiane optimalnog rešena kao referentog rezultata za utvrđivane performanse VNS metoda. Problem koi se u ovom radu razmatra odnosi se na klasterovane pacienata u cilu postavlana odgovaraućih diagnoza. Svaki pacient opisan e vektorom nalaza među koima neki od elemenata mogu nedostaati. Bro klastera (mogućih bolesti) zadat e unapred. U bazi sa koom se radilo u ovom istaživanu (baza pacienata koi boluu od autoimunih bolesti) ima 45 pacienata koi su opisani kroz 89 nalaza. Primer nekih od nalaza sa kodiranim odgovaraućim vrednostima dat e u Tabeli 1. Baza e kodirana i ima nedostauće podatke tako da smo u postupku klasterovana primenili rastoane (1) opisano u odelku. Ukoliko neki nalaz nedostae, odgovarauća vrednost u vektoru ne postoi. Tabela 1: Nazivi i vrednosti nekih od 89 nalaza kao ilustrativni primer kodirane baze. Nalaz Vrednost Coombsov test 0. negativan; 1. Pozitivan ANA 0. negativan; 1. pozitivan<1:80;. pozitivan >1:80 PH biopsie bubrega 0. uredno; 1. mezancialni N II;. fokalno prolif. III; 3. difuzno prolif. IV; 4.membranski GN V; 5. skleroza (UZ) Pacienti se svrstavau u tri grupe (klastere) er se u bazi nalaze pacienti koi boluu od tri bolestisistemska skleroza, segren i lupus. Svaki klaster karakteriše se svoim centroidom koi e u našem slučau realni pacient. To znači da se pacienti grupišu na osnovu rastoana od izabranog centroida. 3.. OSNOVNA I REDUKOVANA METODA PROMENLJIVIH OKOLINA Metoda promelivih okolina e metaheuristika koa e predstavlena devedesetih godina prošlog veka (Mladenović 1995, Mladenović and Hansen 1997) nakon čega e doživela mnogo promena i ekstenzia (Hansen et al. 010, Hansen et al. 010a), kao i uspešnih primena (Hansen and Mladenović 01). VNS metaheuristika zasnovana e na tri osnovne činenice: 1. Lokalni minimum u odnosu na ednu okolinu ne mora biti i lokalni minimum u odnosu na neku drugu okolinu;. Globalni minimum e lokalni minimum u odnosu na sve okoline; 3. Za većinu problema lokalni minimumi u odnosu na razne okoline su međusobno bliski. Naednostavnia varianta VNS metode e redukovana metoda promenlivih okolina (RVNS). Ona se sastoi u sistemsko promeni okolina i izboru ednog slučanog rešena u svako od okolina. Koraci odlučivana bazirani su na tom ednom slučanom rešenu. Ova metoda e izuzetno korisna za dobiane početnih rešena kod primera velikih dimenzia i naboli rezultat se dobia nenom kombinaciom sa nekom drugom variantom. Pesudokod RVNS metode dat e na slici 1. Uobičaeni kriterium zaustavlana e maksimalni bro iteracia između dva pobolšana. Osnovna metoda promenlivih okolina (BVNS) e narasprostranenia varianta metode promenlivih okolina er obezbeđue više preduslova za dobiane kvalitetniih konačnih rešena. Kod BVNS metode osnovni koraci sadržani su u petli u koo menamo indeks okoline i, određuemo slučano rešene iz te okoline, izvršavamo proceduru lokalnog pretraživana počev od tog slučanog rešena i proveravamo kvalitet dobienog lokalnog minimuma. Ove korake ponavlamo dok ne bude zadovolen neki od kriteriuma zaustavlana. Prilikom svakog odabira okoline početna rešena generišemo na slučaan način kako bi obezbedili pretraživane različitih regiona kod svakog sledećeg razmrdavana u okolini i. Okoline razlikuemo po brou transformacia (rastoanu) ili po vrsti transformacia (metrici). Napominemo da okoline za izbor slučanog rešena (razmrdavane) i lokalno pretraživane ne morau biti istog tipa. Pseudokod BVNS metode dat e na slici. RVNS i BVNS primeneni na problem klasterovana pacienata implementirani su na sledeći način. Napre su izračunata rastoana između pacienata primenom formule (1). U fazi predprocesirana vrste matrice rastoana (kao i odgovaraući indeksi pacienata) sortirane su u neopadaućem poretku. Ovi podaci korišćeni su za efikasniu implementaciu operatora razmrdavana. Naime, kako se svako rešene karakteriše skupom centroida, operator razmrdavana sastoi se u zameni odgovaraućeg broa centroida. Preciznie, razmrdavane u okolini k podrazumeva da se centroidi zamene slučano izabranim pacientima koi nisu centroidi, a udaleni su naviše k mesta od centroida koga menau. U svakom koraku razmatra se zamena 161

5 svih centroida, pri čemu do zamene neće doći ukoliko e slučano izabrani pacient nabliži tom centroidu (ustvari to e sam ta centroid). Lokalno pretraživane sastoi se u sistematsko zameni ednog centroida pacientom koi nie centroid. Ono polazi od rešena dobienog razmrdavanem i izvršava se po best improvement principu dok god ima pobolšana. Slika 1. Pseudokod RVNS metode 4. REZULTATI ISTRAŽIVANJA Slika. Pseudokod BVNS metode RVNS i BVNS metode implementirane su u C# programskom eziku na računaru HP-15-d055,.pod operativnim sistemom Windows 10 Pro. S obzirom na stohastičku prirodu metoda vršeno e 100 restartovana, a kao kriterium zaustavlana zadato e vreme izvršavana CPLEX komercialnog solvera (1.09 s). Optimalno rešene CPLEX-a e 8.19, što e i postignuto i kod obe variante VNS-a, ali za znatno kraće vreme (Tabela ). Napominemo da su vremena data u tabeli izražena u milisekundama. Implementirane VNS metode pokazale su veliku stabilnost er e od 100 puštana u BVNS-u nabole rešene dostignuto 86 puta, dok e kod RVNS-a to bilo 83 puta. Na osnovu rezultata prikazanih u tabeli može se zaklučiti da e BVNS stabilnia varianta dok e RVNS značanie brža uz neznatan gubitak na stabilnosti. 16

6 Tabela : Rezultati RVNS-a i BVNS-a. Metoda Vrednost naboleg Prosečna vrednost Prosečno vreme (ms) rešena funkcie cila RVNS BVNS Ako se analizira uspešnost svrstavana pacienata u odgovarauće klastere upoređena sa originalnom bazom dobie se da e kod RVNS-a i BVNS-a 91.1% pacienata ispravno određena bolest (od 45 pacienata 4 su raspoređena u klastere koima ne pripadau). Medicinski gledano, ta četiri bolesnika su bila iz grupe lupusa (u izvorno bazi sa tom diagnozom), a raspoređeni su u segren klaster. Mada, uz konsultovane stručnaka iz medicine ove dve bolesti esu bliske edna drugo i dešava se u praksi da pacienti sa ednom diagnozom pređu vremenom u drugu (iz lupusa u segren i obrnuto). 5. ZAKLJUČAK U ovom istraživanu cil e bio da se da predlog kalsterovana sa nedostaućim podacima, t. da se ova NP težak problem implementira kroz metaherustičku metodu promenlivih okolina (VNS) i pokaže nena uspešnost u rešavanu ovog problema na konkretnom problemu klasterovana pacienata koi boluu od autoimunih bolesti. Rezultati prikazani u tabeli ukazuu da su metode zasnovane na VNS metaheuristici dostigle optimalno rešene (dobieno pomoću CPLEX solvera) za značano kraće vreme. Dale istraživane treba da obuhvati primene ovih metoda na veće baze podataka i nihovo poređene sa drugim metodama.takođe, istraživane otvara mogućnost uklučivana težina svakom od nalaza i ispitivane nihovih značaa u cilu povećavana uspešnosti dobienih rezultata u odnosu na ekspertski postavlene diagnoze lekara specialista. LITERATURA [1] Das, G., & Mannila, H. (000). Context-based similarity measures for categorical databases. PKDD Conference, [] Davidović, T. (006). Raspoređivane zadataka na višeprocesorske sisteme primenom metaheuristika [doktorska disertacia]. [Beograd]: Matematički fakultet [3] Glišović, N. and Rašković, M. (017). Optimization for Classifying the Patients Using the Logic Measures for Missing Data, Scientific publications of the State University of Novi Pazar Ser. a: Appl. Math. Inform. and Mech. vol. 9, 1, [4] Graham, J. W. (01). Missing Data: Analysis and Design. Springer Science and Business Media, New York. [5] Hansen, P. and Mladenović, N. (014). Variable neighborhood search. In Search methodologies (pp ). Springer US. [6] Hansen, P., Mladenović, N., Brimberg, J. and Perez, J. A. M. (010). Variable neighborhood search Handbook of Metaheuristics ser. International Series in Operations Research & Management Science, 146, [7] Hansen, P., Mladenović, N. and Pérez, J. A. M. (010). Variable neighborhood search: methods and applications. Annals of Operations Research, 175(1), [8] Mladenović, N. (1995). A Variable neighborhood algorithm a new metaheuristic for combinatorial optimization, Abstracts of papers presented at Optimization Days, Montreal, p. 11. [9] Mladenović, N., Brimberg, J., Hansen, P., Moreno-Perez JA (007). The p-median problem: a survey of metaheuristic approaches. European Journal of Operational Research 179: [10] Mladenović, N., Hansen, P. (1997), Variable neighborhood search. Computers and Operations Research; 4(11); [11] Norouzi, M., Fleet, D. J. and Salakhutdinov, R. R. (01). Hamming distance metric learning. In Advances in neural information processing systems (pp ). [1] Wang, F. and Sun, J. (01). Distance metric learning in data mining, SDM Conference (Tutorial) 163