VMESNIK ZA KRMILJENJE NAPRAV S KRETNJAMI ROKE

Transcription

1 UNIVERZA V LJUBLJANI Fakulteta za elektrotehniko Jernej Perhavc VMESNIK ZA KRMILJENJE NAPRAV S KRETNJAMI ROKE DIPLOMSKO DELO UNIVERZITETNEGA TUDIJA Mentor: prof. dr. Jurij F. Tasi LJUBLJANA, 2005

2

3 Zahvala Na tem mestu bi se rad zahvalil vsem, ki so mi s strokovnimi znanjem, nasveti in razmi- ²ljanji pomagali pri izdelavi tega diplomskega dela. Posebna zahvala gre mag. Janezu Zaletelju za pomo, ideje in zelo koristne strokovne nasvete ter mentorju prof. dr. Juriju F. Tasi u za strokovno vodstvo in posredovano znanje. Za nasvete in tehni no podporo se zahvaljujem tudi ostalim sodelavcem Laboratorija za digitalno obdelavo signalov, slik in videa. Zahvalil pa bi se rad tudi druºini in prijateljem, ki so mi stali ob strani v asu ²tudija, ter Katarini, za spodbudo in nasvete pri izdelavi diplomskega dela. Hvala!

4

5 Kazalo Povzetek Abstract ix xi 1 Uvod 1 2 Razlaga oznak in pojmov Razlaga oznak Razlaga pojmov Ra unalni²ki vid kot vmesnik Vmesniki med napravo in uporabnikom RV kot temelj komunikacije z napravo Uporaba RV za identikacijo objektov in razpoznavo gest roke Predobdelava videa Sledenje objektov Razpoznava gest Pregled dosedanjih raziskav Podro ja uporabe Prakti na izvedba vmesnika Proces delovanja vmesnika Delovno okolje Strojna oprema Programska oprema i

6 ii Kazalo 5 Zaznava barve koºe Problemi zaznave barve koºe Omejitev odvisnosti percepcije barve od osvetlitve Uporabniku in svetlobnim razmeram prilagojen barvni model Barvni prostor zapisa slike Izbira barvnega prostora RGB barvni prostor Normaliziran RGB barvni prostor TSL barvni prostor Model porazdelitve barve koºe Izbira modela porazdelitve barve koºe Tipi modeliranja barve koºe Enojni Gaussov model Model elipti nih mej Testiranje izbranih barvnih modelov Delovanje sistema za zaznavo barve koºe Razpoznava roke in geste potrditve Predobdelava slike podro ij koºne barve Glajenje slike podobnosti barve SE in barve koºe Morfolo²ko ltriranje binarne maske podro ij koºne barve Razpoznava objekta roke Konture objektov Povr²ina objektov Funkcija oblike objektov Filtriranje funkcije oblike objektov Analiza funkcije oblike objektov Detekcija roke v pozi kazanja Omejenost gibanja roke pri kazanju Sledenje poloºaja roke v videu Zaznava geste potrditve

7 Kazalo iii 7 Zaklju ek 73 Literatura 75 Dodatek A 79

8 iv Kazalo

9 Slike 2.1 Digitalna slika Digitalni video Shema delovanja vmesnika Strojna oprema LDOS Video Processing Projekt - uporabni²ki vmesnik Interaktivno procesiranje slike s kamere Barvna temperatura Odvisnost barve objekta od tipa izvora svetlobe Odvisnost barve objekta od tipa izvora svetlobe z uporabo WB Enojni Gaussov barvni model Testiranje barvnih modelov - testna sekvenca Porazdelitev barve koºe - dnevna svetloba Porazdelitev barve koºe - osvetlitev z volframovo ºarnico Inicializacija barvnega modela Slika podobnosti barve SE in barve koºe Upragovljanje slike podobnosti SE in barve koºe Rezultat zaznave barve koºe Postopek razpoznave roke in geste potrditve iz slik podro ij koºne barve Napake pri detekciji obmo ij koºne barve Kontura roke v neobdelani sliki obmo ij koºne barve Kontura roke po glajenju slike podobnosti barve SE in barve koºe Binarna erozija in binarno raztezanje v

10 vi Slike 6.6 Morfolo²ko ltriranje binarne maske podro ij koºne barve Objekti koºne barve v binarni maski Spremenljivke za analizo oblike konture Funkcija oblike objekta Analiza lokalnih maksimumov v funkciji oblike objekta Testiranje analize oblike objektov Gesta potrditve Analiza geste potrditve

11 Tabele 2.1 Seznam oznak Barvna temperatura izvorov svetlobe Vpliv barvnega prostora zapisa slike na porazdelitev barve koºe v prostoru Testiranje barvnih modelov - testna sekvenca Odvisnost vi²ine lokalnih maksimumov od izbire velikosti okolice vii

12 viii Tabele

13 Povzetek V diplomskem delu predstavljam raziskavo in razvoj vmesnika med uporabnikom in napravo, preko katerega uporabnik napravo krmili s kretnjami roke. Sistem temelji na analizi videa, ki ga naprava zajema preko priklju ene video kamere. V videu zazna uporabnikovo roko in njen poloºaj ter prepozna vnaprej dolo eno kretnjo. S tem uporabnik lahko upravlja z napravo na podoben na in kot preko ra unalni²ke mi²ke, le da je interakcija povsem prostoro na. V okviru algoritma v realnem asu analiziramo ºivo sliko in v njej najprej dolo imo obmo ja barve koºe z uporabo ustreznega barvnega modela. Problematiko opisa barve koºe sem razdelal teoreti no in nato v sistem vgradil moºnost izbire med dvema razli nima barvnima modeloma za opis barve koºe v dveh razli nih barvnih prostorih. Zaradi potreb po natan nem opisu barve koºe in ºelje po neodvisnosti sistema na pogoje delovanja, sem uporabil uporabniku in svetlobnim razmeram prilagojen barvni model, ki ga pred vsako uporabo vmesnika inicializiramo. Objekte barve koºe v videu, ki jih dobimo z barvno segmentacijo, v naslednji stopnji s standardnimi postopki izbolj²ave digitalnih slik obdelamo in popravimo njihovo obliko. Uporabnikovo roko nato med njimi zaznamo preko analize njihove oblike oziroma analize kontur posameznih objektov. Konturo objekta preslikamo iz 2D prostora slike v funkcijo oblike objekta, ki izpostavi zna ilno konturo roke v kazalni pozi. Ko je roka v videu zaznana je poznan tudi njen poloºaj. Roki v nadaljnih slikah videa sledimo, s imer pove amo konsekventnost zaznave oziroma omogo imo zaznavanje roke kljub kratkotrajnim spremembam njene zna ilne oblike. Spremembe oblike objekta roke spremljamo in v primeru, da sprememba ustreza vnaprej dolo eni kretnji, slednjo tudi zaznamo. Klju ne besede: digitalna obdelava videa, ra unalni²ki vmesnik, interakcija lovekra unalnik, ra unalni²ki vid, zaznava barve koºe, razpoznava kretenj roke, analiza oblike objektov. ix

14 x Povzetek

15 Abstract In this paper, the implementation of a human-computer interface which enables the user to control the computer with hand gestures is presented. The system is based on the analysis of the video captured by a video camera. It is able to detect the user's hand, its position in the video and one predened hand gesture. This allows the user to control the computer similarly as with a computer mouse, however, the interaction here is completely barehanded. The algorithm analyzes live video from the camera in real time. First, a skin colour model is used to segment skin colour regions from the background. The problem of skin colour modelling is discussed thoroughly, and the option of two dierent skin colour models using two dierent colour spaces is implemented into the system. Due to the need for an accurate skin colour description, independent of the conditions of use, user and lighting conditions adapted colour model is used. The latter has to be initialized prior to the use of the interface. The skin colour objects obtained by colour segmentation are processed with standard image enhancement procedures to restore their shapes. The user's hand is detected among the skin colour objects by shape analysis. The contour of each object is transformed from 2D image space to a function describing the shape of the contour and exposing the characteristic feature of a pointing hand. Once the hand in the video is detected, its position is known also. The hand is tracked in subsequent frames of the video stream, enhancing consistency of the detection, i.e. enabling the detection of the hand despite the possible short-term changes of its characteristic shape. The changes in the shape of the hand are traced, and if a change corresponds to the predened gesture, the latter is detected. Key-words: digital video processing, computer interface, human-computer interaction, computer vision, skin colour detection, hand gesture recognition, object shape analysis. xi

16 xii Abstract

17 1. Uvod Zaphod je po valovih sub-eta lovil novice o sebi in kabina Zlatega srca je odmevala od divje gunkovske glasbe. Z napravo ni bilo lahko ravnati. Dolga leta so imeli radijski aparati gumbe in ²tevil nice; z razvojem tehnike so jih nadomestila na dotik ob utljiva stikala - dovolj je bilo, da ste plo² ico poboºali s prstom; zdaj pa ni bilo treba drugega, kot da ste pomahali z roko pribliºno v smeri sprejemnika in trdno upali, da bo prav. S tem ste si gotovo prihranili dosti mi²i nega napora, bilo pa je obupno, ker ste morali sedeti pri miru, e ste hoteli poslu²ati eno samo oddajo. Douglas Adams, toparski vodnik po galaksiji [1] Dolgo asa je bila komunikacija med uporabnikom in napravo omejena na uporabo klasi nih vmesnikov, kot so ra unalni²ka mi²ka, tipkovnica in razli ni daljinski upravljalci. Kljub pestri ponudbi razli nih vmesnikov, pa se na in komunikacije ²e vedno v marsi em razlikuje od interakcije na nivoju lovek- lovek. Naravna komunikacija med ljudmi namre ne vklju uje nobenih naprav, saj svojo okolico lahko zaznavamo z vidom in sluhom. Vendar naprave na eloma lahko na²e ute posnemajo z uporabo kamer in mikrofonov. V kombinaciji z uporabo tehnik obdelave signalov, pa lahko dogajanje v svoji okolici tudi razumejo in tako omogo ijo nove na ine za interakcijo. V diplomskem delu bom razvil vmesnik med uporabnikom in napravo, preko katerega bo uporabnik lahko z napravo komuniciral povsem prostoro no, s kretnjami roke. Vmesnik bom zasnoval na tehnologiji ra unalni²kega vida, kar pomeni, da bo naprava razumela uporabnikove ukaze preko analize videa, ki ga bo zajemala s kamero. Vmesnik bo imel enako funkcionalnost, kot jo nudi eden najosnovnej²ih vmesnikov - ra unalni²ka mi²ka. To pomeni, da bo vmesnik uporabniku omogo al, da napravi s kretnjami roke sporo a poloºaj kazalca in potrditev izbire. 1

18 2 1. Uvod Za delovanje vmesnika sta klju ni dve stvari. Naprava mora v zajetem videu prepoznati uporabnikovo roko in njen poloºaj ter razumeti kretnjo roke, s katero uporabnik napravi sporo a potrditev izbire. Vmesnik bo uporabnikovo roko zaznal preko izlo anja objektov barve koºe v videu in analize oblike teh objektov. Potrditev izbire pa bo vmesnik razpoznal z analizo spreminjanja oblike uporabnikove roke. Diplomska naloga je razdeljena na ve poglavij. V drugem poglavju so navedene in razloºene nekatere oznake in pojmi za bolj²e razumevanje besedila. V tretjem poglavju je podrobneje opisana problematika dela, podan pa je tudi kratek pregled dosedanjega raziskovalnega dela na tem podro ju. V etrtem poglavju sta opisana na rt dela in delovno okolje. Izdelava vmesnika je predstavljena v petem in ²estem poglavju. Peto poglavje se osredoto a na izlo anje objektov barve koºe iz videa, medtem ko je prepoznava roke in geste na podlagi analize oblike predstavljena v zadnjem, ²estem poglavju.

19 2. Razlaga oznak in pojmov 2.1 Razlaga oznak V tabeli 2.1 so zbrane in razloºene pomembnej²e oznake, ki se pogosto pojavljajo v naslednjih poglavjih. Navedene so v vrstnem redu, kakor se pojavljajo v diplomskem delu. Oznaka Pomen m, n koordinate v 2D diskretnem prostoru S[m, n] digitalna slika, 2D matrika h[m, n] konvolucijsko jedro, 2D matrika c barvni vektor λ k (c) 2 Mahalanobisova distanca med barvnim vektorjem c in barvo koºe, EGM Φ k (c) 2 distanca med barvnim vektorjem c in barvo koºe, MEM µ k parameter vzorca koºne barve v EGM, vektor Σ k ψ k Λ k Θ M X B B S parameter vzorca koºne barve v EGM, matrika parameter vzorca koºne barve v MEM, vektor parameter vzorca koºne barve v MEM, matrika prag za detekcijo koºe, EGM in MEM binarni objekt binarni strukturni element simetri na mnoºica od B z, b, c vektorji v 2D diskretnem prostoru B z za z prenesena mnoºica B binarna erozija, operator binarno raztezanje, operator 3

20 4 2. Razlaga oznak in pojmov morfolo²ko odpiranje, operator morfolo²ko zapiranje, operator M ij m SM, n SM d α α P N_h P Θ N_hP f O O f K G Θ G n S prostorski moment koordinate masnega sredi² a objekta razdalja elementov na konturi objekta v funkciji oblike kot elementov na konturi objekta v funkciji oblike kot okolice lokalnega maksimuma v funkciji oblike normirana vi²ina lokalnega maksimuma prag za detekcijo roke v kazalni pozi funkcija oblike objekta objekt koºne barve kriterijska funkcija gesta potrditve prag za detekcijo geste zaporedna ²tevilka slike v video sekvenci Tabela 2.1: Seznam oznak V tabeli 2.1 se okraj²ava EGM nana²a na enojni Gaussov model za opis barve koºe, MEM pa na model elipti nih mej.

21 2.2. Razlaga pojmov Razlaga pojmov Na tem mestu bom razloºil pomembne pojme za laºje razumevanje naslednjih poglavij. Digitalna slika Digitalna slika S[m, n] je ekvivalent zapisa analogne slike S(x, y) v 2D diskretnem prostoru. Preslikava analogne slike iz 2D zveznega prostora v diskretni prostor digitalne slike se imenuje vzor enje oziroma digitalizacija [2]. Digitalna slika S, slika 2.1, je zapisana Slika 2.1: Digitalna slika s ²tevil nim poljem velikosti M stolpcev in N vrstic. Prese i² e stolpca m in vrstice n je slikovni element slike SE m,n, torej S[m, n] = SE m,n. Barva posameznega SE m,n je v polju predstavljena z numeri no vrednostjo na na in, kot ga dolo ata barvni prostor in natan nost zapisa barve. Slika 2.1 je primer sivinske slike z 8 bitno natan nostjo zapisa. To pomeni, da je svetlost vsakega SE m,n v sliki predstavljena z vrednostjo med 0 in 255. Pri barvnih digitalnih slikah je vrednost SE m,n vektor, katerega ²tevilo elementov dolo a barvni prostor zapisa. To diplomsko delo obravnava izklju no obdelavo digitalnih slik, tako da je v nadaljevanju

22 6 2. Razlaga oznak in pojmov z izrazom slika mi²ljena digitalna slika. Digitalni video ƒe digitalni sliki dodamo asovno dimenzijo t dobimo digitalni video. Digitalni video je sestavljen iz sekvence mirujo ih digitalnih slik, ki si sledijo v asovno diskretnih intervalih, kot to prikazuje slika 2.2. Slika 2.2: Digitalni video To diplomsko delo obravnava izklju no obdelavo digitalnega videa, tako da je z izrazom video v nadaljevanju mi²ljen digitalni video. Ra unalni²ki vid Ra unalni²ki vid je veja umetne inteligence (articial intelligence) in digitalne obdelave signalov (image processing), kjer ra unalnik procesira slike iz realnega sveta. Ra unalni²ki vid ponavadi zahteva kombinacijo niºjenivojske obdelave slik z namenom izbolj²anja kvalitete slike (npr. odstranitev ²uma, pove ava kontrasta) ter vi²jenivojske obdelave, razpoznave vzorcev (pattern recognition) in razumevanja slike ter njenih zna ilk [3]. Roka V nadaljevanju je pod izrazom roka mi²ljen predvsem del roke od zapestja do konca prstov, e ni eksplicitno druga e navedeno.

23 2.2. Razlaga pojmov 7 Poloºaj roke Poloºaj roke je lokacija roke v dvodimenzionalni preslikavi prostora, kot ga vidi kamera. Poza roke Poza roke predstavlja znak, ki ga roka v danem trenutku oblikuje, oziroma trenutno formo roke. Barvni prostor Barvni prostor je matemati ni model za numeri ni opis barve. Najve krat so posamezne barve opisane s trojico ²tevil, ki jih imenujemo barvne komponente. Filter V splo²nem lahko lter predstavimo kot operator L, ki preslika vhodni signal (sliko) x v izhodni signal (sliko) y [4]: y = L(x) (2.1) Linearnost ltra Za linearne ltre velja, da je operator L linearen. Sistem ali operator je linearen, e je odziv na vsoto dveh signalov, ki sta pomnoºena vsak s poljubno konstanto a 1 oziroma a 2, enak vsoti odzivov na posamezna signala, ki sta pomnoºena s prej omenjenima konstantama [4]: y = L(a 1 x 1 + a 2 x 2 ) = a 1 L(x 1 ) + a 2 L(x 2 ) (2.2) Diskretna konvolucija Dikretna konvolucija je operacija med dvema poljema ²tevil, ki sta lahko razli nih velikosti vendar enakih dimenzij. Rezultat je tretje polje ²tevil, ki je enake dimenzije kot vhodni polji. V primeru digitalne obdelave slik pride v po²tev 2D diskretna konvolucija, ki je denirana

24 8 2. Razlaga oznak in pojmov z ena bo: y[m, n] = x[m, n] h[m, n] = I J x[m + i 1, n + j 1]h[i, j] (2.3) i=1 j=1 kjer ima matrika h[m, n] I vrstic in J stolpcev, vrednost m te e od 1 do M I + 1 in vrednost n od 1 do N J + 1. M je ²tevilo vrstic matrike x[m, n] in N ²tevilo stolpcev. Pri uporabi 2D diskretne konvolucije za obdelavo slik torej okno, matrika h[m, n] izbrane velikosti in oblike, premikamo po sliki x[m, n], ki je prav tako matrika, po vseh poloºajih, kjer je okno v celoti znotraj mej slike. Za vsak posamezen poloºaj izra unamo vrednost elementa izhodne slike, matrika y[m, n], glede na vrednosti ostalih elementov znotraj prekritega dela. Vrednost elementa je obteºena vsota vseh elementov prekritega dela matrike, kjer elementi okna samega predstavljajo uteºi. Okno z njegovimi uteºmi imenujemo tudi konvolucijsko jedro. Ker je izhodna slika manj²e velikosti kot vhodna, je potrebno vhodni sliki dodati pomoºne vrstice oziroma stolpce, e ºelimo dobiti rezultat enake velikosti [2][4].

25 3. Ra unalni²ki vid kot vmesnik 3.1 Vmesniki med napravo in uporabnikom Uporabnik lahko komunicira z napravami na ve na inov. Ukaze lahko posreduje preko klasi nih vmesnikov, kot so tipkovnica, ra unalni²ka mi²ka in igralna palica ali preko ob utljivih povr²in, kot sta na primer zaslon na dotik ali touch-screen (uporabljen pri mobilnih telefonih in dlan nikih) in t. i. touch-pad (zna ilen za prenosne ra unalnike). Poleg teh najbolj znanih neposrednih tehnologij, se vedno bolj uveljavljaja nova generacija vmesnikov, ki bi jih lahko imenovali inteligentni vmesniki. Ti namre od naprave zahtevajo dolo eno obdelavo in razumevanje vhodnih podatkov, ki jih naprava prejme preko posrednega vmesnika. Sem uvr² amo vmesnike, kjer kot posrednik delujejo senzorji, kot je podatkovna rokavica (data glove) ali kateri izmed ostalih prostorsko orientacijskih senzorjev, preko katerih uporabnik komunicira z napravo. Med bolj zanimive, gledano iz povsem prakti nega vidika, pa vsekakor sodijo vmesniki, ki delujejo na podlagi razumevanja govora in vmesniki, ki temeljijo na razpoznavi uporabnikovih gest z ra unalni²kim vidom (RV). Vsaka izmed metod ima svoje prednosti in slabosti. Neposredne metode se pona²ajo z zanesljivostjo, medtem ko je prednost inteligentnih vmesnikov njihova naravnost uporabe in priro nost za uporabnika. ƒe so senzori ne metode ²e nekak²en prehodni stadij, pa je na in komunikacije, ki ga vpeljujejta ostali dve metodi ºe bolj podoben komunikaciji na relaciji lovek- lovek. Prednost je torej predvsem ta, da uporabnik lahko z napravo komunicira avtonomno, brez strogih omejitev neposredne zi ne interakcije z neko napravo in to na na in, ki mu je naraven in ga je vajen. Z vedno bolj mnoºi no prisotnostjo kamer v kombinaciji z elektronskimi napravami, kot je to mo zaslediti pri mobilnih telefonih, napravah zabavne elektronike in doma ih ra u- 9

26 10 3. Ra unalni²ki vid kot vmesnik nalnikih, je osnovna tehni na podpora za izvedbo vmesnikov za krmiljenje naprav, ki temeljijo na RV, postala dostopna. Manjka torej le ²e u inkovita izvedba, ki bo prepri ala uporabnike. 3.2 RV kot temelj komunikacije z napravo V diplomskem delu bom tehnologijo RV uporabil kot podlago za izvedbo inteligentnega vmesnika med napravo in uporabnikom. Osredoto il se bom na razvoj vmesnika, preko katerega bo uporabnik z razdalje s kretnjami roke napravi sporo al osnovne ukaze. Odlo il sem se za funkcionalnost, ki jo omogo a eden najosnovnej²ih vmesnikov - ra unalni²ka mi²ka. RV mora v tem primeru torej prepoznati poloºaj roke, s katerim vodimo kazalec, in razumeti gesto potrditve ali klik. 3.3 Uporaba RV za identikacijo objektov in razpoznavo gest roke Zahteve, opisane v poglavju 3.2, je mogo e re²iti v okviru sistema za razpoznavo gest roke (gesture recognition system), ki temelji na RV. Tak²ne sisteme je mogo e deliti v tri sestavne procese [5]: predobdelava videa, sledenje objektov, razpoznava gest. V posameznih sistemih se procesi med seboj tudi prepletajo ali pa kateri celo izpade, vendar pa je v ve ini primerov mo zaznati obrise vseh treh.

27 3.3. Uporaba RV za identikacijo objektov in razpoznavo gest roke Predobdelava videa V procesu predobdelave se posamezne slike videa pripravi za nadaljno analizo. V sliki se odstrani ²um, izlo i objekt roko ter podatke o njegovem poloºaju. Hkrati se izlo i tudi zna ilke (feature extraction), ki odraºajo pozo roke. Metode izlo anja oziroma segmentacije objektov v sliki se med seboj razlikujejo. Lo imo jih v naslednje skupine: segmentacija na nivoju slikovnih elementov, segmentacija na podlagi analize gibanja, segmentacija na podlagi zaznave kontur, segemntacija s korelacijo. V primeru segmentacije na nivoju slikovnih elementov (SE) se regije SE, ki pripadajo roki, lo i na podlagi segmentacije zna ilne barve oziroma z od²tevanjem ozadja. Tako dobljene regije je nato mo analizirati za dolo itev poloºaja in poze roke. Roko je mo izlo iti tudi na podlagi analize gibanja, kjer se gibajo e objekte v videu dolo i z izra unom razlike med zaporednimi slikami v videu (change detection) in na podlagi zaznave gibanja (motion detection). Objekte v sliki dolo ajo tudi njihove konture oziroma obrisi. Rezultat obdelave slike s katero od metod izlo anja robov je slika robov, iz katere je potrebno nato z dodatno obdelavo zaznati tiste, ki so del obrisa roke. V primeru segmentacije s korelacijo pa se roko v sliki zazna na podlagi primerjave posameznih delov slike z vnaprej dano vzor no sliko roke. Tam, kjer je korelacija najve ja, se nahaja ºeleni objekt - v na²em primeru roka.

28 12 3. Ra unalni²ki vid kot vmesnik Sledenje objektov Ko je poloºaj roke znan, preidemo na sledenje poloºaja roke v naslednjih slikah videa. Namen sledenja je izlo iti roko od ostalih objektov, ki mirujejo v ozadju ali pa se gibljejo v vidnem polju kamere, ter ji slediti v sekven nih slikah. Poleg tega je razumevanje gibanja roke pomembno za razpoznavo dinami nih gest. Od izbrane metode izlo itve zna ilk, ki predstavljajo objekt, je odvisno ali se sledi le eni poglavitni zna ilki ali pa se v zaporednih slikah zaznava celoten nabor teh zna ilk. Najpogostej²i metodi sledenja sta sledenje s Kalmanovim sitom in sledenje s pomo jo CONDENSATION algoritma Razpoznava gest Na koncu je potrebno iz podatkov o poloºaju roke, zna ilk, ki govorijo o pozi roke, ter podatkov o gibanju roke dolo iti ali je uporabnik gesto izvedel in to gesto razpoznati. Za razpoznavo se pogosto uporablja algoritme zna ilne za domeno prepoznave vzorcev (pattern recognition), kot so kriºna korelacija procesov, Markovske verige ter nevronske mreºe. 3.4 Pregled dosedanjih raziskav Ker ljudje geste pogosto uporabljamo kot orodje za komunikacijo in bi prenos tak²nega na ina izraºanja na komunikacijo med lovekom in ra unalnikom slednjo mo no poenostavil, je bilo do sedaj temu primerno opravljenega veliko raziskovalnega dela na tem podro ju. Ideja prostoro nega komuniciranja z ra unalnikom ni nova. Leta 1980 so v eksperimentu Put-That-There [6] ºe vpeljali primitiven vmesnik te vrste, kjer je uporabnik sporo al navodila z govorom, pri tem pa kot pomo ºe uporabljal gesto kazanja z roko, ki so jo

29 3.4. Pregled dosedanjih raziskav 13 v prostoru zaznali preko na roko pritrjenih magnetnih senzorjev. Na za etku je bilo veliko raziskovalnega dela posve eno uporabnosti podatkovne rokavice za prepoznavo gest. Baudel in Beaudouin-Lafon [7] s pomo jo senzorjev v rokavici, ki zaznajo ukrivljenost prstov in prostorski poloºaj roke, ºe prepoznata 16 gest in uspe²nost delovanja demonstrirata z vodenjem prezentacije z gestami roke. Mote a je predvsem neudobna uporaba rokavice in odvisnost od zi ne povezave z napravo. Raziskave na podlagi uporabe podatkovne rokavice so zamrle z ve jo dostopnostjo cenenih kamer in zmoglivej²ih ra unalnikov, ko je v ospredje pri²la analiza gest z ra unalni²kim vidom. Med zanimivej²e projekte na tem podro ju bi lahko na²teli projekt Cutlerja in Turka [8], kjer v realnem asu analizirata opti ni pretok in tako z zaznavo gibanja izlo ita gibajo e objekte. Z analizo lastnosti teh objektov, njihove velikosti, medsebojne lege in smeri gibanja prepoznata nekaj zna ilnih gest, kot je npr. ploskanje. Slabost tak²ne oblike segmentacije objektov za zaznavo gest je v tem, da mirujo e objekte izgubimo, kar pomeni, da je mirovanje roke uporabnika pri tak²ni metodi nezaºeleno. Delno je tak²no teºavo mogo e omejiti z uporabo detekcije sprememb glede na neko referen no sliko, kot to naredita Von Hardenberg in Berard [9]. Zanimive objekte izlo ita tako, da vsako prihajajo o sliko od²tejeta od referen ne in dobita nove objekte v sliki. Referen no sliko sproti obnavljata, da izlo ita vpliv sprememb v okolici in vpliv spremembe svetlobnih pogojev. Uporabnik se sicer po asi zlije z okolico, vendar temelji njuna predpostavka na tem, da roka ponavadi miruje le relativno kratek as. Tako dobljene premikajo e se objekte analizirata na podlagi njihove oblike. Med kandidatnimi objekti poi² eta zna ilne oblike konic prstov in izra unata, e geometrijska razmerja med njimi ustrezajo modelu roke. Sami poloºaji konic prstov pa zadovoljivo opi²ejo gesto oziroma znak roke. Eden od na inov izlo anja kandidatnih objektov je tudi z analizo globine zajetih slik videa. Predpogoj za globinske slike je posnetek s stereo kamero, ko je globinsko sliko mo izlo iti z analizo razlik med kanaloma. Joji in ostali [10] iz globinske slike preko analize lastnih vektorjev izlo ijo loveka, ki z roko kaºe v naklju ni smeri, in prepoznajo smer kazanja. Dobra stran tak²nega pristopa je neob utljivost na spremembe svetlobnih pogojev v okolici. Garver [11] gre ²e korak dlje, saj poleg globinske slike vpeljejo ²e informacijo o barvi koºe, ki natan neje dolo i model roke. Vpeljejo tudi linearno sledenje

30 14 3. Ra unalni²ki vid kot vmesnik roke skozi sekvenco videa in preko Markovskih verig zaznajo nabor gest. Zhu in ostali [12] detekcijo zna ilne barve koºe kombinirajo z zaznavo premikajo ih se objektov. Geste zaznajo na podlagi razvr² anja vektorja zna ilk, ki vsebuje podatke o prostorsko- asovni spremembi oblike roke in trajektoriji gibanja, v ustrezne razrede gest. Barvno informacijo izkoristijo mnogi avtorji [13], [14], [15]. Lovell in Heckenberg [13] objekte koºne barve lo ita med seboj na podlagi analize konture. V konturi poi² ejo ekstreme ukrivljenosti in jih primerjajo z modelom roke. Iz ekstremov ukrivljenosti konture dolo ijo tudi pozo roke in tako zaznajo dolo en nabor gest. V videu roki sledijo s pomo jo Kalmanovega sita. Posebno pozornost namenijo tudi uporabnosti sistema na cenej²i ra unalni²ki opremi, kot je navaden namizni ra unalnik. Terrillon in ostali [14] v sliki prepoznajo obraz in roko z analizo momentov objektov, ki jih nevronske mreºe razvrstijo v ustrezne skupine. Samo pozo roke pa sistem prepozna s Fourijerjevo analizo normalizirane sivinske slike roke. Sistem upo²teva le fazno sliko roke in na podlagi korelacije prepozna nekaj znakov japonskega znakovnega jezika. Störring in ostali [15] pa barvno informacijo kombinirajo z analizo zna ilne oblike objekta, jo primerjajo z modelom roke, geste pa prepoznajo s ²tetjem iztegnjenih prstov. Prste pre²tejejo tako, da opazujejo razdalje mejnih elementov objekta od njegovega centroida. Na²tete so le nekatere od raziskav, ki so bile do sedaj opravljene na podro ju prepoznave gest in njene uporabe za komunikacijo na relaciji uporabnik-ra unalnik. Podrobneje je dosedanje delo opisano v preglednih lankih [5], [16] in [17]. 3.5 Podro ja uporabe Vmesniki, preko katerih uporabnik prostoro no s kretnjami roke komunicira z napravo, imajo marsikatero prednost v primerjavi s standardnimi vmesniki. Njihovo uporabnost je ve stranska. Najve ja prednost v primerjavi s standardnimi vmesniki je njihova prakti nost, saj lahko s pomo jo tak²nih vmesnikov uporabnik z napravo komunicira z dolo ene razdalje:

31 3.5. Podro ja uporabe 15 Kirurgom, avtomehanikom, elektrikom, skratka vsem delavcem, ki poleg poklicnih orodij pri delu uporabljajo tudi ra unalni²ke naprave, tak²ni vmesniki omogo ijo ve jo pozornost na delo, saj se jim ni treba popolnoma posvetiti napravi, e ji ºelijo kaj sporo iti. šeljo le pokaºejo. Med prezentacijo se govorniku ni potrebno sprehoditi med projekcijo in ra unalnikom, da bi pokazal naslednjo stran. Daljinske upravljalnike za doma e naprave, npr. radijo ali televizijo, zamenja roka. Med videokonferenco je mogo e pozornost kamere zahtevati z enostavno kretnjo. Na in komunikacije z napravo je mo no poenostavljen in ljudem bliºji: Ljudem, ki ²e ne obvladajo upravljanja s klasi nimi vmesniki, se je laºje nau iti tak²ne vrste komuniciranja z napravami. Za ljudi z dolo enimi motori nimi motnjami, je mogo e sistem prilagoditi kretnjam, ki jih zmorejo pokazati. Sistemi lahko razpoznavajo ºe ute ene na ine komunikacije med ljudmi, kot je znakovna govorica za gluhe. Naprave so bolj za² itene pred po²kodbami, ker ni direktne interakcije in imajo tako dalj²o ºivljensko dobo: Med uporabnike in napravo je mogo e vgraditi varovalno plast, ki napravo varuje pred vandalizmom. V primeru okvare naprave se jezen uporabnik ne znese ve nad njo, saj je prostorsko oddaljena. Odprejo se tudi nove moºnosti za izdelavo elektronskih naprav, nekonvencionalnih oblik in funkcionalnosti:

32 16 3. Ra unalni²ki vid kot vmesnik Sisteme je mogo e integrirati na zelo majhne povr²ine. Brez mi²ke in tipkovnice je ra unalnik mo vgraditi v doma e naprave, avtomobile, igra e. Mobilne naprave z omejenim prostorom za uporabni²ke vmesnike je mogo e upravljati s kretnjami roke. Oblike naprav so lahko zelo elegantne. Primer bi lahko bil CD predvajalnik brez kakr²nih koli gumbov. Napravo lahko uporablja ve uporabnikov hkrati. Interakcija s predmeti v navidezni resni nosti postane povsem naravna. potrebe po no²enju posebnih senzorjev. Ni ve Tak²ni vmesniki vnesejo novo dimenzijo v svet ra unalni²kih iger. Moºnosti, kjer bi se dalo uspe²no uporabiti tehnologijo RV za krmiljenje naprav, je veliko. Na trgu trenutno ²e ni veliko naprav, ki bi vsebovale to tehnologijo. Gonilna sila je zaenkrat Sony-ev Eye Toy, dodatek k Playstation2, kjer so vpeljali RV v svet ra unalni²kih igric. Eye Toy je naprava z majhno kamero, ki zaznava gibanje igralca in ga dobesedno preslika v igrico. ƒe bi sklepali po komercialnem uspehu te igra ke, je prihodnost za tak²ne vmesnike zelo svetla. Sistem, ki ga predstavlja to diplomsko delo je sicer sporo ilno zelo omejen, saj omogo a le vodenje kazalca in en ukaz. Kljub temu je aplikacij, ki jih omogo a, kar nekaj. Te so povezane predvsem z gra nim vmesnikom, ki vsebuje sistem ikon in menijev, med katerimi izbiramo s kazanjem in izbrano potrjujemo z gesto potrditve.

33 4. Prakti na izvedba vmesnika 4.1 Proces delovanja vmesnika Kot je omenjeno ºe v poglavju 3.2, sem razvil vmesnik, ki omogo a uporabniku, da napravo krmili z gestami roke. Za to je v osnovi potrebna dvojna funkcionalnost vmesnika: sledenje poloºaju roke na ºeljo uporabnika, zaznava geste potrditve. Sistem temelji na RV. Ra unalnik snema okolico, kjer se med drugim nahaja uporabnik in sproti, v realnem asu, procesira zajeti video. S pomo jo algoritmov v videu zazna poloºaj roke. V poglavju so opisani moºni na ini segmentacije roke v sliki. Sistem, ki ga predstavlja to delo, roko izlo i na podlagi barvne segmentacije. Slika 4.1: Shema delovanja vmesnika V sliki algoritem najprej poi² e obmo ja koºne barve. Med vsemi kandidatnimi objekti ustrezne barve je nato potrebno roko lo iti od ostalih, kar algoritem stori z analizo kontur. To pomeni, da preveri, e kontura katerega od njih ustreza vnaprej znanemu modelu konture roke v kazalni pozi. Zna ilna poza kazanja z iztegnjenim kazalcem, ki jo uporabljamo ljudje, je dovolj distinktivna, da jo je mogo e zaznati. Ko je roka enkrat locirana in je njen poloºaj znan, ji sistem sledi v sekven nih slikah videa, opazuje spremembe njene oblike 17

34 18 4. Prakti na izvedba vmesnika in prepozna gesto potrditve, e je ta izvedena. Za gesto potrditve sem izbral pokr enje iztegnjenega kazalca. Okvirna shema delovanja vmesnika je prikazana v sliki Delovno okolje V tem poglavju je opisana strojna in programska oprema, ki je bila uporabljena v projektu Strojna oprema Strojno opremo, ki jo zahteva vmesnik, predstavlja naprava, ki procesira vhodne podatke, in na napravo priklju ena kamera, preko katere naprava zaznava okolico. Vmesnik sem razvijal na prenosnem ra unalniku Packard Bell igo 6204, ki predstavlja napravo. Ra unalnik vsebuje procesor Intel Celeron 2000 MHz in 256 MB spomina, od katerega 64 MB deli z gra no kartico ATI Radeon IGP 340M. Poleg ra unalnika sem uporabljal USB spletno kamero Portable Webcam SpaceCam 150 maksimalne lo ljivosti SE. Slika 4.2: Strojna oprema

35 4.2. Delovno okolje Programska oprema Delovanje vmesnika sem implementiral v programskem jeziku C++ v okolju Borland C++ Builder. Uporabljal sem razrede Intel Open Source Computer Vision Library (OpenCV) knjiºnice. Funkcije so bile programirane v okviru okolja razvitega v Laboratoriju za digitalno obdelavo signalov, slik in videa (LDOS) na Fakulteti za elektrotehniko v Ljubljani imenovanega LDOS Video Processing Projekt (LDOS VPP). Knjiºnica OpenCV OpenCV je namenjena programskim re²itvam problemov RV v realnem asu na procesorjih Intelove arhitekture. Vsebuje ²iroko paleto funkcij za obdelavo in interpretacijo digitalnih slik. Knjiºnica je kompatibilna s knjiºnico razredov Intel Image Processing Library (IPL), ki skrbi za obdelavo digitalnih slik na niºjem nivoju. Kljub nekaterim funkcijam za obdelavo na niºjem nivoju, kot je binarizacija slike, ltriranje in izra un statistike, je OpenCV predvsem knjiºnica algoritmov vi²jenivojske obdelave slik. To predstavljajo algoritmi za kalibriranje kamere, detekcijo zna ilk in sledenje, analizo oblik objektov, analizo gibanja, 3D rekonstrukcijo ter segmentacijo in razpoznavo objektov. Poglavitna zna inost funkcij knjiºnice je poleg njihove uporabnosti in kvalitete izvedbe njihova u inkovitost gledano s stali² a hitrosti in porabe procesorske mo i. Zasnova funkcij temelji na kombinaciji eksibilnih dinami nih podatkovnih struktur (Dynamic Data Structures) in IPL podatkovnih struktur. Funkcije so optimizirane za delovanje na procesorjih Intelove arhitekture in izkori² ajo prednosti Multimedia Extension (MMX) tehnologije. MMX je nabor multimedijskih in²trukcij vgrajenih v Intelove mikroprocesorje. Te lahko opravijo nekatere naloge digitalne obdelave signalov, ki so obi ajno rezervirane za video ali zvo no kartico. Podrobnej²e informacije o OpenCv knjiºnici se nahajajo na spletni strani podjetja Intel [18].

36 20 4. Prakti na izvedba vmesnika LDOS Video Processing Projekt LDOS VPP je programsko okolje, ki temelji na OpenCV knjiºnici in omogo a zajem in obdelavo slik v realnem asu. Vsebuje nekatere razrede in rutine za obdelavo slik, predvsem pa predstavlja osnovo za razvoj drugih kompleksnih aplikacij na tem podro ju. Lastnost LDOS VPP je tudi, da standardizira proces obdelave podatkov in zagotavlja osnovne podatkovne strukture za slike, matrike in ostale tipe podatkov ter tako omogo a skupinsko programiranje in izmenjavo kode. V veliko pomo pri razvijanju aplikacij za digitalno obdelavo slik je uporabni²ki vmesnik, preko katerega lahko uporabnik opazuje delovanje funkcij in rezultate ter interaktivno spreminja njihove parametre. Obdelovanje je moºno na posameznih slikah, sekvenci slik ali pa v realnem asu na videu, ki ga zajema priklju ena kamera. Uporabnik ima vpogled tudi na sklade, na katerih se nahajajo vhodni in izhodni podatki, slike ali spremenljivke, s katerimi lahko poljubno manipulira in jih na ºeljo vklju uje v procese digitalne obdelave. Uporabni²ki vmesnik prikazuje slika 4.3. Sestavljajo ga ²tiri okna: glavno okno - 1, okno skladov - 2, uporabni²ko okno - 3, okno za pregled slik in videa - 4. V glavnem oknu se nahajajo meniji, v katerih uporabnik izbira med ºe obstoje imi funkcijami za digitalno obdelavo slik in nastavi osnovne parametre za delovanje okolja. Vsebuje tudi formo, kamor funkcije med procesiranjem izpisujejo vmesna sporo ila o poteku delovanja in ostale zanimive parametre. Okno skladov prikazuje pogled na sklade slik in podatkov, ki so vklju eni v proces delovanja funkcije. Tu na sklad uporabnik nalaga vhodne podatke razli nih tipov, ki jih funkcije potrebujejo, in ima dostop do izhodnih podatkov, ki jih po ºelji shranjuje, bri²e in podobno. Uporabni²ko okno omogo a dostop do funkcij, ki jih je implementiral uporabnik. Rezultate obdelav na slikah oziroma videu si lahko uporabnik nato ogleda v oknu za pregled slik in videa.

37 4.2. Delovno okolje 21 Slika 4.3: LDOS Video Processing Projekt - uporabni²ki vmesnik LDOS VPP podpira tri razli ne na ine procesiranja: navadno procesiranje, interaktivno procesiranje, interaktivno procesiranje slike s kamere. Pri navadnem procesiranju objekt procesiranja jemlje vhodne podatke, slike in parametre, z ustreznih skladov ter nato vrne rezultate nazaj na sklade. Pri interaktivnem procesiranju je vhodna slika vzeta s sklada slik, ostale vhodne podatke si objekt sam vzame s skladov, parametre procesiranja pa uporabnik nastavlja interaktivno preko drsnikov v novem oknu. Tako lahko sproti opazuje vpliv posameznih parametrov na rezultat, ki ga opazuje v oknu za pregled slik in videa. Tretji na in procesiranja, podprt v LDOS VPP, je interaktivno procesiranje slike s kamere, ki sem ga uporabil pri razvoju vmesnika v diplomskem delu. Postopek procesiranja je prikazan v sliki 4.4. Slika je zajeta s kamero in prepu² ena v obdelavo objektu procesiranja, ki je v danem primeru vmesnik za krmiljenje naprav z kretnjami roke(vknskr). Uporabnik lahko med procesiranjem spreminja parametre obdelave, rezultate pa spremlja v oknu za pregled slik in videa, kjer je prikazana procesirana vhodna slika.

38 22 4. Prakti na izvedba vmesnika Slika 4.4: Interaktivno procesiranje slike s kamere

39 5. Zaznava barve koºe Prva naloga vmesnika je segmentacija objektov, ki bi lahko predstavljali uporabnikovo roko, iz vhodnega videa. Algoritem kandidatne objekte izlo i tako, da v sliki poi² e obmo ja z zna ilno barvo koºe. Detekcija koºe na podlagi zna ilne barve je osnova za mnoge vi²jenivojske analize digitalnih slik. Metoda se je dokazala kot uporabna osnova za detekcijo in prepoznavo obrazov, sledenje ljudi v videu, ltriranje dolo enih video vsebin, video kompresijo na osnovi razumevanja vsebine in mnoge druge aplikacije obdelave slik in videa. Temu primerno je postala tema mnogih raziskav v zadnjih letih, ki so vpeljale kar nekaj razli nih tehnologij za modeliranje in prepoznavo koºne barve [19]. Za izvedbo kvalitetnega sistema barvne razpoznave koºe v sliki ali videu je potrebno ustrezno izbrati: barvni prostor zapisa slike v katerem i² emo barvo koºe, model porazdelitve barve koºe v danem barvnem prostoru. Pri izbiri barvnega prostora ºelimo predvsem to, da je v njem barva koºe predstavljena karseda koncentrirano in se immanj prekriva z ostalimi barvami ter da jo je moºno imbolj natan no opisati z barvnim modelom. Barvni model predstavlja na in predstavitve barve koºe v danem barvnem prostoru in vpeljuje mero za izra un podobnosti barve posameznega SE z barvo koºe. Tako lahko na osnovi podobnosti za vsak SE v sliki dolo imo ali pripada koºi ali ne. Ustreznost barvnega modela dolo a njegova kompleksnost in natan nost modeliranja barve koºe. 23

40 24 5. Zaznava barve koºe 5.1 Problemi zaznave barve koºe Glavna teºava pri segmentaciji objektov na podlagi njihove barve je, da je barvni izgled objektov, kot ga zazna kamera, mo no odvisen od osvetlitve, kateri so objekti izpostavljeni. Tako se barva objekta spreminja s spremembami v osvetlitvi. Te spremembe lahko delimo v spremembe jakosti osvetlitve in spremembe osvetlitvene barve. Sprememba jakosti osvetlitve je odvisana od izvora svetlobe oziroma jakosti svetlobe, ki jo vir oddaja. Lahko pa je tudi posledica sprememb v geometriji osvetlitve. To pomeni, da jakost osvetlitve objekta dolo a njegov geometrijski poloºaj glede na vir svetlobe. Kot primer naj navedem razdaljo med objektom in izvorom svetlobe. ƒe postavimo dva objekta enake barve enega bliºje izvoru svetlobe in enega dlje, bo bliºji objekt bolj svetel. Osvetlitvena barva je posledica sprektralne sestave svetlobe, ki jo vir oddaja. Tako je slika, ki jo snema kamera pri svetlobi volframove ºarnice, rumenkasto oranºne barve, medtem ko je slika pri neonski osvetlitvi rahlo modre barve. Spektralno sestavo svetlobe dolo a njena barvna temperatura. Barva oddane svetlobe v odvisnosti od barvne temperature v kelvinih (K) je predstavljena v sliki 5.1, tabela 5.1 pa prikazuje barvno temperaturo nekaterih svetlobnih virov. Izvor svetlobe Barvna temperatura v K sve a 1500 volframova ºarnica 2800 neonska ºarnica son ni vzhod, zahod 3500 opoldansko sonce 5500 obla no nebo, senca 7000 modro nebo Tabela 5.1: Barvna temperatura izvorov svetlobe Slika 5.2 prikazuje spreminjanje barve objekta, roke, glede na vir svetlobe, ki jo osvetljuje. Od leve proti desni si sledijo slike roke osvetljene z volframovo ºarnico, neonsko svetlobo, dnevna svetlobo v prostoru in modrim nebom na prostem.

41 5.1. Problemi zaznave barve koºe 25 Slika 5.1: Barvna temperatura v kelvinih (K) Slika 5.2: Odvisnost barve objekta od tipa izvora svetlobe Naslednji problem pri zaznavi barve koºe je, da se barvni odtenek koºe med ljudmi razlikuje. Razlike v barvnih odtenkih koºe so opazne med ljudmi razli nih ras in pa tudi znotraj rase. Barva objekta, kot ga interpretira naprava, pa se spreminja tudi v odvisnosti od kamere, ki sliko zajame. Na to vpliva predvsem tehnologija zajema slike. Vsi na²teti problemi oteºujejo u inkovito segmentacijo objektov na podlagi zna ilne barve koºe, saj je ta teºko dolo ljiva. Nekatere vplive je mogo e do neke mere omiliti, ostali pa zahtevajo prilagajanje aplikacije in postavitev dolo enih omejitev pogojev delovanja, kot je na primer pogoj, da aplikacija deluje le pri dolo eni osvetlitvi in tako naprej Omejitev odvisnosti percepcije barve od osvetlitve Omejitev odvisnosti od sprememb v jakosti osvetlitve Neob utljivost percepcije barve objekta na spremembe jakosti osvetlitve je mogo e delno dose i tako, da sliko trasformiramo v barvni prostor, kjer lahko svetlostno komponento lo imo od barvne informacije. Primeri tak²nih barvnih prostorov so med drugim normaliziran RGB, TSL in HSV barvni prostor.

42 26 5. Zaznava barve koºe Omejitev odvisnosti od sprememb osvetlitvene barve Sprememb osvetlitvene barve ni mogo e kompenzirati z enostavno transformacijo, problem je precej bolj kompleksen. Do neke mere to teºavo re²uje t.i. White balance (WB). WB je tehnologija pri kateri kamera preko poznavanja referen ne to ke, ki predstavlja belo barvo, izra una ustrezne vrednosti ostalih barv. ƒe kamera na primer posname bel zid osvetljen z volframovo ºarnico, je ta rumenkaste barve. Ker ima kamera informacijo, da je v resnici njegova barva bela, lahko temu primerno kompenzira tudi ostale barve v sliki. Ve ina digitalnih kamer vsebuje funkcijo avtomati ne nastavitve WB. Kamera vzame pri avtomati nem WB v obzir celotno barvo slike in na podlagi te izra una najprimernej²i WB. Metoda ni povsem zanesljiva, saj sistem lahko zamotijo slike z dominantno barvo ali pa odsotnost naravne bele barve. Vseeno je videz slik obdelanih z avtomati nim WB bolj naraven, kot to prikazuje slika 5.3, kjer so fotograje posnete v enakih razmerah kot v sliki 5.2. Barve roke so ²e vedno razli ne, vendar se je razlika opazno zmanj²ala. Slika 5.3: Odvisnost barve objekta od tipa izvora svetlobe z uporabo WB Kljub temu da sem uporabljal uporabniku in svetlobnim razmeram prilagojen barvni model, podpoglavje 5.1.2, kar pomeni, da so svetlobni pogoji relativno znani, se je pri testiranju izkazalo, da avtomati ni WB pripomore v dolo enih primerih k ve ji razlo nosti barve roke od barve ozadja. Uporabnost te metode se posebej izkaºe pri absorbiranju manj²ih sprememb v barvi osvetlitve, ki se lahko pojavijo v asu uporabe. Zato sem pri uporabi sistema uporabljal funkcijo avtomati ne nastavitve WB.

43 5.2. Barvni prostor zapisa slike Uporabniku in svetlobnim razmeram prilagojen barvni model Barvni model, ki bi zajemal vse razli ne odtenke barve koºe pri vseh moºnih svetlobnih pogojih in posnetkih razli nih kamer, ne obstaja. e posebej ker ºelimo, da je barvni model tudi karseda diskriminatoren za barve vseh ostalih objektov, ki se lahko nahajajo v sliki. Literatura ponuja nekatere re²itve [19], ki so uporabne v primeru dolo anja koºne barve v video sekvencah. Ta se namre mo no razlikuje od detekcije barve koºe v stati nih slikah. Za razliko od stati nih slik, kjer je potrebno brez predhodnjih vedenj o pogojih, v katerih je bila slika narejena, natan no dolo iti obmo ja koºne barve na podlagi nekega splo²nega barvnega modela, lahko pri videu vklju imo v barvni model dinami no komponento. Barvni model tako prilagodimo trenutnim razmeram, konkretni osebi, svetlobnim pogojem in kameri, ki video zajema. Ker ni potrebe po splo²nosti modela lahko mo no zmanj²amo ²tevilo napa no klasiciranih predelov slike. Ena od moºnih re²itev je, da v aplikacijo, ki temelji na izlo anju objektov koºne barve, vpeljemo predhodno stopnjo inicializacije barvnega modela. To pomeni, da najprej zgradimo uporabniku in svetlobnim razmeram prilagojen barvni model in ga ²ele nato uporabljamo v sistemu. Ko sem razvijal sistem, sem pri modeliranju barve koºe spoznal, da se zaradi spremembe pogojev v katerih lahko naprava zajema sliko, percepcija barve koºe mo no spreminja. Splo²ni barvni modeli, ki sem jih preizkusil, so bili premalo zanesljivi pri izlo anju objektov. Zato sem se odlo il, da uporabim razmeram speci en barvni model in v sistem vpeljem stopnjo inicializacije. Uspe²na in natan na barvna segmentacija je namre klju nega pomena za sistem, ki nato analizira obliko teh objektov in jo sku²a interpretirati. 5.2 Barvni prostor zapisa slike Predstavljen vmesnik temelji na barvni segmentaciji koºe preko barvnega modela, ki ga pred uporabo inicializiramo in s tem prilagodimo na trenutne razmere. Kljub temu je

44 28 5. Zaznava barve koºe izbira barvnega prostora, v katerem je slika zapisana, pomembna, saj je z njim dolo ena porazdelitev barve koºe v tem prostoru. Ustrezno barvno porazdelitev je kasneje mo natan neje opisati z barvnim modelom Izbira barvnega prostora Zaradi inicializacije se obseg moºnih sprememb v svetlobnih pogojih, katerim je objekt izpostavljen, zmanj²a. Vseeno pa v predpostavljenem asu uporabe sistema, preden preidemo na ponovno inicializacijo, prihaja do manj²ih sprememb v pogojih. ƒe sistem uporabljamo pri dnevni svetlobi, se poloºaj sonca konstantno spreminja, lahko se celo skrije za oblaki. V primeru lu i lahko neka tretja oseba zakrije svetlobo s telesom ali pa priºge dodatno lu. Poleg sprememb pri izvorih svetlobe se tudi poloºaj roke pri uporabi sistema nenehno spreminja. S tem se spreminja tudi njen relativni poloºaj glede na izvor svetlobe in posledi no tudi jakost osvetlitve roke. Delno teºave re²i avtomatsko prilagajanje WB, ki do neke mere absorbira spremembe v barvni temperaturi izvora svetlobe. Problem spreminjanja jakosti osvetlitve pa ostane nere²en. Re²itev za omilitev teh sprememb je izbira barvnega prostora zapisa slike, v katerem lahko svetlostno komponento izlo imo. Izbira barvnega prostora je odvisna tudi od na ina modeliranja barve. Za ta sistem je najprimernej²e parametri no modeliranje porazdelitve barve. Izbira je natan neje utemeljena v poglavju 5.3. Za razliko od neparametri nih modelov, kjer je porazdelitev barve v barvnem prostoru dokaj nepomembna, je pri parametri nih modelih ujemanje porazdelitve barve koºe z modelirano porazdelitvijo klju no za uspe²nost delovanja sistema. Odvisnost porazdelitve barve koºe od izbire barvnega prostora sta raziskala Terillon in Akamatsu [20]. Izlo ila sta barvno komponento, ki predstavlja svetlost, in porazdelitev opazovala v 2D barvnem prostoru. Analizirala sta 9 razli nih barvnih prostorov in sicer na 110 slikah 20 razli nih ljudi azijske in bele rase. Njune rezultate prikazuje tabela 5.2. MSDN, ena ba 5.1, je mera za ujemanje dejanske porazdelitve gostote verjetnosti barve koºe z elipti no Gaussovo porazdelitvijo, ki jo opi²e enojni Gaussov model, kasneje na-

45 5.2. Barvni prostor zapisa slike 29 barvni prostor MSDN HIN TP=TN (%) TSL rgb CIE-xy CIE-DSH HSV YIQ YES CIE-L*u*v CIE-L*a*b Tabela 5.2: Vpliv barvnega prostora zapisa slike na porazdelitev barve koºe v prostoru tan neje opisan v poglavju Predstavlja evklidsko razdaljo med normiranim histogramom barve koºe v diskretnem barvnem prostoru lo ljivosti M N in diskretno porazdelitvijo, kot jo opisuje enojni Gaussov model. MSDN = N M (G i,j K i,j ) 2 (5.1) j=1 i=1 G i,j v ena bi 5.1 predstavlja posamezne stolpce histograma Gaussove porazdelitve, K i,j pa stolpce histograma porazdelitve barve koºe. Prekrivanje med histogramom porazdelitve barve koºe in histogramom porazdelitve ostalih barv, NK i,j, podaja ²tevilo HIN v ena bi 5.2. HIN = N M min(k i,j, NK i,j ) (5.2) j=1 i=1 Zadnji stolpec v tabeli 5.2 predstavlja uspe²nost, ki je bila doseºena pri detekciji koºe s parametri nim enojnim Gaussovim barvnim modelom. T P = T N je odstotek uspe²no klasiciranih SE, ki so bili dolo eni, da pripadajo koºi (TP). Pri kalibraciji barvnega modela je bil prag verjetnosti, ki dolo a, ali SE pripada koºi, nastavljen tako, da je takrat TP enak odstotku SE, ki so bili uspe²no klasicirani, da ne pripadajo koºi (TN). Lahko bi namre poljubno vi²ali odstotek TP, vendar pa bi ²lo to na ra un velikega ²tevila SE, ki bi jih napa no klasicirali, da ne pripadajo koºi, s imer bi padel tudi odstotek TN.

46 30 5. Zaznava barve koºe Rezultati o itno izpostavjo predvsem dva barvna prostora, TSL in normaliziran RGB (rgb). Glede na to, da se porazdelitev barve koºe dobro ujema z Gaussovo porazdelitvijo (nizek MSDN) in je prekrivanje barve koºe z ostalimi barvami majhno (nizek HIN), je v teh dveh barvnih prostorih tudi procent uspe²nosti razpoznave koºe najvi²ji. Na podlagi teh rezultatov sem v sistemu uporabil moºnost izbire med tema dvema barvnima prostoroma za predstavitev slik zajetih s kamero RGB barvni prostor Programsko okolje LDOS VPP, poglavje 4.2.2, podpira zajem slike s kamero, ki jo zapi²e v standardnem RGB barvnem prostoru. V njem je vsaka barva predstavljena s tremi barvnimi kanali, itenziteto rde e (R - red), zelene (G - green) in modre (B - blue) barve. RGB je eden najpogosteje uporabljenih barvnih prostorov za obdelavo in shranjevanje digitalnih slik. RGB barvni prostor je popoln, kar pomeni, da vsebuje vse barve, ki jih pri zaznavanju lahko lo imo. Vendar pa zaradi visoke stopnje korelacije med posameznimi barvnimi kanali, me²anja barvne in svetlostne informacije ter percepcijske nemonotonosti ni najprimernej²i za detekcijo koºe v sliki Normaliziran RGB barvni prostor Normaliziran RGB, rgb, je prvi barvni prostor, ki sem ga uporabil za opis barve koºe. Barvni prostor je primeren za opis barve koºe s parametri nim barvnim modelom [20]. Posamezne komponente rgb prostora se izra una iz RGB z enostavnim postopkom normalizacije, kot to prikazujejo ena be 5.3, 5.4 in 5.5. Od tod izhaja tudi ime prostora, normaliziran RGB barvni prostor. r = g = R R + G + B G R + G + B (5.3) (5.4)

47 5.2. Barvni prostor zapisa slike 31 B b = (5.5) R + G + B Ker je vsota vseh treh komponent znana, (r + g + b = 1), tretja barvna komponenta ne vsebuje nobene informacije in jo lahko opustimo. Tako reduciramo dimenzionalnost prostora na dve dimenziji. Ostali dve komponenti sta pogosto poimenovani tudi kot isti barvi, saj sta r in g zaradi normalizacije neodvisni od sprememb v jakosti osvetlitve. To pomeni, da je za matirano povr²ino rgb barvni prostor teoreti no neob utljiv na jakost prostorske osvetlitve in neodvisen od sprememb geometrijskega poloºaja predmeta glede na vir svetlobe TSL barvni prostor Drugi barvni prostor za opis barve koºe, ki sem ga vgradil v sistem, je TSL (T - tint, S - saturation, L - lightness) barvni prostor. TSL je preslikava normaliziranega RGB prostora v loveku naraven barvni prostor. Posamezne komponente TSL barvnega prostora se namre ujemajo s tremi osnovnimi vizualnimi lastnostmi barve, kakor jo dojema lovek, barvnim odtenkom (T), nasi enostjo (S) in svetlostjo (L) barve. Ena be 5.6, 5.7 in 5.8 predstavljajo transformacijo iz rgb v TSL, kjer velja r = r 1 in 3 g = g 1. 3 T = arctan r g + 1 2π 4, e g > 0 arctan r g + 3 2π 4, e g < 0 0, e g = 0 (5.6) S = 9 (r 2 + g 2 ) 5 (5.7) L = R G B (5.8) Dobra lastnost TSL barvnega prostora je poleg njegove naravnosti tudi ta, da ima eksplicitno lo eni barvni komponenti T in S od svetlostne komponente L. Slednjo lahko opustimo in dobimo 2D barvni prostor, ki je invarianten na spremembe v jakosti prostorske osvetlitve in na spremembe geometrijskega poloºaja predmeta glede na izvor svetlobe.

48 32 5. Zaznava barve koºe 5.3 Model porazdelitve barve koºe Kon ni cilj pri detekciji koºe je vzpostaviti sistem, ki bo lo il SE, ki pripadajo koºi, od ostalih. Za to potrebujemo merilo, ki izraºa podobnost barve SE z barvo koºe. Podobnost izra unamo na osnovi izbranega modela porazdelitve barve koºe Izbira modela porazdelitve barve koºe V poglavju so opisani razlogi za izbiro uporabniku in trenutnim svetlobnim razmeram prilagojenega modela barve koºe. Za razliko od globalnega barvnega modela je bilo potrebno vpeljati stopnjo inicializacije, v kateri prilagodimo barvni model koºe. Z inicializacijo je delno pogojena tudi izbira barvnega modela. Potrebno je namre izbrati barvni model, ki je sposoben na podlagi relativno majhnega u nega vzorca, torej le del ka uporabnikove koºe, posplo²iti predstavo o barvi koºe. Druga pomembna lastnost, ki vpliva na izbiro, je zahtevnost modeliranja in uporabe modela. S tem je mi²ljena predvsem poraba procesorske mo i in ostalih virov naprave. Omejil sem se namre na delovanje vmesnika v realnem asu na povpre ni opremi, kot je osebni ra unalnik. Nenazadnje pa o uporabnosti modela odlo a njegova u inkovitost pri zaznavi koºe v sliki oziroma videu Tipi modeliranja barve koºe Barvne modele, ki se uporabljajo za detekcijo koºe, je mogo e razvrstiti v tri skupine [19]: barvni modeli z eksplicitno deniranim obmo jem barve koºe, neparametri ni barvni modeli, parametri ni barvni modeli.

49 5.3. Model porazdelitve barve koºe 33 Barvni modeli z eksplicitno deniranim obmo jem barve Najbolj enostavna in najmanj zahtevna metoda za dolo anj SE barve koºe je metoda, ki temelji na empiri no dolo enih mejah obmo ja barve koºe v danem barvnem prostoru. Kot primer, Peer in ostali [21] so v RGB barvnem prostoru SE klasicirali za del koºe, e je R > 95, G > 40 in B > 20, absolutna razlika med R in G manj²a od 15 in max{r, G, B} min{r, G, B} > 15. Tak²na klasikacija je veljala pri dnevni svetlobi. Najve ja prednost te metode je njena enostavnost in hitrost pri klasikaciji. Teºava se pokaºe pri postavitvi modela, saj zahteva metodi en pristop k dolo itvi mej, ki je lahko dokaj zamuden. Za postavitev potrebujemo relativno veliko u no mnoºico, pomembna pa je tudi ustrezna izbira barvnega prostora. Gledano s stali² a sistema, ki ga predstavlja to delo, je metoda nezahtevna, teºavo predstavlja le inicializacijska stopnja. Potrebovali bi namre neko metodo, ki bi na podlagi vzorca barve koºe postavila nabor pravil. Problem pa bi predstavljala tudi majhnost u nega vzorca, ki je na voljo pri inicializaciji. Neparametri ni barvni modeli Namen metod neparametri nega barvnega modeliranja je oceniti porazdelitev barve koºe v barvnem prostoru izklju no na podlagi u nega vzorca brez izpeljave eksplicitnega modela barve koºe. Porazdelitev dobimo tako, da barvni prostor kvantiziramo v poljubno ²tevilo obmo ij, kjer vsako predstavlja dolo en razpon dvojice barvnih komponent oziroma trojice, e gre za 3D barvni prostor. Rezultat je 2D ali 3D histogram, v katerem vsak element vsebuje podatek, kolikokrat se je posamezna barva pojavila v nekem u nem vzorcu slik koºe. Rezultat normalizacije tak²nega histograma je diskretna porazdelitev gostote verjetnosti barve koºe. Tako imamo za vsako barvno obmo je podano verjetnost, da ta ustreza koºi. Glavna prednost te metode je njena neodvisnost od oblike porazdelitve barve koºe, saj

50 34 5. Zaznava barve koºe lahko opi²e poljubno zahtevne porazdelitve. Prav tako je hitra pri klasikaciji, kajti verjetnost, da dolo ena barva pripada koºi, je potrebno le prebrati iz tabele porazdelitve gostote verjetnosti barve koºe. Slabost metode pa je v njeni nezmoºnosti posplo²itve u nega vzorca. To pomeni, da potrebujemo ob²irno u no mnoºico, e ºelimo dobiti ustrezen opis porazdelitve. Zaradi nezmoºnosti posplo²itve vzorca ta metoda ni primerna za sistem z inicializacijo, saj je u ni vzorec barve koºe, ki nam je na voljo, ob utno premajhen. Parametri ni barvni modeli Parametri ni barvni modeli so rezultat ºelje po bolj kompaktnem na inu opisa barve koºe ter zmoºnosti posplo²itve in interpolacije u nega vzorca. Pri parametri nih barvnih modelih celotno porazdelitev barve koºe v barvnem prostoru predstavimo z nekaj parametri, ki dolo ajo predpostavljeno zna ilno obliko porazdelitve. Velikost u nega vzorca, na podlagi katerega parametre izra unamo ni klju nega pomena, bolj je pomembna njegova reprezentativnost. Porazdelitev za barvna obmo ja, ki v u nem vzorcu niso predstavljena, namre dolo a predpostavljena porazdelitev. Se pa zato na tem mestu pojavi vpra²anje ustreznosti tak²ne predstavitve. Zato je klju nega pomena ujemanje dejanske porazdelitve barve koºe s predpostavljeno. S tem postane zelo pomembna tudi izbira ustreznega barvnega prostora, ki obliko porazdelitve barve koºe do neke mere tudi dolo a. Pri detekciji koºe sem uporabil ta na in modeliranja barve koºe. Uporaben je v sistemu z inicializacijsko stopnjo, saj je sposoben posplo²iti majhen u ni vzorec, poleg tega pa tudi hitrost u enja in klasikacije dovoljuje delovanje v realnem asu. Poznamo ve razli nih parametri nih modelov za opis barve koºe, od enostavnej²ih do bolj kompleksnih opisov porazdelitve [19]. V sistem sem integriral dva modela, enojni Gaussov model (Single Gaussian) in model elipti nih mej (Elliptic boudary model), ki sta sposobna opisa enostavnej²ih oblik porazdelitve. Za primerno obliko porazdelitve barve koºe poskrbi ustrezen barvni prostor zapisa slike, ki sem ga izbral na podlagi rezultatov iz poglavja

51 5.3. Model porazdelitve barve koºe 35 Iz tabele 5.2 je razviden vpliv ustrezne izbire barvnega prostora na uspe²nost delovanja parametri nih metod Enojni Gaussov model Yang in sodelavci [22] so pokazali, da je mogo e porazdelitev barve koºe posameznika pri nespremenljivih svetlobnih pogojih v normaliziranem RGB barvnem prostoru zadovoljivo opisati z Gaussovo porazdelitvijo. Podobno kaºejo rezultati, ki sta jih dosegla Terrillon in Akamatsu [20], le da enako potrdita tudi za TSL barvni prostor. V dvodimenzionalnem prostoru je Gaussova porazdelitev gostote verjetnosti elipti ne oblike, zato tudi ime elipti na Gaussova porazdelitev gostote verjetnosti. Denirana je z ena bo 5.9. p(c koºa) = 1 2π Σ k 1 2 e 1 2 (c µ k) T Σ 1 k (c µ k) (5.9) V ena bi 5.9 c predstavlja barvni vektor. Z barvnim vektorjem opi²emo barvo vsakega posameznega SE. Ker sem uporablja 2D barvni prostor, svetlostno barvno komponento sem izlo il, je c vektor z dvema elementoma, kjer vsak ustreza eni od komponent barvnega prostora. V primeru SE i je torej: c i = r i oziroma c i = T i (5.10) g i S i V ena bi 5.9 je p(c koºa) verjetnost, da barvni vektor c pripada koºi, µ k in Σ k pa sta parametra porazdelitve barve koºe, ki ju izra unamo iz u nega vzorca koºe v postopku inicializacije barvnega modela. Vektor µ k je povpre je barvnih vektorjev vzorca: µ k = 1 n c i (5.11) n Σ k je kovarian na matrika: Σ k = 1 n 1 i=1 n (c i µ k )(c i µ k ) T (5.12) i=1

52 36 5. Zaznava barve koºe V ena bah 5.11 in 5.12 n predstavlja ²tevilo SE oziroma barvnih vektorjev, ki sestavljajo u ni vzorec. Ker uporabljamo 2D barvni prostor, vektor µ k vsebuje dva elementa, dimenzije matrike Σ k pa so 2 2. Vrednost p(c koºa) je moºno interpretirati kot podobnost barvnega vektorja c z barvo koºe. Pri postopku detekcije koºe podobnost vektorja c i vsakega SE i v sliki primerjamo z empiri no dolo enim pragom Θ p. ƒe je podobnost barvnega vektorja nad pragom, predpostavljamo, da SE pripada koºi. Postopek klasikacije podaja ena ba e p(c i koºa) > Θ p SE i koºa druga e SE i ozadje (5.13) Slika 5.4 predstavlja enojni Gaussov model barve koºe v testnem primeru, ki je bil inicializiran na podlagi vzorca koºe. Leva slika je 3D predstavitev barvnega modela. Slika je zajeta v normaliziranem RGB barvnem prostoru. r in g sta barvni komponenti, tretja dimenzija pa je vrednost porazdelitve gostote verjetnosti za koºo v tem prostoru. Ker je slika zajeta z 8-bitno natan nostjo za posamezno barvno komponento, so njihove vrednosti med 0 in 255. V sliki je prikazan le del celotnega barvnega prostora. x x g g r r Slika 5.4: Enojni Gaussov barvni model - 3D prikaz modela (levo) in elipti na obmo ja barve koºe (desno) Ko pri detekciji dolo imo prag Θ p, dobimo elipti no obmo je, znotraj katerega se nahaja predpostavljena barva koºe. Vsak SE z barvnim vektorjem v tem obmo ju je tako klasiciran za del koºe. Elipti na obmo ja barve koºe so za razli ne vrednosti praga Θ p prikazana na desni strani slike 5.4. ƒe prag vi²amo, se obmo je manj²a. S tem je verjetnost, da

53 5.3. Model porazdelitve barve koºe 37 je barvni vektor SE, ki pripada notranjosti obmo ja, v resnici del koºe, ve ja. Hkrati pa je ve ja tudi verjetnost, da nek vektor SE, ki prav tako pripada koºi, pade izven tega obmo ja in je dolo en za del ozadja. Zato je primerna izbira praga zelo pomembna za uspe²no detekcijo. Podobno kot z uporabo vrednosti p(c koºa) lahko SE klasiciramo tudi preko Mahalanobisove distance λ k (c) iz ena be Mahalanobisova distanca je del ena be 5.9. Z uporabo Mahalanobisove distance doseºemo enak u inek, ra unska zahtevnost in s tem as izra una pa se zmanj²a, zato sem jo uporabil tudi v predstavljenem sistemu. λ k (c) 2 = (c µ k ) T Σ 1 k (c µ k) (5.14) V ena bi 5.15 je predstavljena nekoliko spremenjena klasikacija z uporabo Mahalanobisove distance. e λ k (c) < Θ M SE i koºa (5.15) druga e SE i ozadje Model elipti nih mej Z analizo porazdelitve barve koºe v razli nih barvnih prostorih sta Lee in Yoo [23] ugotovila, da je porazdelitev barve koºe sicer elipti ne oblike, vendar pa ni optimalno modelirana z enojnim Gaussovim modelom. Pokazala sta, da roj koºne barve ni simetri no porazdeljen okoli maksimalne gostote porazdelitve, kakor predpostavlja enojni Gaussov model. Maksimum gostote je premaknjen proti t.i. sivinski to ki barvnega prostora, kjer se nahaja maksimum gostote porazdelitve barv, ki ne pripadajo koºi. ƒe predpostavimo, da je model simetri en, s tem v okvir koºne barve zajamemo tudi dobr²en del ostalih barv. Model elipti nih mej premakne center stran od sivinske to ke in ga postavi v to ko, ki predstavlja sredino vseh razli nih vzorcev barve koºe. Tako ne upo²teva frekvence pojavljanja posameznih barvnih vzorcev in ni odvisen od nesimetrije porazdelitve barve koºe. Model elipti nih mej je deniran podobno kot Mahalanobisova distanca: Φ k (c) 2 = (c ψ k ) T Λ 1 k (c ψ k) (5.16)

54 38 5. Zaznava barve koºe le da sta parametra porazdelitve ψ k in Λ k denirana druga e. Tudi postopek modeliranja na podlagi u nega vzorca v inicializacijski stopnji poteka nekoliko druga e kot pri enojnem Gaussovem modelu. Razdeljen je v dve stopnji, predprocesiranje in izra un parametrov. V postopku predprocesiranja iz u nega vzorca odstranimo k % elementov, ki predstavljajo najredkeje zastopane barvne vektorje. S tem odstranimo ²um in nepomembne podatke. Parameter k dolo imo empiri no, glede na u ni vzorec. V sistemu sem uporabil konstantno vrednost k = 5 %. Parametre iz preostalega vzorca izra unamo z ena bama: ψ k = 1 m c i (5.17) m Λ k = 1 n i=1 m f i (c i µ k )(c i µ k ) T (5.18) i=1 kjer je m ²tevilo razli nih barvnih vektorjev v u nem vzorcu, f i ²tevilo elementov vzorca z vrednostjo barvnega vektorja c i, n ²tevilo vseh elementov vzorca in µ k vektor srednje vrednosti barvnih vektorjev (ena ba 5.11). Dimenzije parametrov so enake dimenzijam parametrov pri enojnem Gaussovem modelu. Klasikacija barvnih vzorcev poteka tako kot v ena bi 5.15, le da Φ k (c) zamenja λ k (c). 5.4 Testiranje izbranih barvnih modelov Postavitev objektivne ocene uspe²nosti delovanja posameznega barvnega modela je zelo zahtevna. Edina moºnost je, da ro no ozna imo obmo ja koºe na posameznih slikah testne video sekvence in nato pre²tejemo deleº uspe²ne zaznave. Na ºalost je ta na in testiranja zelo zamuden, ²e posebej e ºelimo imeti dovolj reprezentativen vzorec, ki bi zajemal vsaj del vseh moºnih situacij, ki lahko kakorkoli vplivajo na rezultat. Tako sem se zanesel na opazovanje in subjektivno oceno primernosti izbranih modelov. V nadaljevanju tega poglavja je predstavjen test izbranih barvnih modelov. Opazoval sem porazdelitev barve koºe testnega vzorca v obeh izbranih barvnih prostorih. Z opazovanjem porazdelitve barve lahko delno ocenimo ustreznost izbranih barvnih modelov.

55 5.4. Testiranje izbranih barvnih modelov 39 Ker se sistem nana²a na prepoznavo roke, sem v testnih sekvencah analiziral barvo koºe na roki. Posnel sem roko in nato upo²teval le del slike, pravokotno obmo je, kjer se nahaja samo koºa. Znotraj obmo ja sem izra unal porazdelitev barvnih vektorjev. Da bi upo²teval razli ne svetlobne pogoje, v katerih je slika lahko zajeta, sem analiziral porazdelitev barve pri dveh razli nih video sekvencah, S1 in S2. Pri prvi je koºa osvetljena z dnevno svetlobo, pri drugi pa s svetlobo volframove ºarnice. Ker se svetlobni pogoji spreminjajo tudi v asu uporabe sistema, sem obe sekvenci posnel v dveh med seboj asovno lo enih delih a in b. Med uporabo se poloºaj roke glede na vir svetlobe premika, kar prav tako vpliva na barvno porazdelitev. Tako sem v posnetku roko premikal, da bi simuliral dejanske razmere, ki se pojavijo pri uporabi sistema. Informacije o testnih sekvencah podaja tabela 5.3. video sekvenca S1 S2 vir svetlobe dnevna svetloba volframova žarnica časovni premor med a in b 5 minut 5 minut doložina S1a: 246 slik S1b: 223 slik S2a: 214 slik S2b: 244 slik velikost območja analize SE SE SE SE število barvnih vzorcev 1, , Tabela 5.3: Testiranje barvnih modelov - testna sekvenca Slika 5.5: Testiranje barvnih modelov - testna sekvenca S1 (levo) in S2 (desno) Slika 5.5 predstavlja primera obeh testnih sekvenc, S1 na levi strani in S2 na desni. Rde pravokotnik omejuje obmo je, znotraj katerega sem porazdelitev opazoval. Normalizirani histogrami, ki predstavljajo porazdeliev barvnih vektorjev iz testne sekvence so prikazani na slikah 5.6 in 5.7.

56 40 5. Zaznava barve koºe g g r r 3 x S S T T Slika 5.6: Porazdelitev barve koºe - dnevna svetloba: 3D (levo) in 2D (desno) prikaz porazdelitve barve koºe v video sekvenci S1 za rgb (zgoraj) in TSL (spodaj) barvni prostor. Vidimo lahko, da je barva koºe v obeh prostorih za obe sekvenci dokaj kompaktna in da kaºe podobnost z Gaussovo porazdelitvijo. Opaziti je tudi, da je pri sekvenci S1, slika 5.6, pri dnevni osvetlitvi, porazdelitev sestavljena iz enega dominantnega maksimuma gostote porazdelitve in enega manj²ega. Razlog za to je lahko sprememba v osvetlitvenih pogojih ali pa pride do izraza barva sen nih predelov, ni pa mogo e izklju iti niti vpliva kak²nega drugega dejavnika. Videti je tudi, da je zaradi tega porazdelitev v TSL prostoru precej bolj raz²irjena kot v rgb barvnem prostoru, zaradi esar bi lahko dali prednost slednjemu, vendar je teºko dajati gotove splo²ne ocene na podlagi majhnega testnega vzorca. Oba prostora sta se namre izkazala kot primerna za detekcijo koºe v okviru potreb sistema. Za vsako sekvenco sem izra unal barvni model koºe, ki sem ga inicializiral na prvi sliki sekvence. V 2D prikazu porazdelitve barve koºe na desnih strani slik 5.6 in 5.7 je izrisano elipti no obmo je koºe, kot ga dolo a barvni model. Z rde o barvo je ozna eno obmo je,

57 5.5. Delovanje sistema za zaznavo barve koºe x g S r 140 T x g S r T Slika 5.7: Porazdelitev barve koºe - osvetlitev z volframovo ºarnico: 3D (levo) in 2D (desno) prikaz porazdelitve barve koºe v video sekvenci S2 za rgb (zgoraj) in TSL (spodaj) barvni prostor. ki ga dolo a model elipti nih mej, z vijoli asto pa obmo je enojnega Gaussovega modela. Obseg, ki ga zajemata ni povsem relevanten, saj sem prag izbral empiri no, tako da je bila barvna segmentacija zadovoljiva. Pomembno pa je dejstvo, da je z barvnim modelom, ki ga inicializiramo le na vzorcu koºe prve slike video sekvence, mogo e dokaj natan no zajeti vse barvne vektorje koºe, ki se pojavijo v nadaljevanju sekvence. 5.5 Delovanje sistema za zaznavo barve koºe V tem poglavju je predstavljeno prakti no delovanje modula vmesnika, ki skrbi za barvno segmentacijo koºe iz slike. Uporabnika snema kamera, projekcija pa se prikaºe v oknu za pregled slik in videa v

58 42 5. Zaznava barve koºe uporabni²kem vmesniku okolja LDOS VPP. Prva stopnja je inicializacija barvnega modela. Najprej uporabnik preko drsnikov izbere poljubno kombinacijo barvnega prostora in barvnega modela za opis barve koºe. V oknu za ogled videa se prikaºe podro je, preko katerega inicializira barvni model tako, da ga prekrije z delom koºe. Ko sproºi inicializacijo, se izra unata vektor in matrika izbranega barvnega modela, ki je prilagojen trenutnim razmeram. Slika 5.8 prikazuje postopek inicializacije. Slika 5.8: Inicializacija barvnega modela Ko je barvni model inicializiran, sledi postopek detekcije koºe v naslednjih slikah videa, ki ga kamera zajema. Za vsak SE vhodne slike se izra una vrednost ena be 5.14 ali 5.16, odvisno od izbranega barvnega modela. Rezultat je slika podobnosti med barvo posameznih slikovnih elementov in barvo koºe. Slika podobnosti je prikazana v sliki 5.9 desno. Temnej²a obmo ja predstavljajo koºi bolj podobne predele. Slika 5.9: Slika podobnosti barve SE in barve koºe Na osnovi slike podobnosti med barvo SE in barvo koºe algoritem dolo i tiste SE, ki pripadajo koºi. Klasikacija se izvede z upragovljanjem slike podobnosti, kot to denira ena ba Sistem ne vsebuje adaptivne metode upragovljanja, kjer bi se prag prilagajal

59 5.5. Delovanje sistema za zaznavo barve koºe 43 razmeram, ampak je prag dolo en empiri no. Privzeta vrednost deluje v ve ini primerov zadovoljivo, moºno pa jo je poljubno spreminjati preko drsnikov na formi uporabni²kega vmesnika. Rezultat upragovljanja slike podobnosti je binarna maska, kjer so z enico ozna eni SE, ki so del koºe, z ni lo pa ozadje. Upragovljanje slike podobnosti je prikazano v sliki Na desni strani slike je binarna maska, ki jo sistem nato uporablja za analizo oblike objektov. Slika 5.10: Upragovljanje slike podobnosti SE in barve koºe Za bolj²o predstavo je v sliki 5.11 prikazana projekcija vhodne slike na binarno masko, ki jo dobimo z operacijo medsebojnega mnoºenja. Slika 5.11: Rezultat zaznave barve koºe Rezultat barvne segmentacije je zadovoljiv. Algoritem je detektiral skoraj vse dele koºe, prav tako pa je ²tevilo SE, ki so bili klasicirani kot del koºe in to niso, relativno majhna. Opaziti je veliko ²uma, ki ga je mogo e z nadaljno obdelavo izlo iti.

60 44 5. Zaznava barve koºe

61 6. Razpoznava roke in geste potrditve Glavna naloga vmesnika, ki ga predstavlja to diplomsko delo, je v vhodnem videu razpoznati roko uporabnika in prepoznati gesto potrditve v primeru, da je bila ta izvedena. Prvi del sistema, kot ga prikazuje slika 4.1, torej detekcija barve koºe, je opisan v poglavju 5. V tem poglavju je podrobneje predstavljen drugi del sistema iz sheme v sliki 4.1, analiza oblike objektov. Postopke razpoznave roke in geste potrditve iz slik podro ij koºne barve okvirno podaja slika 6.1. Rezultat procesa detekcije barve koºe so slike podro ij koºne barve S i, ki jih dolo a binarna maska. Primer tak²ne slike je prikazan v sliki S procesom predobdelave lahko izlo imo nekaj ²uma in popravimo obliko objektov barve koºe. Nato je potrebno med objekti izbolj²ane slike S i razpoznati roko in njen poloºaj. ƒe roko zaznamo, sledi stopnja, v kateri analiziramo spreminjanje oblike roke v zaporednih slikah videa. Obliko roke opi²emo z ustrezno zna ilko oblike f i in nato preko analize spreminjanja f i zaznamo gesto potrditve, e je ta izvedena. Slika 6.1: Postopek razpoznave roke in geste potrditve iz slik podro ij koºne barve 45

62 46 6. Razpoznava roke in geste potrditve 6.1 Predobdelava slike podro ij koºne barve V sliki 5.11 vidimo rezultat izlo anja barve koºe iz slike. Poleg obmo ij, ki so dejansko del koºe, je mo opaziti tudi dolo ene napake. Prvo skupino napak predstavljajo objekti v okolici, ki so bili detektirani zaradi podobnosti njihove barve z barvo koºe. Druga skupina so napake, ko povr²ine, ki pripadajo koºi, niso bile klasicirane kot koºa. Razlog za te napake je potrebno iskati predvsem v odvisnosti barve objekta od sprememb v njegovem geometrijskem poloºaju glede na vir svetlobe. Zaradi tega so nekateri mo no zasen eni deli klasicirani kot ozadje, saj velikih razlik v barvi tudi ustrezni barvni prostor ne more popolnoma absorbirati. V tretjo skupino pa lahko uvrstimo zrnati ²um, ki je posledica napak, ki nastanejo pri zajemu slike. Koli ina zrnatega ²uma je odvisna od kvalitete kamere, ki sliko zajema. Napake lahko lo imo tudi po velikosti njihove povr²ine. Manj²e napake je mogo e z ustrezno obdelavo odstraniti, ve je napake pa ostanejo. Tako se prenesejo naprej v sistemu in kvarijo obliko dejanskih objektov koºe ali pa jih sistem razume kot moºne kandidate za roko. Naloga modula za razpoznavo roke na podlagi analize oblike objekta je, da te napake pravilno razume in tako prepre i, da bi vplivale na napa no zaznavo. Za odstranjevanje napak iz slike obstaja veliko razli nih metod obdelave slike [4]. V sistemu sem se odstranjevanja manj²ih napak lotil z glajenjem slike podobnosti barve SE in barve koºe, nato pa ²e z morfolo²kim ltriranjem binarne maske slike, ki ozna uje elemente barve koºe Glajenje slike podobnosti barve SE in barve koºe Ko z uporabo barvnega modela izra unamo podobnost barve posameznih SE vhodne slike z barvo koºe dobimo eno-kanalno sliko. V njej vrednost vsakega SE ustreza podobnosti barve SE vhodne slike z barvo koºe, kakor jo dolo a izbrani barvni model. Na eloma so vrednosti sosednjih elementov dokaj zvezne, razen v primeru robov objektov. Lahko pa se pojavijo manj²a obmo ja velikosti nekaj SE, ki jih klasikacija lo i od okolice, ki jih

63 6.1. Predobdelava slike podro ij koºne barve 47 obdaja. To se pogosto zgodi v predelih slike, kjer je podobnost barve obmo ja z barvo koºe ravno na meji praga, ki razmejuje koºo in okolico, ali pa kot posledica napak pri zajemu slike. ƒe gledamo sliko obmo ij barve koºe, se to opazi kot rna obmo ja znotraj objekta koºe ali pa kot majhno izolirano obmo je koºe na rni okolici, kot to prikazuje slika 6.2. Slika 6.2: Napake pri detekciji obmo ij koºne barve Nekatere od teh motenj lahko odstranimo z metodami glajenja slik [4]. Z glajenjem slike podobnosti barve SE in barve koºe doseºemo, da je podobnost posameznih obmo ij bolj zvezna in so lokalna odstopanja manj²a. Tako se majhna obmo ja, ki niso sovpadala z okolico, sedaj njej priklju ijo. Nevarnost teh metod je, da z njimi izlo imo tudi vsa majhna obmo ja, velikosti nekaj SE, ki dejansko lahko pripadajo koºi. Pri tem predpostavimo, da roka, ki nas edina zanima, zaseda ve je podro je kot nekaj SE, kar je pravzaprav tudi predpogoj, da lahko analiziramo njeno obliko. V sistem sem integriral tri na ine glajenja slike podobnosti barve SE in barve koºe, ki so v obliki funkcije ºe realizirani v knjiºnici OpenCv. Uporabnik lahko izbere med dvema linearnima ltroma za glajenje slike, povpre evalnim in Gaussovim ltrom, in enim nelinearnim, ltrom median. Glajenje s povpre evalnim ltrom Najpreprostej²i linearni lter za glajenje slik je povpre evalni lter. Ena od poglavitnih dobrih lastnosti linearnih ltrov je moºnost uporabe diskretne prostorske konvolucije za izra un odziva [4].

64 48 6. Razpoznava roke in geste potrditve Okno povpre evalnega ltra je uniformno, kar pomeni, da imajo vse uteºi enako vrednost. Vrednosti so normalizirane, tako da je vsota uteºi enaka 1, h[m, n] = 1. Kot pove ime ltra, vrednost posameznega SE izhodne slike ustreza povpre ni vrednosti okolice SE vhodne slike, ki jo dolo a konvolucijsko okno h[m, n]. Uporabil sem izotropni lter, kar pomeni da je okno kvadratne oblike. Velikost okna je moºno nastavljati preko drsnikov na uporabni²ki formi, vendar je glede na velikost vhodne slike SE najprimernej²a velikost okna 7 7. S tak²nim oknom lahko odstranimo manj²i ²um in pri tem preve ne popa imo oblike relevantnih objektov. Okno predstavlja ena ba h[m, n] = (6.1) Glajenje z Gaussovim ltrom Linarni lter, pri katerem se uteºi okna prilegajo Gaussovi 2D prostorski porazdelitvi se imenuje Gaussov lter. Vrednosti uteºi izotropnega okna h[m, n] izra unamo z ena bo 6.2. h[m, n] = 1 2πσ (m+1 ( N 1 e 2 ))2 +(n+1 ( N 1 2 ))2 2σ 2 (6.2) N je liho ²tevilo stolpcev oziroma vrstic okna. Ker sem uporabil ltriranje z Gaussovim ltrom, ki je ºe realiziran v OpenCV knjiºnici kot samostojna funkcija, ne poznam natan ne uporabljene vrednosti standardne deviacije σ. Velikost okna sem izbral enako kot v primeru glajenja s povpre evalnim ltrom.

65 6.1. Predobdelava slike podro ij koºne barve 49 Glajenje s ltrom median Vpeljal sem tudi moºnost glajenja z nelinearnim ltrom median. Filter je pogosto uporabljen v programih za slikovno obdelavo, predvsem zaradi ra unske enostavnosti in hitrosti ter dobrih lastnostih pri glajenju slik popa enih z impulznim ²umom. Njegova prednost pred linearnimi ltri pri odstranjevanju ²uma je, da ne popa i robov na sliki [4]. Filter median temelji na prehodu ltrirnega okna, podobno kot pri diskretni konvoluciji, preko celotne slike in urejanju vrednosti slikovnih elementov znotraj okna v nara² ajo e zaporedje vrednosti, od najmanj²e do najve je. Vrednost SE v izhodni sliki je enaka mediani vrednosti v nara² ajo em zaporedju okna. Mediana vrednost je vrednost srednjega elementa v nara² ajo em zaporedju. Velikost okna sem izbral tako kot v primeru glajenja s povpre evalnim ltrom, torej velikosti 7 7. Za druga ne razmere, kot je na primer pri druga ni natan nosti zapisa vhodne slike, je moºno velikost prilagajati preko drsnikov v uporabni²kem vmesniku okolja LDOS VPP. Rezultati glajenja slike podobnosti barve SE in barve koºe Sistem v nadaljevanju v sliki podro ij koºne barve analizira konture med seboj povezanih podro ij koºne barve oziroma objektov koºne barve. Ker med njimi i² e zna ilno obliko roke z iztegnjenim kazalcem, sem opazoval vpliv glajenja s posameznim ltrom na obliko objekta, ki pripada roki. Slika 6.3 prikazuje konturo roke na neobdelani sliki. Slika 6.3: Kontura roke v neobdelani sliki obmo ij koºne barve

66 50 6. Razpoznava roke in geste potrditve Oblika roke na sliki 6.3 je zaradi ²uma mo no popa ena. Slika 6.4 prikazuje isti objekt, le da je bila slika podobnosti barve SE in barve koºe najprej zglajena. Slika 6.4: Kontura roke po glajenju slike podobnosti barve SE in barve koºe - (od leve proti desni) glajenje s povpre evalnim ltrom, z Gaussovim ltrom in s ltrom median Rezultati kaºejo u inkovitost metode glajenja. ƒeprev se zdi teoreti no postopek glajenja banalen, saj z njim odstranimo le manj²i ²um, ki bi ga lahko tudi kasneje pri analizi oblike posameznih objektov koºne barve zanemarili, se vseeno izkaºe za zelo u inkovitega. Teºava je namre, da manj²i ²um lahko oblikuje vezni len med posameznimi ve jimi objekti koºne barve in tako mo no popa i njihovo obliko, saj jih zdruºi v en skupen objekt. Z glajenjem te vezi u inkovito prekinemo. ƒe gledamo situacijo na sliki 6.4, se za najprimernej²ega izkaºe lter mediana, saj roko lo i od odve nih objektov in hkrati ohrani celovitost njene oblike. Sledita mu lter povpre enja in Gaussov lter, ki prav tako mo no izbolj²ata obliko objekta roke. ƒe ju primerjamo med seboj ugotovimo, da povpre evalni lter u inkoviteje odstrani manj²e objekte barve koºe, ki se nahajajo v okolici Morfolo²ko ltriranje binarne maske podro ij koºne barve Napake pri izlo anju objektov koºne barve sem dodatno zmanj²al z uporabo morfolo²kega ltriranja binarne maske, ki dolo a objekte koºne barve. Morfolo²ko ltriranje je raz²iritev uporabe matemati ne morfologije na podro je izbolj²ave digitalnih slik.

67 6.1. Predobdelava slike podro ij koºne barve 51 Matemati na morfologija in obdelava slik V tem poglavju so na kratko povzete osnove matemati ne morfologije, ki je med drugim natan neje podana v knjigi prof. dr. Tasi a, Adaptivne metode in obdelava slik [4]. Matemati na morfologija je bila razvita predvsem kot orodje za opis binarnih slik in objektov. Osnova matemati ne morfologije je teorija mnoºic, s katerimi so predstavljeni objekti v sliki. Binarni objekt X v celo²tevilski mreºi Z 2 digitalizirane binarne slike S lahko zapi²emo kot mnoºico SE z z vrednostjo 1, kakor to opi²e ena ba 6.3. X = {z : S(z) = 1, z = [m, n] Z 2 } (6.3) Pri digitalni obdelavi slik tako opisano binarno sliko oziroma objekte ltriramo s pomo jo morfolo²ke preslikave. Pri ltriranju se s strukturnim elementom, ki je prav tako binarni objekt, gibljemo po celotni vhodni sliki in za vsak element izvedemo predvideno morfolo²ko operacijo. Izhodna slika je tako poleg izbire operacije odvisna tudi od uporabljenega strukturnega elementa, ki se razlikujejo po velikosti in obliki. Osnovni morfolo²ki operaciji sta binarna erozija in binarno raztezanje. Ti operaciji sta tudi osnova ve ine morfolo²kih ltrov, ki se jih uporablja v namene digitalne obdelave slik. Binarna erozija: Binarno raztezanje: X B S = {z Z 2 B z X} (6.4) X B S = {z Z 2 X B z 0} (6.5) V ena bah 6.4 in 6.5 je B mnoºica strukturnega elementa. B S predstavlja njej simetri no mnoºico: B S = { b : b B} (6.6) B z pa predstavlja mnoºico B prestavljeno za element z: B z = {c : c = b + z, b B} (6.7)

68 52 6. Razpoznava roke in geste potrditve Prakti no gledano je erozija operacija, ki skr i binarni objekt X na sliki, skraj²a njegove krake in raz²iri luknje, saj po operaciji slika vsebujejo le to ke z Z 2 za katere velja, da je prenesena mnoºica B z podmnoºica binarnega objekta. Ko premikamo strukturni element B oziroma njemu simetri ni objekt B S po binarni sliki, se SE z objekta X ohrani le v primeru, e na njegovo mesto preneseni strukturni element prekriva le elemente objekta in ne tudi okolice. Po drugi strani pa morfolo²ko raztezanje objekt pove a, raz²iri krake in zoºi luknje. Objektu namre priredimo dodatne elemente z, za katere velja, da presek objekta X s prenesenim strukturnim elementom B z ni prazna mnoºica. Slika 6.5 prikazuje delovanje erozije in raztezanja na posameznem slikovnem elementu s simetri nim strukturnim elementom kvadratne oblike. Slika 6.5: Binarna erozija in binarno raztezanje S kombinacijo osnovnih morfolo²kih operacij lahko dobimo vse ostale morfolo²ke transformacije. Erozija, ki ji sledi raztezanje, ne ohranja originalnega objekta, ampak pripelje do nove morfolo²ke transformacije, ki se imenuje morfolo²ko odpiranje: X B = (X B S ) B (6.8) Operacija odpiranja zgladi konturo binarnega objekta X, prekine ozke vezne dele in odstrani tanke krake objekta. Dualna transformacija morfolo²kemu odpiranju je morfolo²ko zapiranje: X B = (X B S ) B (6.9)

69 6.1. Predobdelava slike podro ij koºne barve 53 Operacija zapiranja izlo i manj²e luknje ter zapolni dolge ozke kanale in razpoke v notranjosti binarnega objekta. Operaciji morfolo²kega zapiranja in odpiranja imata podoben u inek, kot operaciji erozije in raztezanja, vendar manj vplivata na splo²no obliko objektov v obdelavi in sta tako primernej²i za obnavljanje oblike objektov. Morfolo²ki lter odpri-zapri ƒe binarno sliko najprej obdelamo z operacijo odpiranja, odstranimo nekatere manj²e objekte, konture objektov zgladimo, odstranimo ozke krake, hkrati pa tudi lo imo ve je objekte, ki so medsebojno povezani z ozkimi veznimi deli. Ko tak²ni operaciji sledi ²e postopek morfolo²kega zapiranja, obliko ve ji objektov do neke mere obnovimo in zapolnimo manj²e praznine in ozke kanale v objektih. Postopek obdelave, kjer si sledita operacji odpiranja in zapiranja, imenujemo ltriranje z odpri-zapri (open-close) ltrom. Odpri-zapri lter sem uporabil na binarni maski, ki predstavlja obmo ja koºe v sliki. S tem sem ²e dodatno zmanj²al nekaj ²uma oziroma napak, ki so ostale po glajenju slike podobnosti barve SE in barve koºe. Za ltriranje sem uporabil strukturni element velikosti 5 5 SE. Po ºelji lahko uporabnik na uporabni²ki formi spremeni velikost strukturnega elementa in ga prilagodi morebitnim druga nim razmeram, kot je na primer zajem slike z ve jo natan nostjo. Filter sem sestavil s pomo jo osnovnih morfolo²kih operacij, ki so realizirane v knjiºnici OpenCV. Rezultat ltriranja binarne maske obmo ij koºne barve z morfolo²kim ltrom odpri-zapri Rezultat ltriranja je odstranitev nekaterih manj²ih objektov v ozadju, za katere predpostavimo, da niso roka. Glavna prednost je, da, podobno kot z glajenjem slike podobnosti barv, prekinemo nekatere ozke vezne lene med ve jimi objekti, ki so posledica ²uma, in tako prepre imo popa itev njihove oblike. ƒe sta dva razli na objekta zaradi ²uma povezana, ju sistem razume kot en objekt. Odpri-zapri lter pa nenazadnje tudi

70 54 6. Razpoznava roke in geste potrditve zgladi obliko konture objekta, ki jo v nasednji stopnji sistema uporabimo za analizo oblike objekta. Vpliv ltriranja prikazuje slika 6.6. Nekateri manj²i mote i objekti v ozadju so izginili, najve ja razlika pa je, da je ltriranje od roke lo ilo objekt, ki je mo no vplival na obliko objekta roke. Hkrati je ltriranje tudi zgladilo konturo objekta, ki je ozna ena z modro. Slika 6.6: Morfolo²ko ltriranje binarne maske podro ij koºne barve 6.2 Razpoznava objekta roke Do sedaj so bili na podlagi barvne segmentacije iz slike videa izlo eni objekti, ki imajo koºi podobno barvo. Njihovo obliko sem nekoliko izbolj²al z uporabo nekaterih metod ltriranja in hkrati odstranil nekatere manj²e objekte, ki ne pripadajo koºi oziroma zaradi njihove majhnosti predpostavimo, da ne predstavljajo roke. Cilj projekta je namre v videu zaznati roko in njen poloºaj. Tako lahko uporabnik, ko premika roko, preko njenega poloºaja v videu vodi tudi kazalec v polju slike. Rezultat segmentacije barve koºe je binarna slika oziroma maska, kjer so s pozitivnimi vrednostmi predstavljeni SE, za katere predpostavljamo, da pripadajo koºi, z vrednostjo 0 pa SE, ki so del okolice. Med seboj povezane skupine pozitivnih elementov interpretiramo kot lo ene objekte. Tako je predstavljena tudi uporabnikova roka, e se nahaja v videu. Poleg roke se v binarni sliki lahko nahajajo tudi nekateri drugi objekti. Najpogosteje je v sliki poleg roke opazen tudi objekt, ki ustreza obrazu uporabnika. Obraz je samostojen objekt, saj je od roke lo en zaradi majice, ki jo ima uporabnik oble eno. Hkrati se

71 6.2. Razpoznava objekta roke 55 lahko v videu pojavi del koºe nekege druge osebe, ki se sprehaja v ozadju, kar ravno tako razumemo kot nov samostojen objekt. Ne smemo pa pozabiti na objekte, ki se v binarni sliki elementov koºe pojavijo zaradi predmetov, ki so del okolice in imajo koºi podobno barvo. Primer binarne maske objektov koºne barve predstavlja slika 6.7. Objekti so ozna eni z modro. V sliki se poleg uporabnikovega obraza in roke nahaja ²e oseba v ozadju na levi strani in nekateri ostali predmeti, katerih barva je podobna barvi koºe. Ker ºelimo med vsemi temi elementi zaznati roko, sem analiziral oblike posameznih objektov in med njimi iskal zna ilno obliko, ki ustreza roki. Slika 6.7: Objekti koºne barve v binarni maski Ker je roka zelo gibljiv del telesa, s katerim lahko lovek oblikuje mnoge razli ne poze, je temu primerno teºko opisati njeno zna ilno obliko. Ker uporabljam 2D predstavitev v sliki, se sicer stopnja prostosti oblike roke nekoliko zmanj²a, vendar je zaznava vseh njenih moºnih poz z enostavno analizo oblike zelo zahtevna naloga. Zato sem dolo il pozo, ki jo mora uporabnik oblikovati z roko, da jo sistem razpozna. Ker je cilj vmesnika, da uporabnik roko uporablja za kazanje poloºaja kamor roki sledi kazalec, sem za zna ilno pozo dolo il pozo kazanja, kot jo ljudje najpogosteje uporabljamo. To je poza z iztegnjenim kazalcem in pokr enimi ostalimi prsti. Primer uporabnika, ki ima roko v pozi kazanja je prikazan na sliki Poleg naravnosti poze je dobra lastnost tudi njena zna ilna oblika, ki jo dolo a predvsem iztegnjen kazalec, zaradi esar jo je mogo e laºje in natan neje lo iti od ostalih objektov barve koºe v sliki.

72 56 6. Razpoznava roke in geste potrditve Konture objektov Oblike objektov v binarni maski podro ij koºe, ki so dolo eni kot med seboj povezani pozitivni elementi, sem razpoznaval z analizo njihovih zunanjih kontur. Zunanje konture so obrisi objektov po njihovem zunanjem robu. To med drugim pomeni, da obliko objektov, ki znotraj svoje povr²ine vsebujejo podro ja, ki ne pripadajo koºi, dolo a le njihov zunanji rob. Konture objektov so v sliki 6.7 ozna ene z modro barvo. Zunanje konture binarnih objektov sem izlo il s pomo jo funkcije realizirane v knjiºnici OpenCV. Konture so dejansko mnoºice SE v sliki, ki pripadajo zunanjemu robu objekta. Vsako konturo sem tako zapisal v polje vrednosti C velikosti 2 N C, kjer je N C ²tevilo SE, ki jih kontura posameznega objekta vsebuje. V njem si v zaporedju sledijo posamezni SE konture, kjer je v prvi vrstici shranjena koordinata stolpca v diskretnem prostoru slike m, ki ji SE pripada, v drugi vrstici pa koordinata vrstice n Povr²ina objektov Nekatere objekte koºne barve, ki so moºni kandidati za uporabnikovo roko, sem izlo il na podlagi njihove povr²ine, ki jo v sliki zasedajo. Da je objekt oziroma njegova oblika razpoznavna, mora biti opisan vsaj z minimalno natan nostjo. Zato sem objekte, katerih povr²ina je manj²a od minimalne natan nosti, izlo il iz liste kandidatov za roko. Tako zmanj²amo vpliv manj²ih mote ih objektov koºne barve v okolici, katerih oblika je lahko pri nizki lo ljivosti podobna obliki roke v kazalni pozi. Moºno je sicer, da izlo imo tudi objekt, ki dejansko predstavlja roko, vendar tak²nega objekta tudi druga e ne bi bilo mogo e z dovolj veliko gotovostjo klasicirati za roko na podlagi njegove oblike. S tem pravilom omejimo najdalj²o razdaljo med roko in kamero. Roka mora biti namre dovolj blizu kamere, da je njena povr²ina ve ja od minimalne natan nosti. Z ve anjem lo ljivosti zajema slike se ta razdalja pove uje. Za minimalno natan nost, pri kateri sistem ²e analizira objekt, sem izbral natan nost

73 6.2. Razpoznava objekta roke SE. To pri kameri z lo ljivostjo SE pomeni, da ima lahko uporabnik roko oddaljeno od kamere najve pribliºno 2, 5 metra. Minimalno ²tevilo SE sem izbral tako, da sem s tem odstranil ve ino manj²ih objektov okolice, katerih oblika, zaradi majhnosti glede na lo ljivost, ni natan no denirana in lahko spominja na obliko roke. Vrednost sem izbral tudi tako, da je manj²a od lo ljivosti zapisa roke, pri kateri njeno obliko z opisanimi postopki ºe lahko natan no analiziramo. To na primeru slike 6.7 pomeni, da iz nadaljne analize izpadejo nekateri manj²i objekti okoli uporabnikovega obraza in deli osebe v ozadju, ki se nahaja na levi strani slike Funkcija oblike objektov Kontura je mnoºica SE zunanjega roba objekta, pri kateri imamo za vsak element podan njegov poloºaj v prostoru slike. Za opis oblike objekta, ki ga kontura obdaja, njen absoluten poloºaj v prostoru slike ni pomemben. Konturo zaradi tega lahko preslikamo v nov prostor, kjer je ta predstavljena kot funkcija geometrijskih spremenljivk, ki za razliko od koordinat posameznih to k na enostavnej²i in bolj pomenski na in opisujejo obliko objekta, ki ga obdaja. Pri izbiri primerne preslikave je pomembno, da bo preslikava izpostavila obliko, ki jo ºelimo zaznati. Med objekti i² emo roko v kazalni pozi, katere glavna zna ilnost, ki jo po obliki lo uje od ostalih objektov, je ozek iztegnje prst, ki izstopa iz druga e precej ovalne oblike ostalega dela roke. Konturo sem zato opazoval kot funkcijo oddaljenosti d med elementom na konturi T in masnim sredi² em objekta S M v odvisnosti od kota α med premico skozi opazovani element in vodoravnico. Posamezne spremenljivke so prikazane na sliki 6.8. Masno sredi² e sem izra unal s pomo jo prostorskih momentov posameznih objektov. Z uporabo funkcije, ki jo ponuja OpenCV, lahko izra unamo prostorske momente do 3. reda: M ij = I[m, n] m i n j (6.10) m,n S Ker i² emo prostorske momente posameznih objektov, v po²tev ne vzamemo vseh ele-

74 58 6. Razpoznava roke in geste potrditve Slika 6.8: Spremenljivke za analizo oblike konture mentov slike S, ampak le elemente znotraj konture, ki orisuje objekt, ki ga analiziramo. I[m, n] v ena bi 6.10 je vrednost posameznega elementa objekta. Ker nas zanima le prostorska oblika objekta, je vrednost I[m, n] = 1. Na podlagi izra unanih prostorskih momentov izra unamo koordinate masnega sredi² a: m SM = M 10 M 00 n SM = M 01 M 00 (6.11) Razdaljo d med masnim sredi² em objekta S M in SE v to ki T sem izra unal s pomo jo Pitagorovega izreka: d i = (m SEi m SM ) 2 (n SEi n SM ) 2 (6.12) kjer je d i razdalja za i-ti SE konture (SE i ), m SEi in n SEi pa njegove koordinate v diskretnem prostoru slike. Ostane nam ²e izra un kota α s pomo jo trigonometri nih funkcij: α i = arctan (m SE i m SM ) (n SEi n SM ) (6.13) kjer je α i kot med vodoravnico in premico skozi SE i. S pomo jo formul 6.12 in 6.13 sem za vsak SE na konturi izra unal njegove spremenljivke oblike in konturo zapisal kot funkcijo razdalje d v odvisnosti od kota α. ƒe dobljeno funkcijo oblike objekta zapi²emo v kartezi nem koordinatnem sistemu, kjer α predstavlja neodvisno spremenjivko na x osi in d odvisno spremenljivko na y osi, opazimo

75 6.2. Razpoznava objekta roke 59 da smo dobili diskretno funkcijo, ki ni injektivna. To pomeni, da se pri dolo enem kotu lahko pojavi ve razli nih razdalj, ki pripadajo razli nim elementom na konturi. Razlog za to je, da so oblike objektov lahko zelo zapletene. ƒe potegnemo premico skozi masno sredi² e objekta v poljubni smeri se pogosto zgodi, da premica seka konturo v ve ih to kah. Teºavo sem re²il tako, da sem pri vsaki diskretni vrednosti kota α upo²teval le razdaljo do najbolj oddaljenega elementa. Naslednja teºava pri sestavi funkcije oblike objekta je, da v asih nimamo informacije o razdalji d za posamezne diskretne vrednosti kota α. Ve ji ko je objekt, ki ga opazujemo, ve ja je gostota posameznih vrednosti, pri manj²ih objektih pa se lahko zgodi, da je razlika v kotu med sosednjima elementoma na konturi ve ja od diskretnega koraka kota pri zapisu funkcije. Zaradi tega sem pri vzor enju funkcije oblike objekta vpeljal interpolacijo. Mankajo e vrednosti sem nadomestil z vrednostmi sosednjega elementa v funkciji. ƒe je diskretni korak med elementi 1 stopinja kota in nam manjka razdalja pri kotu 35 stopinj, jo nadomestimo z razdaljo pri kotu 36 stopinj. Dobljeno diskretno funkcijo oblike objekta sem zapisal v polje ²tevil dolºine N α, ki je dolo en s korakom vzor enja kota α, in sicer z N α = 360/ α. Za korak α sem izbral s 360 deljivo ²tevilo. Izbira koraka pogojuje natan nost prezentacije konture. Manj²i ko je korak, bolj je kontura natan no opisana. Pomembno pa je, da ima ta natan nost spodnjo mejo, kajti kot med elementi na konturi se lahko razlikuje le toliko, kot to dovoljuje natan nost zapisa objekta. Za α sem izbral vrednost 1, 5 stopinje, ki omogo a dovolj natan no predstavitev oblike. Hkrati korak ni prenizek in ima tako funkcija oblike objekta manj²e ²tevilo elementov N α, kar pospe²i nadaljno analizo funkcije in s tem delovanje celotnega sistema ter delno zgladi manj²a odstopanja oblike konture, ki za analizo oblike niso pomembna. Primer funkcije oblike objekta za roko iz slike 6.8 je prikazan na sliki 6.9 levo. Iz funkcije se lepo vidi ozek in visok lokalni maksimum, ki izstopa iz povpre ja. Maksimum ustreza iztegnjenemu prstu. To potrjuje ustreznost izbrane preslikave, saj lahko preko detekcije te zna ilke funkcije oblike, ki je zna ilna za roko z iztegnjenim prstom, detektiramo ºeleni objekt roko. Primerjava funkcije oblike roke in obraza v razli nih poloºajih je prikazana kasneje na sliki 6.11.

76 60 6. Razpoznava roke in geste potrditve Filtriranje funkcije oblike objektov Objekt roko od ostalih kandidatov lo uje visok in ozek lokalni maksimum v funkciji oblike objekta. V nadaljevanju bomo analizirali posamezne lokalne maksimume funkcije in u inkovito je, e funkcijo pred analizo zgladimo. S tem zmanj²amo robatost funkcije, ki je posledica manj²ih nepravilnosti na robu objekta, in posledi no tudi ²tevilo manj²ih lokalnih maksimumov, ki jih nato v naslednji stopnji analiziramo. Analiza tako postane hitrej²a, hkrati pa se zmanj²a moºnost napake pri detekciji ustreznega maksimuma. Funkcijo oblike objekta sem zgladil z Gaussovim ltrom, podobno kot je to opisano v poglavju Vendar pa je signal sedaj eno-dimenzionalen, zato je tudi okno uteºi ltra vektor ²tevil in ne matrika. Uteºi v oknu se prilegajo 1D Gaussovi porazdelitvi. Pri izbiri dolºine ltra oziroma okna je potrebno paziti, da to ni preveliko. Tako bi lahko mo no spremenili obliko funkcije in preve potla ili zna ilen ozek maksimum, ki predstavlja iztegnjen prst, kar bi lahko vodilo v napake pri detekciji roke. Vseeno pa ºelimo, da je okno dovolj veliko, da imbolje zgladi manj²e napake v funkciji. Glede na izbran korak vzor enja kota α = 1.5 in celotno ²tevilo vzorcev N α = 240 sem izbral Gaussov lter dolºine 15 elementov. Rezultat ltriranja je prikazan v sliki 6.9 desno d d α α Slika 6.9: Funkcija oblike objekta - pred (levo) in po (desno) glajenju z Gaussovim ltrom

77 6.2. Razpoznava objekta roke Analiza funkcije oblike objektov S preslikavo konture v funkcijo oblike objekta smo dosegli, da je objekt, ki pripada roki, mogo e zaznati. Iztegnjen prst se namre v funkciji oblike objekta izpostavi kot visok in ozek lokalni maksimum. Ko med objekti koºne barve ugotavljamo, e kateri izmed njih pripada roki, analiziramo vsako konturo posebej in med njimi i² emo tisto, ki bo vsebovala dovolj visok in hkrati dovolj ozek lokalni maksimum v njeni funkciji oblike objekta. Na tem mestu predpostavimo, da le kontura, ki pripada roki vsebuje tak²en maksimum. V ve ini primerov to drºi, saj je na primer obraz, ki se velikokrat pojavi v sliki, ovalne oblike. ƒe pa se pojavi v okolici objekt, katerega funkcija oblike objekta vsebuje visok in ozek maksimum, lahko pride do napake. Ker v konturi i² emo dovolj visok maksimum, sem kot prvo spremenljivko vzel njegovo vi²ino d. Samo d ne zadostuje, ker ima od maksimuma, ki ustreza prstu, lahko vi²ji lokalni maksimum vsak objekt, ki je po povr²ini ve ji od roke. Zato sem upo²teval le vi²ino lokalnega maksimuma glede na njegovo okolico. S tem dejansko merimo, koliko maksimum izstopa iz bliºnje okolice. ƒe vzamemo za primer obraz, lokalni maksimumi zaradi ovalne oblike objekta ne izstopajo mo no iz bliºnje okolice. Funkcija oblike objekta je relativno konstantna. Pri roki v kazalni pozi pa maksimum izstopa iz druga e relativno konstantne okolice. Okolico maksimuma dolo a kot α P, za katerega se po konturi premaknemo levo in desno od premice, ki gre skozi lokalni maksimum P, kot to prikazuje slika Vi²ino okolice maksimuma oziroma njeno oddaljenost od sredi² a objekta pa sem deniral kot povpre no vrednost vi²ine obeh mejnih to k okolice P L in P D, ki sta po konturi od maksimuma premaknjeni za kot α P v levo in desno: d O = d P L + d PD 2 (6.14) Razlika med razdaljo to ke P, ki je lokalni maksimum, od sredi² a objekta in razdaljo

78 62 6. Razpoznava roke in geste potrditve P h P d P L d /2 d /2 P D 40 α P α P α Slika 6.10: Analiza lokalnih maksimumov v funkciji oblike objekta njene okolice d O predstavlja dejansko vi²ino lokalnega maksimuma h P : h P = d P d O (6.15) Vi²ina h P glede na izbiro kota okolice α P izpostavi oºje maksimume. Pri slednjih razdalja do to k na konturi, ko se pomikamo stran od to ke maksimuma, hitro pade in je tako vrednost h P velika. V primeru da je to ka P lokalni maksimum, pri katerem vi²ina s premikanjem po konturi po asi pada, se znotraj okolice dolo ene s kotom α P razdalja ne spremeni veliko in je vrednost h P nizka. Vrednost h P izpostavi ozke lokalne maksimume kakr²en je lokalni maksimum, ki ga v funkciji oblike zari²e iztegnjen prst. Ko primerjamo velikost posameznih lokalnih maksimumov je potrebno paziti, da so med seboj primerljivi ne glede na velikost objekta, kateremu pripadajo. Absolutna vrednost h P ni primerna, zato sem vrednosti normiral. Za normirno vrednost sem vzel globalni maksimum funkcije oblike konture f O, ki v primeru iztegnjenega prsta najve krat sovpada z lokalnim maksimumom prsta. Ena ba 6.16 pred-

79 6.2. Razpoznava objekta roke 63 stavlja normiranja vi²ine lokalnega maksimuma. N_h P = h P max(f O ) (6.16) Detekcija roke v pozi kazanja Pri izbiri poze kazanja, ko roka drºi iztegnjen kazalec, sem predpostavil, da ostali objekti koºne barve, ki se lahko pojavijo v videu, nimajo tako izrazitih ozkih krakov, kot je prst. Pri analizi oblike objektov zato i² emo tiste, katerih funkcija oblike vsebuje dovolj izrazit ozek lokalni maksimum. V primeru detekcije tak²nega maksimuma objekt klasiciramo kot roko uporabnika. Klasikacija poteka za vsak objekt koºne barve v videu. Najprej analiziramo njegovo konturo, kot je to opisano v prej²njih poglavjih. Za vsak objekt O i poi² emo v njegovi funkciji oblike f O (O i ) najizrazitej²i lokalni maksimum dolo en z njegovo normirano vi²ino N_h P po ena bi ƒe je ta nad empiri no izbranim pragom Θ N_hP, objekt O i pripada roki: e max{n_h P f O (O i )} > Θ N_hP O i je roka (6.17) druga e O i ni roka Izbira praga Θ N_hP je direktno povezana z izbiro velikosti okolice, torej kota α P. Ko izbiramo velikost okolice je potrebno paziti, da ta ni pre²iroka. Tako bi se to ki na meji okolice, P L in P D v sliki 6.10, ki direktno vplivata na vi²ino lokalnega maksimuma N_h P, preve odmaknili od lokalnega maksimuma in ne bi ve predstavljali njegove direktne okolice. Tako bi bila hipoteza, da opazujemo izpostavljenost lokalnih maksimumov le glede na bliºnjo okolico, vpra²ljiva. Vrednost d v funkciji oblike lahko globalno gledano precej niha. Na primeru iz slike 6.9 desno vidimo, da se poleg lokalnega maksimuma, ki ustreza prstu, vrednost d mo no pove a tudi pri kotih med 200 in 300 stopinj. Hkrati je ºeleno, da je okolica izbrana dovolj ²iroko, da lokalni maksimumi pridejo imbolj do izraza. Vi²ine N_h P posameznih lokalnih maksimumov v odvisnosti od izbire velikosti okolice dolo ene z α P sem opazoval na testnem naboru slik. Vzel sem 10 slik roke v kazalni

80 64 6. Razpoznava roke in geste potrditve pozi in 10 slik obraza. Z namenom, da bi imbolje simuliral realne razmere pri uporabi vmesnika, sem roko v kazalni pozi slikal v razli nih poloºajih. Spreminjal sem njeno oddaljenost od kamere in jo premikal v zapestju, tako da se njena 2D projekcija v sliki razlikuje. Enako velja za obraz, ki sem ga slikal v razli nih poloºajih. Del testnega nabora slik je prikazan na sliki 6.11, kjer je poleg slike objekta spodaj prikazana tudi njegova funkcija oblike. V zgornjem kompletu slik, kjer je objekt analize roka v kazalni pozi, lahko vidimo izstopajo e ozke maksimume, ki ustrezajo iztegnjenemu prstu. Slika 6.11: Testiranje analize oblike objektov Za vsak objekt v naboru slik sem izra unal njegovo funkcijo oblike. V vsaki funkciji sem za vsak lokalni maksimum izra unal njegovo normirano vi²ino N_h P in sicer pri razli nih velikostih okolice, ki sem jo prilagajal s spreminjanjem kota α P. Dobljene vrednosti sem razdelil v dve skupini. Eno skupino so tvorile vi²ine lokalnih maksimumov, ki pripadajo iztegnjenemu prstu, drugo pa vi²ine ostalih lokalnih maksimumov. Rezultate prikazuje

81 6.2. Razpoznava objekta roke 65 tabela 6.1. α P prst ostalo meje [ ] avg p min p avg o max o avg p avg o min p max o 5 0, , , , , , , 5 0, , , , , , , , , , , , , 5 0, , , , , , , , , , , , , 5 0, , , , , , , , , , , , 0764 Tabela 6.1: Odvisnost vi²ine lokalnih maksimumov od izbire velikosti okolice V prvem stolpcu tabele 6.1 so prikazane razli no velike okolice α P. V ostalih stolpcih so razvr² ene vi²ine lokalnih maksimumov N_h P. Stolpec avg p podaja povpre no vi²ino lokalnih maksimumov N_h P, ki pripadajo prstu, stolpec min p pa najniºjega med njimi. Za ostale maksimume sem prav tako izra unal njihovo povpre no vi²ino avg o, pozoren pa sem bil tudi na najizrazitej²ega med njimi, max o. V zadnjih dveh stolpcih sem dobljene vrednosti obeh skupin med seboj primerjal. Dobljeni rezultati narekujejo izbor najprimernej²e velikosti okolice in izpostavijo primerno izbiro vrednosti praga Θ N_hP. Naloga je namre, da pri klasikaciji karseda natan no razmejimo lokalne maksimume, ki pripadajo roki v kazalni pozi, od maksimumov, ki jih povzro ijo ostale nepravilnosti v obliki objektov. Razmejitveno obmo je med povpre nimi vrednostmi vi²ine maksimumov posameznih skupin, kakor kaºe stolpec avg p avg o v tabeli 6.1, z nara² anjem okolice raste. Vendar je za optimalno delovanje bolj zanimiv podatek skrajnih primerov, torej razlika med najmanj²im zaznanim maksimumom, ki pripada roki, in najvi²jim, ki spada v skupino ostalo. Ta podatek najdemo v zadnjem stolpcu tabele 6.1, min p max o. Rezultati v njem izpostavijo velikost okolice 10 stopinj v levo in v desno od premice skozi lokalni maksimum. Glede na te rezultate sem v sistem vpeljal okolico α P = 10, za prag pa sem izbral Θ N_hP = 0, 2. Vrednost praga je nala² pomaknjena proti minimalni vrednosti maksimuma prsta roke. Testne slike so bile namre zajete v dokaj optimalnih pogojih, zato se sama vrednost, ki predstavlja prst v realni situaciji

82 66 6. Razpoznava roke in geste potrditve ne more ve mnogo spustiti. Lahko pa se zaradi ²uma ostali objekti mo no popa ijo in njihove funkcije oblike dobijo izrazitej²e maksimume Omejenost gibanja roke pri kazanju ƒe pozorno opazujemo funkcije oblike roke v kazalni pozi na slikah 6.9 in 6.11 opazimo, da se lokalni maksimum, ki predstavlja prst, vedno nahaja le v dolo enem obmo ju kota α. To je posledica dejstva, da lahko ljudje roko v kazalni pozi, torej ko je ravnina dlani pribliºno vzporedna z ravnino zajema slike in je kazalec iztegnjen, premikamo le za dolo en kot glede na navpi nico. Zato se lokalni maksimum ponavadi nahaja v obmo ju kota α = 90 proti vodoravnici. Zaradi tega dejstva sem omejil kot iskanja lokalnih maksimumov, ki lahko predstavljajo roko v kazalni pozi. V funkciji oblike objekta sem upo²teval le lokalne maksimume, ki se nahajajo med kotom 30 in 150. S tem sem zmanj²al verjetnost napa ne detekcije roke za pribliºno dve tretjini. 6.3 Sledenje poloºaja roke v videu Detekcija roke na podlagi metod opisanih v prej²njih poglavjih je zadovoljiva, predvsem e je segmentacija objektov na podlagi barve dokaj natan na. Lahko pa se zaradi razli nih vzrokov oblika objektov kratkotrajno mo no popa i. ƒe z roko prekrijemo nek drug objekt v okolici, katerega barva je podobna koºi, in se objekta pri segmentaciji zdruºita, e neka oseba, ki se sprehaja v okolici, mo no zasen i roko uporabnika, ali pa e na primer veter premakne zavese v prostoru in ga tako dodatno osvetli, se oblika objekta, ki ustreza roki, kratkotrajno spremeni, kar lahko povzro i napako v detekciji. Problem sem re²il tako, da sem v analizo vpeljal sledenje roki oziroma njenemu poloºaju v zaporednih slikah video sekvence. Ko roko v videu prvi zaznamo, v naslednjih slikah roke med objekti barve koºe ne i² emo ve samo na podlagi oblike objektov, ampak tudi na podlagi njihovega poloºaja v sliki.

83 6.3. Sledenje poloºaja roke v videu 67 Klasikacija objektov, ko je enkrat roka ºe zaznana, poteka torej na druga en na in kot v ena bi Sedaj poleg zna ilke oblike, torej vi²ine najizrazitej²ega lokalnega maksimuma N_h P v funkciji oblike, upo²tevamo tudi poloºaj objekta glede na poloºaj roke v prej²nji sliki video sekvence. Klasikacija poteka z uporabo kriterijske funkcije f K, v kateri zajamemo oba kriterija. Kriterijsko funkcijo za objekt O i, ki sem jo uporabil v sistemu, predstavlja ena ba ( (mr ) 2 ( ) ) 2 m Oi nr n Oi f K (O i ) = + + max m n max m n ( ΘN_hP N_h P i ) 2 (6.18) Poloºaj objekta v kriterijski funkciji upo²teva levi sumand v ena bi V diskretnem prostoru slike sta m R in n R koordinati to ke masnega sredi² a objekta roke iz prej²nje slike sekvence, m Oi in n Oi pa koordinati masnega sredi² a objekta O i v trenutni sliki, katerega kriterijsko funkcijo ra unamo. Parameter max m n predstavlja maksimalen pri akovan premik roke v asovnem razmaku ene slike v video sekvenci. Vpliv oblike pa opisujeta parametra N_h P i in Θ N_hP. Prvi je vi²ina najizrazitej²ega lokalnega maksimuma v funkciji oblike opazovanega objekta, drugi pa je prag, ki ga uporabimo pri klasikaciji objektov in je enak kot v ena bi Kriterijska funkcija f K je kvadratna, kar pomeni, da je nara² anje posameznih sumandov eksponentno. ƒe gledamo vsak sumand posebej, je njegova vrednost dokaj nizka, dokler koli nik spremenljivk v oklepaju ne preseºe vrednosti 1, nato pa ta strmo naraste. Parameter normiranja max m n v prvih dveh sumandih predstavlja maksimalno ²e pri- akovano hitrost gibanja roke v eni od smeri koordinat prostora v asu ene slike video sekvence. V primeru, da je poloºaj opazovanega objekta v sliki od poloºaja roke v prej- ²nji sliki oddaljen ve kot to dolo a parameter max m n je vrednost visoka, e pa je poloºaj objekta relativno malo zamaknjen glede na poloºaj roke v prej²nji sliki, je vrednost majhna. Za vrednost max m n sem na podlagi opazovanja dolo il vrednost 5. Ta vrednost je neposredno odvisna od natan nosti zajema slike in hitrosti izvajanja algoritma na napravi. Pri vi²ji resolucij majhen premik roke pomeni premik za ve SE kot pri niºji resolucij. ƒe algoritem deluje na zmoglivej²i napravi, je hitrost obdelave hitrej²a in se v sekundi obdela ve slik. Tako je premik roke v asu obdelave ene slike manj²i v tak²nih sistemih.

84 68 6. Razpoznava roke in geste potrditve Za zadnji sumand v kriterijski funkciji, ki upo²teva obliko objekta, velja podobno. ƒe je vrednost N_h P i vi²ja od praga oziroma pribliºno enaka pragu, bo vrednost majhna, v primeru da objekt nima zna ilne oblike prsta, pa ta vrednost hitro naraste. Dolo anje objekta, ki pripada roki, poteka v primeru sledenja le na podlagi kriterijske funkcije f K. Funkcijo izra unamo za vsak objekt koºne barve O i, ki se nahaja v sliki S, in med njimi izberemo za roko tistega, igar vrednost f K je najniºja. e f K (O i ) = min{f K (O j=1,...,n ), O j S} O i je roka (6.19) N je ²tevilo objektov koºne barve v sliki S. S sledenjem je detekcija roke v videu postala bolj konsekventna. Ko je roka zaznana, ji v nadaljnih slikah videa sledimo in tudi v primeru motenj, ki povzro ijo spremembo v obliki objekta, ne izgubimo sledi za objektom. Teºave se pa pojavijo, e sistem presko i iz sledenja roke na sledenje kak²nega drugega objekta, katerega kriterijska funkcija je v dolo enem trenutku niºja od kriterijske funkcije objekta, ki predstavlja roko. Tak²ne napake sem omejil tako, da sem sledenje prekinil v naslednjih primerih: e je premik objekta roke v zaporednih slikah ve ji od praga, e oblika roke ve zaporednih slik nima zna ilne oblike. Prag maksimalnega premika je dolo en z najve jo dovoljeno hitrostjo premikanja roke pri uporabi sistema. Dolo il sem ga empiri no, na podlagi opazovanja, mogo e pa ga je sproti nastavljati na uporabni²ki formi. V primeru, da je premik objekta roke v asu ene slike video sekvence ve ji od praga, sledenje prekinemo. S tem prepre imo, da bi sistem s sledenja roke presko il na sledenje kak²nega od bolj oddaljenih objektov. Hkrati algoritem opazuje tudi zgodovino zna ilne oblike roke in, e je vrednost njenega najizrazitej²ega lokalnega maksimuma v funkciji oblike ve zaporednih slik pod pragom, kakor to dolo a ena ba 6.17, prav tako prekine sledenje. tevilo slik v preteklosti, za katere opazujemo obliko roke, sem dolo il glede na pri akovani as, ko motnje, ki obliko spremenijo, lahko trajajo. Podobno kot za maksimalen premik sem ²tevilo dolo il z opazovanjem, moºno pa ga je tudi sproti nastavljati.

85 6.4. Zaznava geste potrditve 69 Sledenje prekinemo tudi v primeru, da roka zapusti vidno polje kamere, oziroma da se robu slike mo no pribliºa in ni ve v celoti znotraj slike. V primeru, da algoritem sledenje prekine, preidemo ponovno na detekcijo roke v sliki na na in, kot ga dolo a ena ba 6.17, torej le na podlagi analize oblike objektov. 6.4 Zaznava geste potrditve Zadnja naloga vmesnika je, da v videu prepozna gesto potrditve, e je ta izvedena. Za gesto, ki sporo a potrditev, sem izbral, da uporabnik iztegnjen kazalec, ki ga uporablja za premikanje poloºaja kazalca v sliki, pokr i. Pri tem se oblika roke spremeni. Na podlagi opazovanja te spremembe algoritem gesto prepozna. Slika 6.12 prikazuje nekaj slik posnetka geste. Na spodnjih slikah pa je razvidno, kako se spremenija funkcija oblike objekta. Zna ilni maksimum, ki predstavlja prst, se v sekvenci postopoma zniºa in skoraj v celoti izgine. Slika 6.12: Gesta potrditve ƒe v sistem ne bi vpeljali sledenja, bi roko med objekti koºne barve izgubii nemudoma, ko bi uporabnik pokr il prst in bi se njena zna ilna oblika spremenila. Zaradi sledenja pa se sistem kljub spremembi oblike zaveda, kateri objekt pripada roki in lahko v asu spremlja spreminjanje njegove oblike oziroma velikosti zna ilnega maksimuma N_h P v funkciji oblike. Za primer roke, ki izvede gesto, je v sliki 6.13 prikazano spreminjanje maksimuma