Vrednotenje gibov in kretenj roke kot vhodne naprave za komunikacijo človek stroj v navideznih okoljih

Elektrotehniški vestnik 71(1-2): 13 19, 2004 Electrotechnical Review, Ljubljana, Slovenija Vrednotenje gibov in kretenj roke kot vhodne naprave za komunikacijo človek stroj v navideznih okoljih Peter Rulić, Iztok Kramberger, Zdravko Kačič Univerza v Mariboru, Fakulteta za elektrotehniko računalništvo in informatiko, Smetanova 17, 2000 Maribor E-pošta: rultex@siol.net Povzetek. Manipulacija v navideznem tridimenzionalnem okolju, ki jo izvajamo z roko, je privlačen način komunikacije med človekom in strojem (KČS). Pri razvoju vhodne naprave za manipulacijo v navideznem okolju želimo vhodno napravo čim bolj prilagoditi navidezni nalogi. Za oceno prilagojenosti vhodne naprave navidezni nalogi so bile predstavljene različne metrike, s katerimi so s poskusi na množici uporabnikov ovrednotili vhodno napravo. Prav tako predstavljamo postopek vrednotenja lastnosti metrik tako, da lahko vhodno napravo ovrednotimo brez preskušanja. V članku podajamo opis vhodnih in izhodnih naprav, ki omogočajo tridimenzionalno sledenje in tridimenzionalni prikaz in so bistvene za tridimenzionalno KČS. Predstavljamo postopek za manipulacijo z navideznimi objekti s končnim številom kretenj roke. Pri tem smo opisali navidezne objekte, ki dajejo tridimenzionalno vizualno povratno informacijo, ter gibe in kretnje roke, s katerimi komunikacijo izvajamo. Definirali smo dva načina manipulacije z navideznimi objekti: z gibi in kretnjami roke. Na koncu smo podali oceno učinkovitosti KČS s primerjavo postopkov komunikacije iz navideznega okolja z naravnimi postopki iz fizičnega okolja. Ključne besede: komunikacija človek stroj, vhodne naprave, kretnje roke, navidezno okolje Quantifying Hand Movements and Gestures as an Input Device for Human computer Interaction in Virtual Environments Extended abstract. In the development of input devices for manipulating virtual environments we wish that input devices are maximally adapted to virtual tasks. Various metrics for estimating adaptation of input devices to virtual tasks on a number of test users have been presented in literature. In this paper we propose a method for quantifying input devices without test users. Our process of quantifying input devices is based on two metrics. The first metric is Integrality [7] and the second one is Efficiency [8]. Integrality is used for estimating the number of integral and separable movements of input devices when manipulating virtual objects. With Efficiency we measure the length of trajectory needed for manipulation on virtual objects. We defined three basic tasks in virtual environments. These tasks are: choosing a virtual object, moving a virtual object and rotating a virtual object. For manipulating virtual objects we defined two modes of interaction with hand movements and gestures. In the first mode, interaction is performed with two input signs or gestures. Basic tasks in ous virtual environment performed with two input signs are represented in Table 2. In the second mode, interaction is performed with four input signs. Basic tasks in ous virtual environment performed with four input signs are depicted in Table 3. We compared these two modes of interaction with manipulations in a physical space that is represented in Table 1. Results are shown in Table 4. Here, we can see the number of integral and separable movements and the length of trajectory for each mode of interaction and for physical manipulations. This method allows for a general evaluation of the input device in its development phase, when the device is not yet truly developed and effective and when it is not yet possible to have it evaluated on test users. With this method we are unable Prejet 13. marec, 2003 Odobren 5. avgust, 2003 to determine errors in manipulation and can t get information on usability of the input device, wich can be obtained with test users. However, it enables an efficient evaluation of the degree of adaptation of the input device in its development stage. Key words: human computer interaction, input device, hand gesture, virtual environment 1 Uvod Uporaba na novo nastalih informacijskih tehnologij zahteva nove vmesnike in načine komunikacije med človekom in strojem, ki omogočajo bolj naravno, intuitivno in udobno komunikacijo. V zadnjem času je bilo razvitih veliko različnih vhodnih naprav, ki omogočajo večdimenzionalno komunikacijo med človekom in strojem, zato se je pokazala potreba po njihovem vrednotenju. Ker je uporaba vhodne naprave neposredno povezana z uporabniškim vmesnikom, je treba pri vrednotenju vhodne naprave upoštevati tudi elemente grafičnega uporabniškega vmesnika, ki dajejo vizualno povratno informacijo o komunikaciji. Tridimenzionalno vizualno povratno informacijo omogočajo stereoskopski zasloni, ki v kombinaciji s tridimenzionalno vhodno napravo

14 Rulić, Kramberger, Kačič omogočajo privlačen način komunikacije med človekom in strojem. V nadaljevanju bomo opisali možnosti za upravljanje tridimenzionalnih vhodnih naprav. Da bi lahko definirali manipulacijo z navideznimi objekti, bomo predstavili manipulacijo in objekte v navideznem okolju. Sledila bosta opisa kretenj rok za komunikacijo med človekom in strojem in ocenitev učinkovitosti manipulacije z danimi kretnjami. 2 Tridimenzionalne vhodne naprave V tridimenzionalnem prostoru lahko kazalec amo s šestimi stopnjami svobode, kot kaže slika 1. Tri stopnje svobode pomenijo pomikanje, preostale tri stopnje so smer kazalca. Navigacija. Postopke navigacije uporabljamo za anje po okolju. Delimo jih na raziskovanje oziroma anje brez vnaprej določenega cilja, iskanje, kjer se amo na želeno lokacijo, in manevriranje, s katerim natančno nastavimo želeni pogled. Izbiranje in manipulacija. Ta vrsta postopkov nam služi za izbiranje objektov in manipulacijo z objekti v navideznem okolju. Sistemski nadzor. S temi postopki spreminjamo stanja sistema in način interakcije. Pri postopku navigacije s kretnjami izvedemo nadzor sistema s postopki izbiranja in manipulacije. Postopki izbiranja in manipulacije so za interakcijo najpomembnejši, ker so neposredno povezani z vhodno napravo oziroma sistemom za komunikacijo z gibi in kretnjami roke. Postopke za izbiranje in manipulacije izvajamo nad navideznimi tridimenzionalnimi objekti, ki so bistven del pri interakciji s sistemom. Posamezen objekt je predstavljen s tremi podmnožicami. Formalno ga definiramo z izrazom: O = {Θ, Π, Ω}, (1) Slika 1. Pomikanje kazalca s šestimi stopnjami svobode Figure 1. Moving pointer with six degrees of freedom Osnovnim šestim stopnjam svobode pomikanja lahko dodamo še dodatne stopnje, ki pomenijo stanje oziroma namen uporabe kazalca. Tridimenzionalna oblika komunikacije med človekom in strojem z gibi rok je predstavljena v tridimenzionalnem osebnem računalniku [1], kjer je za določanje položaja in orientacije dlani obeh rok uporabljena infrardeča stereokamera v kombinaciji z izvorom infrardeče svetlobe. Za vizualno določanje gibov in kretenj rok so bile v [2,3,4] razvite različne oblike modeliranja gibov in kretenj človeške roke, ki dopuščajo nekatere manjšo, druge večjo svobodo pomikanja in so ustrezno bolj ali manj kompleksne. V [5] je opisan postopek določanja kretenj roke s pomočjo nevronskih mrež. 3 Interakcija v navideznem okolju V sistemih za navidezna okolja z občutkom prisotnosti (immersive virtual environments) delimo komunikacijske postopke na tri večje skupine [6]: pri čemer je objekt označen z O. Množica vizualno zaznavnih lastnosti je označena z grško črko Θ, množica pogojev s Π in množica posledic z Ω. Množica vizualno zaznavnih lastnosti Θ služi za določanje vizualne podobe objekta. Sestavljajo jo trije elementi: Θ={α, φ, γ}. (2) Pri tem je α tridimenzionalni položaj v navideznem prostoru. Predstavljen je kot tridimenzionalni krajevni vektor. Zasuk objekta φ opišemo s kotom zasuka in tridimenzionalnim krajevnim vektorjem, okoli katerega zavrtimo objekt v pozitivni matematični smeri. Oblika objekta γ določa njegovo geometrijsko podobo in nekatere fizikalne lastnosti (barva, prosojnost, odboj svetlobe, sevanje svetlobe). Glede na način zaznavanja objektov lahko ločimo njihove vizualne zaznavne lastnosti na dve skupini [7], integralne in ločljive. Integralne zaznavne lastnosti so tridimenzionalni položaj α in zasuk objekta φ. Obliko objekta γ dojemamo drugače kot položaj in zasuk, zato je ta zaznavna lastnost ločljiva glede na položaj in zasuk. Komunikacija med človekom in strojem poteka z interakcijami med objekti, ki jih določajo pogoji in spremembe objektov. Množica pogojev Π i objekta O i vsebuje pogoje, ki jih mora izpolnjevati poljubni objekt O j,dase izvede množica sprememb Ω i. Spremembe se izvedejo nad objekti in v sistemu ob izpolnjenih pogojih.

Vrednotenje gibov in kretenj roke kot vhodne naprave za komunikacijo človek stroj v navideznih okoljih 15 Za interakcijo med objekti so najpomembnejši pogoji definirani nad množico vizualnih lastnosti Θ, ki določajo, kdaj se objekta dotikata. Ko so izpolnjeni pogoji, da se objekta O i in O j dotikata, to zapišemo z izrazom: O i == O j. (3) Spremembe nad objekti in sistemom se izvajajo časovno periodično. Vsako periodo izvajanja sprememb opišemo z dvema korakoma, ki sta prikazana na sliki 2. Prvi korak vsebuje preverjanje pogojev, v drugem koraku se izvedejo spremembe ob izpolnjenih pogojih iz prvega koraka. Z objekti manipuliramo prek vhodne enote za komunikacijo med človekom in strojem, ki je vizualni vmesnik za razpoznavanje gibov in kretenj. Formalno opišemo interpretacijo gibov in kretenj s pomočjo preslikav iz linearne algebre. Ker je dimenzija fizičnega in navideznega prostora enaka, preslikavo P i predstavimo z matriko M i velikosti 3 3 injozapišemo z enačbo M i x i = y i, (7) pri tem je x i vektor fizičnega prostora in y i vektor navideznega prostora. Oba vektorja sta velikosti 3 1. Od nabora vhodnih znakov in od števila preslikav, ki jih vsebuje posamezen znak, je odvisen način manipulacije z objekti. Manipulacija z objekti pomeni interakcijo med človekom in strojem, torej je način interakcije odvisen od števila vhodnih znakov. Povratno vizualno informacijo o gibih in kretnjah roke daje kazalec, ki je definiran kot objekt, katerega vizualne lastnosti določajo vektorji y i N in indeks k, ki pomeni vrsto vhodnega znaka. 4 Izbira kretenj rok za interakcijo Navedenim vhodnim znakom določimo obliko kretnje, s katero vhodni znak identificiramo oziroma izvedemo. Na sliki 3 so prikazane kretnje roke, ki ustrezajo navedenim vhodnim znakom. Pri komunikaciji delimo gibe rok na namerne in nenamerne [2]. Da bi razločili namerne gibe roke od nenamernih, definiramo kretnje, s katerimi ugotovimo namerne gibe. Pri definiranju kretenj moramo za udobno komunikacijo upoštevati ergonomske zahteve gibanja rok, dlani in prstov: Uporaba preprostih in lahko izvedljivih kretenj v okviru fizioloških zmožnosti. Uporaba težko izvedljivih kretenj zmanjša udobnost komunikacije ali celo povzroči poškodbe. različnih kretenj naj ne bo preveliko. Slika 2. Potek izvajanja interakcije Figure 2. Interaction process Osnovni element tridimenzionalne vhodne naprave poimenujemo vhodni znak, ki ga definiramo kot množico preslikav iz fizičnega v navidezni prostor: Z k = {P 1,P 2,...P I }, k =1, 2,...K, (4) pri tem je Z k k-ti vhodni znak, določen s kretnjo roke, K je število vhodnih znakov. Preslikave P 1,P 2,...P I zapišemo kot P i : F N, (5) pri tem je P i i-ta preslikava in I število preslikav. F (fizični) in N (navidezni) sta prostora z dimenzijo tri: dim(f ) = dim(n) =3. (6) Kretnje za komunikacijo s strojem naj bodo čim bolj podobne kretnjam pri naravni komunikaciji. Za uspešnejšo strojno vizualno razpoznavanje položaja in kretenj roke moramo upoštevati naslednje zahteve: Kretnje naj bodo dobro razločljive za strojno razpoznavanje. Čas pri spremembi kretnje naj bo zanemarljivo kratek. Čim manjša sprememba položaja roke pri spremembi kretnje. Zgoraj zapisane zahteve za udobnejšo in učinkovitejšo komunikacijo s kretnjami in boljše strojno razpoznavanje kretenj si v številnih primerih nasprotujejo. Zato moramo za določanje kretenj izbrati kompromis med navedenimi zahtevami.

16 Rulić, Kramberger, Kačič Za štiri vhodne znake smo izbrali štiri različne kretnje roke, prikazane na slikah od 3a do 3d. Vhodne znake opišemo z izrazi: Z 0 = {P 0 }, (8) Z 1 = {P 0 }, (9) a) b) Z 2 = {P 0 }, (10) Z 3 = {P 0,P 1 }, (11) pri tem je P 0 preslikava položaja roke iz fizičnega v navidezni prostor, za katero velja: P 0 = c x 0 0 0 c y 0 0 0 c z, (12) pri tem skalarne vrednosti c x,c y,c z pomenijo razmerja med razsežnostmi navideznega prostora in dosegom roke. Pri naravni preslikavi so vse skalarne vrednosti enake ena. Prednost naravne preslikave je intuitivnost pri manipulaciji, saj sta fizični in navidezni položaj v tem primeru na istem mestu. Če fizični doseg roke ne pokriva celotnega navideznega prostora, mu lahko s povečanjem vrednosti navidezno povečamo doseg. Vhodni znak Z 3 vsebuje ob preslikavi položaja roke še preslikavo smernega vektorja P 1 : P 1 = r x 0 0 0 r y 0 0 0 r z. (13) Tudi v tem primeru lahko s skalarnimi vrednostmi r x,r y,r z spremenimo dinamiko vrtenja, vendar samo v določenih ravninah. S povečanjem na primer vrednosti r z povečamo vrtenje v ravninah xz in yz. Smerni vektor določa razlika dveh tridimenzionalnih točk, ki v fizičnem prostoru ustrezata vrhom dveh iztegnjenih prstov (kretnja je prikazana na sliki 3d). 5 Ocena izbire in manipulacij z gibi in kretnjami rok Za ovrednotenje komunikacije z vhodno napravo poznamo dva postopka merjenja. Prvi se imenuje integralnost [7], kjer analiziramo časovno anje z vhodno napravo. Pri tem obstajata dve vrsti anja, integralno in ločljivo. Integralno anje poteka diagonalno (evklidsko) skozi vse dimenzije hkrati. Ločljivo anje poteka stopničasto (City-Block), pri čemer je onemogočeno hkratno gibanje med dimenzijami. Rezultat merjenja je razmerje med številom diagonalnih in c) d) Slika 3. Vhodni znaki: a) Z 0,b)Z 1,c)Z 2,d)Z 3 Figure 3. Input signs: a) Z 0,b)Z 1,c)Z 2,d)Z 3 številom stopničastih ov pri izvajanju določenega opravila. V drugem postopku [8] je predlagano merjenje učinkovitosti vhodne naprave. Učinkovitost je predstavljena kot dolžina trajektorije pri izvedbi opravila, kjer je najkrajša trajektorija najbolj učinkovita. Integralnost nam podaja oceno manipulacije samo v časovni domeni. Z učinkovitostjo lahko manipulacijo ocenimo samo v prostorski domeni. Pri obeh postopkih je bilo ovrednotenje komunikacije z vhodno napravo izvedeno s pomočjo množice testnih uporabnikov, s katerimi so opravili več meritev integralnosti oziroma učinkovitosti različnih vhodnih naprav pri različnih opravilih. V primeru, predstavljenem v pričujočem članku, poteka komunikacija med človekom in strojem z dvema različnima naboroma vhodnih znakov. Integralnost in učinkovitost vhodne naprave bomo teoretično določili s pomočjo idealno opisanih postopkov izbire in manipulacij z navideznim tridimenzionalnim objektom. Pri tem izberemo tri osnovne postopke izbire in manipulacij v navideznem okolju: izbira objekta, objekta, zasuk objekta. Ker gre za teoretično oceno, ne moremo natančno meriti časovnih in prostorskih vrednosti, zato predpostavimo, da so razdalje vseh pomikov roke enake in da se pomiki roke izvajajo s konstantno hitrostjo. Pri anju roke bomo upoštevali štiri dimenzije. Premikanje po tridimenzionalnem prostoru pomenijo tri dimenzije. Preostala dimenzija je kretnja roke (anje prstov na roki). Integralnost in učinkovitost bomo primerjali pri osnovnih manipulacijah v navideznem prostoru z dvema in s štirimi vhodnimi znaki ter v fizičnem prostoru z naravnimi gibi roke. Za integralno gibanje bomo upoštevali tisto gibanje roke, ki poteka po vseh dimenzijah hkrati. Če gibanje ne poteka po vseh dimenzijah hkrati, je ločljivo. Učinkovitost bomo predstavili z

Vrednotenje gibov in kretenj roke kot vhodne naprave za komunikacijo človek stroj v navideznih okoljih 17 dolžino trajektorije, ki jo je treba izvesti pri manipulacijah. 5.1 Izbira in manipulacije v fizičnem prostoru položaj kazalca položaj objekta O 0 in sprememba vhodnega znaka iz Z 0 v Z 1, zapišemo to tako: O 0,Z 0 Z 1 ; če je končni položaj poljubna 3D točka v navideznem prostoru, zapišemo 3D, Z 0 Z 1 ). V fizičnem prostoru izbiramo in amo predmete s postopki izbire in manipulacij. V tabeli 1 je opisan potek anja rok za izvedbo osnovnih postopkov v fizičnem prostoru. ov roke prvi drugi IZBIRA PREMIK ZASUK Izberi Zagrabi Zagrabi Spusti Spusti Tabela 1. Opis ov roke za izvedbo izbire in manipulacij v fizičnem prostoru Table 1. Description of hand movements for selection and manipulation in a physical space ov roke prvi drugi tretji četrti IZBIRA PREMIK ZASUK O 1,Z 0 Z 1 (način izbire) O 0,Z 1 Z 1 (izberi objekt) O 2,Z 0 Z 1 (način a) O 0,Z 1 Z 1 (izberi objekt ) 3D, Z 1 Z 0 (določi nov položaj) O 3,Z 0 Z 1 (način zasuka) 3D, Z 1 Z 0 (središče zasuka) O 0,Z 0 Z 0 (določi objekt) 3D, Z 0 Z 1 (izvedi zasuk) V tabeli 1 vidimo, da je za postopke izbire in manipulacij v fizičnem prostoru treba izvesti skupaj pet integralnih ov roke. Premike roke lahko označimo za integralne, ker hkrati potekajo po vseh upoštevanih dimenzijah. Če predpostavimo, da so vsi pomiki roke enako dolgi (dolžino pomika označimo z r), je skupna dolžina trajektorij za izvedbo manipulacij enaka 5r. 5.2 Izbira in manipulacije v navideznem prostoru z dvema vhodnima znakoma Za izvedbo postopkov izbire in manipulacij uporabimo dva vhodna znaka (Z 0 in Z 1 ), ki služita za določanje tridimenzionalnega položaja in diskretnih vnosov. Ker dva znaka nista dovolj za neposredno izvedbo postopkov, uporabimo še tri dodatne objekte, ki spremenijo namen kazalca, ki ga označimo z O 0. Glede na namen uporabe definiramo tri namene kazalca: izbira, premaknitev, rotacija. Ustrezni objekti za spreminjanje namena kazalca so: Objekt O 1 : pri pogoju O 1 == O 0 se spremeni namen kazalca v izbiro. Objekt O 2 : pri pogoju O 2 == O 0 se spremeni namen kazalca v premaknitev. Objekt O 3 : pri pogoju O 3 == O 0 se spremeni namen kazalca v rotacijo. Postopke izbire in manipulacij kaže tabela 2. V tabeli sta ob vsakem u kazalca pri določenem postopku označena končni položaj kazalca in sprememba vhodnega znaka v končnem položaju (npr. če je končni Tabela 2. Opis ov in kretenj roke za izvedbo izbire in manipulacij v navideznem prostoru Table 2. Description of hand movements and gestures for selection and manipulation in a virtual space Iz tabele 2 je razvidno, da so pri tem načinu komunikacije med človekom in strojem vsi pomiki roke ločljivi. Če upoštevamo e po vseh štirih dimenzijah, vidimo, da je bilo treba izvesti devet ločljivih ov skozi tridimenzionalni prostor in devet ločljivih ov s kretnjo roke, torej skupaj osemnajst ločljivih pomikov. Če predpostavimo, da so vsi pomiki roke enako dolgi (dolžino pomika označimo z r), je skupna dolžina trajektorij za izvedbo manipulacij enaka 9r. 5.3 Izbira in manipulacije v navideznem prostoru s štirimi vhodnimi znaki Da bi število ov in kretenj roke ter število dodatnih objektov pri izvedbi postopkov izbire in manipulacij v navideznem prostoru čim bolj zmanjšali, uporabimo štiri vhodne znake. Tri znake uporabimo za neposredno določitev namena uporabe, sprememba prvega znaka pri preostalih znakih pomeni diskretni vnos: Z 0 je uporabljen za diskretni vnos, Z 1 je uporabljen za izbiro, Z 2 je uporabljen za premaknitev, Z 3 je uporabljen za rotacijo. Ker kazalcu neposredno določimo namen uporabe, za izvedbo osnovnih manipulacij ne potrebujemo dodatnih

18 Rulić, Kramberger, Kačič objektov. Tabela 3 prikazuje postopke osnovnih manipulacij. ov roke prvi drugi IZBIRA PREMIK ZASUK O 0,Z 0 Z 1 (izbira) O 0,Z 0 Z 2 (določitev) 3D, Z 2 Z 0 () O 0,Z 0 Z 3 (določitev) 3D, Z 3 Z 0 (zasuk) Tabela 3. Opis ov in kretenj roke za izvedbo izbire in manipulacij v navideznem prostoru Table 3. Description of hand movements and gestures for selection and manipulation in a virtual space Manipulacije z dvema vhod. znakoma Manipulacije s štirimi vhod. znaki Manipulacije v fizičnem prostoru ločljivih pomikov integralih pomikov 18 0 9r 10 0 5r 0 5 5r Skupna dolžina trajektorij Tudi v tem primeru so vsi i roke pri komunikaciji med človekom in strojem ločljivi. Iz tabele 3 je razvidno, da smo uporabili pet ločljivih ov roke. ločljivih ov kretenj roke je pet. Skupno število ločljivih pomikov je deset. Če predpostavimo, da so vsi pomiki roke enako dolgi (dolžino pomika označimo z r), je skupna dolžina trajektorij za izvedbo manipulacij enaka 5r. 5.4 Primerjava postopkov izbire in manipulacij Postopke izbire in manipulacij v navideznem in v fizičnem prostoru primerjamo v tabeli 4. Vidimo, da so najslabše ocenjeni postopki z dvema vhodnima znakoma. ov in sprememb kretenj roke v navideznem prostoru lahko zmanjšamo, če uporabimo ustrezno število vhodnih znakov. To kaže primer s štirimi vhodnimi znaki. Idealno izvedbo osnovnih manipulacij smo opisali v fizičnem prostoru, kjer so vsi gibi integralni oziroma hkratni in je določena najmanjša skupna dolžina trajektorij za izvedbo manipulacij. V tabeli 4 vidimo, da je število ločljivih pomikov pri postopkih z dvema in štirimi vhodnimi znaki dvakratnik skupne dolžine trajektorij. Vzroka za to sta: razdelitev zaznavnih lastnosti navideznih objektov v dve ločljivi skupini (v eni skupini sta položaj in zasuk, v drugi je oblika) in prilagojenost vhodne naprave tema ločljivima skupinama, ki se kaže kot onemogočeno integralno oziroma hkratno pomikanje med njima. Iz tabele 4 je razvidno tudi, da lahko dosežemo enako skupno dolžino trajektorij v navideznem in fizičnem prostoru, če navideznim nalogam prilagodimo število vhodnih znakov (kot pri postopkih s štirimi vhodnimi znaki). Komunikacijo med človekom in strojem smo ovrednotili z dvema postopkoma, integralnostjo in učinkovitostjo. Integralnost in učinkovitost merimo s praktično izvedenimi gibi na večjem številu uporabnikov. Težava pri tem je, da pri načrtovanju vhodne naprave ne vemo, kako se bo vhodna naprava obnesla, dokler je ne ovrednotimo s pomočjo množice uporabnikov. Tabela 4. Primerjava rezultatov izbire in manipulacij v navideznem in fizičnem prostoru Table 4. Results of comparison of selection and manipulation in virtual and a physical space V našem primeru smo integralnost in učinkovitost določili teoretično. Za širše ovrednotenje smo postopke z navideznimi objekti primerjali z naravnimi postopki s fizičnimi objekti v fizičnem prostoru. Ocena, ki smo jo dobili, nam kaže idealno integralnost in učinkovitost vhodnih naprav. Ocenjeno integralnost in učinkovitost bi v praktičnem primeru dobili, če bi uporabnik izvajal manipulacijo po najkrajših mogočih trajektorijah. Zato je opisano vrednotenje najboljša ocena vhodne naprave. 6 Sklep Predlagali smo nov način vrednotenja vhodnih naprav, s katerim je mogoče vhodno napravo ovrednotiti v fazi razvoja, ko naprava še ni praktično izvedena in je ni mogoče preskusiti na množici uporabnikov. Slabosti vrednotenja sta nezmožnost določanja napak pri manipulacijah in pomanjkanje informacije o uporabnosti vhodne naprave, ki jo dobimo s pomočjo množice uporabnikov. Opisali smo dva načina tridimenzionalne komunikacije med človekom in strojem z gibi in kretnjami roke. Pri vrednotenju postopkov v navideznem okolju z dvema in štirimi vhodnimi znaki smo ugotovili, da je najslabše ocenjen postopek z dvema vhodnima znakoma. Bolje je ocenjen postopek s štirimi vhodnimi znaki, ki se po skupni dolžini trajektorij lahko primerja z naravnimi gibi in kretnjami v fizičnem prostoru. Slabost obeh manipulacij v navideznem prostoru je, da ne omogočata integralnih pomikov. Integralnost pomikov bi bilo mogoče doseči z naravnimi gibi in kretnjami roke. Vendar je v navideznem prostoru zaradi odsotnosti povratnih sil naravna interakcija zelo omejena.

7 Literatura [1] J. Liu, S. Pastoor, K. Seifert, J. Hurtienne, Threedimensional PC: toward novel forms of human-computer interaction, Three-Dimensional Video and Display: Devices and Systems SPIE CR76, 2000. [2] V. I. Pavlovic, R. Sharma, T. S. Huang, Visual Interpretation of Hand Gestures for Human-Computer Interaction: A Review, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, 1997. [3] J. Davis, M. Shah, Visual Gesture Recognition, Vision, Image and Signal Processing, 141(2), 1994. [4] B. Stenger, P. R. S. Mendonca, R. Cipolla, Model-Based 3D Tracking of an Articulated Hand, Proceedings of the Conference on Computer Vision and Pattern Recongnition (CVPR 2001), Vol. 2, pp. 310-315, 2001. [5] A. Sandberg, Gesture Recognition Using Neural Networks, Master s Thesis, Dept. of Numerical Analysis and Computing Science, Royal Institute of Technology Stockholm, 1997. [6] D. A. Bowman, Interaction Techniques for Common Tasks in Immersive Virtual Environments Design, Evaluation and Applicaton, Doctorial Dissertation Georgia Institute of Technology, 1999. [7] R. J. K. Jacob, L. E. Sibert, D. C. McFarlane, M. P. Mullen, Integrality and Separability of Input Devices, ACM Transactions on Computer Human Interaction, Vol. 1, pp. 3-26, 1994. [8] S. Zhai, P. Milgram, Quantifying Coordination in Multiple DOF Movement and Its Application to Evaluating 6 DOF Input Devices, CHI Conference on Human Factors in Computing Systems, pp. 320-327, 1998. Peter Rulić je diplomiral leta 2000 na Fakulteti za elektrotehniko, računalništvo in informatiko (FERI) v Mariboru. Je študent podiplomskega študija na omenjeni fakulteti. Njegovo raziskovano področje vključuje procesiranje slike in komunikacijo človek stroj. Iztok Kramberger je diplomiral leta 1997 na FERI v Mariboru. Leta 2000 je magistriral in leta 2003 doktoriral na isti ustanovi, kjer je tudi zaposlen kot asistent. Njegovo raziskovalno področje vključuje procesiranje slike in komunikacijo človek stroj. Zdravko Kačič je diplomiral leta 1986 na FERI v Mariboru. Leta 1989 je magistriral, leta 1992 pa doktoriral v isti ustanovi, kjer je zaposlen kot redni profesor. Je vodja laboratorija za digitalno procesiranje signalov na FERI. Njegovo raziskovalno področje vključuje analizo in razčlenitev kompleksnih zvočnih scen, sisteme avtomatskega razpoznavanja govora in sodobne načine komunikacije med človekom in strojem.