TOPOGRĀFISKO OBJEKTU IZMAIŅU KONSTATĒŠANAS UN ATPAZĪŠANAS METODOLOĢIJA

Transcription

1 RĒZEKNES TEHNOLOĢIJU AKADĒMIJA INŽENIERU FAKULTĀTE SERGEJS KODORS TOPOGRĀFISKO OBJEKTU IZMAIŅU KONSTATĒŠANAS UN ATPAZĪŠANAS METODOLOĢIJA PROMOCIJAS DARBA KOPSAVILKUMS Inženierzinātņu doktora (Dr.sc.ing.) zinātniskā grāda iegūšanai informācijas tehnoloģijas nozarē, sistēmu analīzes, modelēšanas un projektēšanas apakšnozarē Rēzekne

2 Promocijas darbs izstrādāts: Rēzeknes Tehnoloģiju akadēmijas Inženieru fakultātes doktora studiju programmā Sociotehnisko sistēmu modelēšana Zinātniskais vadītājs: prof. Dr.sc.ing. Pēteris GRABUSTS, Rēzeknes Tehnoloģiju akadēmija Zinātniskais konsultants: prof. Dr.sc.ing. Artis TEILĀNS, Rēzeknes Tehnoloģiju akadēmija Recenzenti: - asoc. prof. Dr.sc.ing. Arnis CĪRULIS, Vidzemes Augstskola - prof. Dr.habil.sc.ing. Zigurds MARKOVIČS, Rīgas Tehniskā universitāte - Dr.sc.ing. Dalia BAZIUKĖ, Klaipēdas universitāte (Lietuva) Promocijas darba aizstāvēšana notiks 2016.gada 12.decembrī plkst Rēzeknes Tehnoloģiju akadēmijā, Rēzeknē, Atbrīvošanas alejā 115 (IF), 105.telpā. Ar promocijas darbu un tā kopsavilkumu var iepazīties Rēzeknes Tehnoloģiju akadēmijas bibliotēkā, Rēzeknē, Atbrīvošanas aleja 115 (IF). RTA Informācijas tehnoloģijas promocijas padomes priekšsēdētājs prof. Dr.sc.ing. Egils GINTERS Sergejs Kodors, 2016 Rēzeknes Tehnoloģiju akadēmija,

3 SATURS Promocijas darba apraksts... 5 Ievads... 5 Problēmas nostādne... 5 Hipotēze... 6 Pētījuma objekts... 6 Pētījuma priekšmets... 6 Darba mērķis un uzdevumi... 6 Pētījuma metodes... 7 Risinājums un rezultāti... 7 Novitāte un pētījuma rezultātu praktiskā pielietošana... 9 Darba aprobācija Metodoloģija Enerģijas samazināšanas pieeja Metodoloģijas pamatprincipi Metodoloģijas apraksts Zemes virsmas veidu atpazīšanas metode Būvju atpazīšanas metode Augstas veiktspējas skaitļošanas risinājums Minimālais lāzerskenēšanas punktu blīvums būvju atpazīšanai Secinājumi Nobeigums Bibliogrāfija

4 CONTENT Description of doctoral thesis Introduction Problem definition Hypothesis Research object Research subject Goal and tasks Research methods Results Novelty and application of results Approbation Methodology Energy minimization approach Main principles of methodology Description of methodology Land covers recognition method Building recognition method High performance computing solution Minimal point density to recognize buildings Results and discussion Conclusion Bibliography

5 PROMOCIJAS DARBA APRAKSTS Ievads Tālizpētes tehnoloģijas ļauj savākt informāciju par objektiem bez fiziskā kontakta ar tiem. Tomēr tālizpētes tehnoloģijas nedod kādu attēlu interpretāciju prognozes vai statistikas veidā, tās tikai piegādā attēlus ar pašreizējo ģeotelpisko situāciju, kuru ir nepieciešams dešifrēt, pirms to pielietot ģeotelpiskajā analīzē un veidot īslaicīgas vai ilglaicīgas prognozes. Noskenētu datu dešifrēšana paredz sarežģītus un laikietilpīgus aprēķinus, lai atpazītu ģeotelpisko objektu, nosakot katram objektam tā ģeotelpisko kontūru (zemes gabalu jeb atrašanās vietu) un piešķirot semantiskās īpašības, piemēram, klasi. Kad ģeotelpiskie objekti tiek atpazīti, sākas pēcapstrādes process dati tiek konvertēti un saglabāti formātā, kuru atbalsta ģeogrāfiskās informācijas sistēmas. Rezultātā noskenētā ģeotelpiskā informācija iziet veselu tehnisko procesu, lai tā būtu pielietojama biznesa vajadzībām. Kopā ar informācijas apjomu, kas aptver veselu valsts teritoriju, tālizpētes datu automātiskā dešifrēšana veido iespaidīgu zinātnisko un inženiertehnisko izaicinājumu, jo datus nepieciešams apstrādāt ne tikai ar atbilstošu kvalitāti, bet arī savlaicīgi, lai šie dati nepazaudētu savu aktualitāti. Ar mērķi atrisināt tik sarežģītu un vērienīgu darbu 2013.gadā starp Rēzeknes Augstskolu (no 2016.gada Rēzeknes Tehnoloģiju akadēmija, turpmāk RTA) un Valsts Zemes dienestu (turpmāk VZD) tika noslēgts sadarbības līgums ģeoinformācijas jomā. Šis promocijas darbs tika izstrādāts kā viens no pētījumu virzieniem, kas noteikti RTA un VZD sadarbības ietvaros. Problēmas nostādne Pašlaik pasaulē ir izstrādātas tehnoloģijas, kas ļauj iegūt ģeotelpisko informāciju, veicot zemes virsmas skenēšanu no lidaparātiem un satelītiem. Skenējamie objekti var būt pat vesela valsts kopumā. Taču pietrūkst 5

6 inženiertehnisko risinājumu, lai skenēto datu kopu varētu pielietot topogrāfisko objektu automātiskai atpazīšanai un apstrādei. Hipotēze Izstrādājot topogrāfisko objektu atpazīšanas metodoloģiju, ir iespējams realizēt inženiertehnisko risinājumu periodiskai kadastra datu automatizētai aktualizācijai valsts mērogā relatīvi īsā laika periodā. Kadastra datu aktualizācija. Pētījuma objekts Pētījuma priekšmets Topogrāfisko objektu atpazīšanas metodoloģija kā pamatfaktors, lai izstrādātu inženiertehnisko risinājumu kadastra datu automatizētai aktualizācijai. Darba mērķis un uzdevumi Darba mērķis ir izstrādāt metodoloģiju, ar kuras palīdzību var automātiski atpazīt topogrāfiskos objektus (būvju kontūras, zemes virsmas veidus u.c.) lāzerskenēšanas datos vai ortofoto attēlos ar augstu izšķirtspēju. Lai sasniegtu mērķi, tika nodefinēti šādi uzdevumi: izstrādāt metodoloģiju, kā atpazīt objektus reālos apstākļos uzņemtajā attēlā; izstrādāt zemes virsmas atpazīšanas metodi uz realizētās metodoloģijas bāzes; pielāgot metodoloģiju būvju atpazīšanai, izmantojot lāzerskenēšanas datus; novērtēt minimāli nepieciešamo lāzerskenēšanas blīvumu būvju atpazīšanai; izstrādāt augstās veiktspējas risinājumu būvju atpazīšanai. 6

7 Pētījuma metodes Aprakstošā jeb monogrāfiskā: Literatūras analīze, lai izpētītu tālizpētes tehnoloģijas iespējas un eksistējošus risinājumus topogrāfisko objektu atpazīšanai. Salīdzinošā jeb komparatīvā: Eksistējošu risinājumu analīze un jaunās topogrāfisko objektu atpazīšanas metodoloģijas sintezē. Kvantitatīvā: Metodoloģijas eksperimentāla pārbaude, realizējot divas topogrāfisko objektu atpazīšanas metodes. Kappa koeficients un kopējās precizitātes koeficients, lai novērtētu izstrādāto metožu precizitāti. Modelēšana un imitācija Matemātiskā modeļa realizācija, lai novērtētu minimāli nepieciešamo lāzerskenēšanas punktu blīvumu būvju atpazīšanai; Matemātiskā modeļa eksperimentāla pārbaude. Risinājums un rezultāti Izstrādātā metodoloģija tika eksperimentāli pārbaudīta, realizējot divas topogrāfisko objektu atpazīšanas metodes: būvju atpazīšanas metodi lāzerskenēšanas punktu mākonī; zemes virsmas veidu atpazīšanu ortofoto attēlos. Metožu atpazīšanas precizitāte tika novērtēta, pielietojot kļūdu matricu. Pārbaudot zemes virsmu atpazīšanas metodi, tika konstatēts, ka risinājums strādā ar 76% precizitāti pēc Kappa koeficienta un kopējo 83% precizitāti. Izanalizējot metodes vājākos punktus, tika noteikts, ka metode potenciāli var darboties ar 93% precizitāti pēc Kappa koeficienta. 7

8 Pārbaudot būvju atpazīšanas metodi, tika konstatēts, ka risinājumam ir 76% precizitāte pēc Kappa koeficienta, pielietojot pārklāšanas metodi ar manuāli atpazītajiem datiem un saskaitot sakritušos pikseļus. Kopējā precizitāte tika iegūta 98 procentos, un būves tika atpazītas ar 83% precizitāti. Vēlāk risinājumu neatkarīgi novērtēja Latvijas Lauksaimniecības universitātes eksperti, veicot apsekošanu dabā. Pēc ekspertu atzinuma risinājums parādīja šādus rezultātus: 91% atrasto un atpazīto objektu skaits sakrīt ar reģistrētājiem kadastra objektiem; 9% veido neatrasto, bet kadastrā eksistējošo reģistrēto objektu skaits; kļūdaini identificēto objektu skaits ir apmēram 8%; sistēmas atpazīto jaunbūvēto objektu procents 78%. Būvju atpazīšanas metode tika aprobēta augstas veiktspējas skaitļošanas risinājumā (programmatūras prototips), kuru iespējams praktiski izmantot būvju kadastra datu aktualizācijai no LiDAR datiem pilnīgi automātiskā režīmā, apstrādājot visas Latvijas teritorijas LiDAR datus apmēram piecu stundu laikā, ko, veicot ar vienu datoru, būtu iespējams izpildīt tikai 179 dienu laikā. Matemātiskās analīzes rezultātā tika izteikta formula, ar kuras palīdzību ir iespējams aprēķināt minimālo zemes virsmas vienību, ar kādu nepieciešams veikt lāzerskenēšanu, lai atpazītu būvi. Formula tika eksperimentāli pārbaudīta, izmantojot izstrādāto būvju atpazīšanas metodi un autora izstrādāto punktu blīvuma samazināšanas rīku, kā arī noteikts rekomendējams punktu skaits uz zemes vienību [3; 5] punkti. Visi izvirzītie uzdevumi tika izpildīti, ar ko tika sasniegts pētījuma mērķis. Izvirzītā hipotēze tika pārbaudīta un pierādīta. 8

9 Novitāte un pētījuma rezultātu praktiskā pielietošana Autors izstrādāja metodoloģiju ar nosaukumu Enerģijas samazināšanas pieeja (ESP). Metodoloģija apraksta konceptuālo modeli no septiņiem posmiem, kā atpazīt objektu reālos apstākļos uzņemtajos attēlos. Tā ietver visu attēla apstrādes tehnisko procesu, sākot no attēla uztveršanas veida līdz rezultātu sagatavošanai lietišķām vajadzībām. To var izmantot ne tikai topogrāfisko objektu atpazīšanai, bet arī citiem uzdevumiem. Tomēr promocijas darbs tika koncentrēts tikai uz topogrāfisko objektu atpazīšanu, kas ir saistīts ar sadarbības partnera (VZD) lietišķajām interesēm. Lai eksperimentāli pārbaudītu ESP metodoloģiju, uz tās pamata tika realizētas divas objektu atpazīšanas metodes: būvju atpazīšanas metode lāzerskenēšanas punktu mākonī; zemes virsmas veidu atpazīšana ortofoto attēlos. Būvju atpazīšanas metode tika aprobēta kā augstas veiktspējas skaitļošanas risinājums (programmatūras prototips), kas praktiski demonstrē metodoloģijas un metodes darbību. Risinājums ļauj ātri identificēt konkrētas vietas ar izmaiņām, savākt statistisko informāciju par izmaiņām, koordinēt apsekošanas darbus un operēt ar aktuālo informāciju, samazinot izdevumus, palielinot darba lietderības koeficientu un uzlabojot darba kvalitāti, aizvietojot dārgu masveidīgu lauku apsekošanu. Saskaņā ar pētījuma pasūtīja pieprasījumu autors izstrādāja matemātisko modeli, ar kura palīdzību var novērtēt minimāli nepieciešamo lāzerskenēšanas punktu blīvumu būvju atpazīšanai, sastādot rekomendācijas un izsakot matemātisko formulu. Ievērojot, ka punktu blīvums ir pamatfaktors, kas ietekmē lāzerskenēšanas cenu, izstrādātā formula un rekomendācijas ļauj precīzāk izvēlēties nepieciešamo punktu blīvumu. 9

10 Darba aprobācija Zinātniskās publikācijas starptautiski citējamajās datubāzēs iekļautajos izdevumos Sergejs Kodors, Land Cover Recognition using Min-Cut/Max-Flow Segmentation and Orthoimages, Environment. Technology. Resources. Proceedings of the International Scientific and Practical Conference, (3), 2015 (SCOPUS); Sergejs Kodors, Aivars Ratkevičs, Aldis Rausis, Jāzeps Buļs, Building Recognition Using LiDAR and Energy Minimization Approach, ICTE in Regional Development, Procedia Computer Science, 2014, Elsevier, Februāris (SCOPUS, Web of Science); Imants Zarembo and Sergejs Kodors, Pathfinding Algorithm Efficiency Analysis in 2D Grid, Environment. Technology. Resources. Proceedings of the International Scientific and Practical Conference, (2), 2013 (SCOPUS); Sergejs Kodors and Imants Zarembo, Urban Objects Segmentation Using Edge Detection, Environment. Technology. Resources. Proceedings of the International Scientific and Practical Conference, (2), 2013 (SCOPUS). Zinātniskās publikācijas citos anonīmi recenzētajos un starptautiski pieejamajās datubāzēs iekļautajos zinātniskajos izdevumos Sergejs Kodors, Pēteris Grabusts, The Analysis of Noise Level of RGB Image Generated Using SOM, Scientific Journal of Riga Technical University, Vol. 15, 2012 (EBSCO). Citas publikācijas Sergejs Kodors, Ilmārs Kangro, Simple Method of LiDAR Point Density Definition for Automatic Building Recognition, Engineering for Rural Development, May 25-27, 2016; Sergejs Kodors, Imants Zarembo, Land Cover Recognition with Logical Reasoning using Orthophoto Images, RCITD Research Conference in Technical Disciplines, Image processing, November 18-22, Konferences Simple Method of LiDAR Point Density Definition for Automatic Building Recognition, Engineering for Rural Development, Latvia, Jelgava, May 25-27, 2016; Land Cover Recognition using Min-Cut/Max-Flow Segmentation and Orthoimages, International Scientific and Practical Conference 10

11 Environment. Technology. Resources., Latvia: Rezekne, June 18-20, 2015; Land Cover Recognition with Logical Reasoning using Orthophoto Images, RCITD Research Conference in Technical Disciplines, Image processing, November 18-22, 2013; Urban Objects Segmentation Using Edge Detection, International Scientific and Practical Conference Environment. Technology. Resources., Latvia: Rezekne, June 20-22, 2013; Improvement of Neural Networks by Feature Extraction Methods, 6th International Scientific Conference on Applied Information and Communication Technologies (AICT2013), Latvia: Jelgava, April 25,

12 METODOLOĢIJA ENERĢIJAS SAMAZINĀŠANAS PIEEJA Metodoloģijas pamatprincipi Metodoloģija ir pamatojas uz trīs galvenajiem principiem. 1.pamatprincips sākumā elementi attēlā tiek sadalīti divās grupās: izteikti meklējamā objekta punkti un izteikti trokšņa objektu vai fona punkti. 2.pamatprincips atpazīšanas tēls ir izvietots blakus šiem izteiktajiem punktiem ar kaut kādu varbūtību izveidot blīvu klasteri, t.s. objektu, kas pieņem maksimālo iespējamo attālumu no citiem objektiem jeb klasteriem. 3.pamatprincips ja distanci izsaka enerģijas formā, tad, lai sarautu saiti starp objekta elementiem, jāpieliek lielāks spēks, bet, lai atdalītu elementus no dažādiem objektiem mazāks, tāpēc klasteru atdalīšanas procesā jāievēro minimālās enerģijas princips. Metodoloģijas apraksts Metodoloģija sastāv no septiņiem posmiem (skat. 1.attēlu): 1.attēls. Enerģijas samazināšanas pieeja 12

13 Posmu apraksts 1. Attēla iegūšana jeb sākotnējie dati ir visnozīmīgākā metodoloģijas sastāvdaļa, kura nosaka darba lauku un risinājumus nākamajos posmos. Eksistē divi faktori, kuri raksturo sākotnējos datus, attēlošanas metode un datu formāts. Piemēram, ja attēls ir ģeotelpiskā informācija, tad attēlošanas metodi raksturo sensora tips un filmēšanas platforma. Eksistē dažādas metodes, kā uztvert attēlu: fotografēšana, spektroskopija, LiDAR, IfSAR, un trīs platformu veidi: gaismas (no augšas), zemes (no sāna) un jauktā metode. Platformu un sensoru kombinācijas veido dažādus mākslīgās sistēmas skatpunktus, kas ierobežo un ietekmē risinājuma izvēli. Savukārt datu formāts ir informācijas kodēšanas veids, piemēram, eksistē dažādi krāsas modeļi RGB, YcbCr vai YIQ. 2. Priekšapstrāde ir saistīta ar divām operācijām: filtrēšanu un datu transformāciju. Filtru uzdevums ir novākt trokšņus no attēla, bet transformācija paredz tādas operācijas kā sadalīšana (splitting), gludināšana (smoothing), normalizācija (normalization), raksturīpašību izvēle (features selection) vai raksturīpašību iegūšana (features extraction). 3. Sākuma punktu meklēšana visā attēlā tiek atzīmēti ļoti izteikti punkti, kuri pieder meklējamajiem objektiem vai objektiem un fonam, kas veido troksni. Nākamajā posmā atzīmētie punkti veido klastera audzēšanas sakni sākuma punkti. Šādu punktu variācijas var radīt dažādus klasterus, ko nosaka uzdevums un izvēlētais inženiertehniskais risinājums. 4. Klasterizācija, izmantojot minimālās enerģijas principu, ir galvenais mezgls metodoloģijā Enerģijas samazināšanas pieeja, kad klasteris (objekts) tiek izaudzēts no sākuma punktiem, ievērojot enerģijas samazināšanas principu. Algoritmi, kas izpilda šādus nosacījumus, tiek saukti par Min-Cut segmentāciju. Saskaņā ar Ford-Fulkerson teorēmu Min-Cut segmentāciju var izpildīt jebkurš maksimālās plūsmas meklēšanas algoritms. 13

14 5. Klastera atpazīšana tiek izpildīta atsevišķi katram izaudzētajam klasterim. Lai atpazītu klasteri (objektu), var pielietot dažādas metodes, kuras novērtē objekta īpašības, ģeometrisko formu, telpisko izvietojumu vai visu kopā. 6. Pēcapstrāde paredz visas operācijas, kādas jāizpilda ar atpazītajiem datiem, lai tie būtu lasāmi un saprotami pielietošanas līmenī, piemēram, runājot par ģeotelpisko informāciju, pēcapstrādes process varbūt rastrattēla vektorizācija ar nākamo datu saglabāšanu shapefile formātā (.shp). Jo shapefile kodējums visplašāk tiek pielietots ģeogrāfiskajās informācijas sistēmās, bet vektordati paredz plašākas ģeotelpiskās informācijas pārvaldes un analīzes iespējas nekā rastra formāts (piem., ģeotelpiskie vaicājumi un mērījumi). 7. Klasificēta attēla pielietošana paredz iespēju, ka atpazīti objekti var tikt sūtīti atpakaļ uz apstrādi, lai atrastu un atpazītu apakšelementus. Tā izveidojot spirālveidīgu atpazīšanu. 14

15 ZEMES VIRSMAS VEIDU ATPAZĪŠANAS METODE Metode pamatojas ESP metodoloģijā. Tālāk ir aprakstīti metodoloģijas posmu izvēlētie konkrētie risinājumi. 1. Attēla iegūšana ortofoto. 2. Priekšapstrāde 2D attēls tiek transformēts matemātiskajā grafā. 3. Sākuma punktu meklēšana tiek organizēta, izmantojot šādu loģiku: 1.ciklā: ja sarkanā krāsa < 28, tad tas ir ūdens, ja sarkanā krāsa > 39, sauszeme; 2.ciklā: ja sauszemes punkta sarkanā krāsa < 79, tad tas ir mežs, ja sarkanā krāsa > 111, lauks. 4. Klasterizācija, izmantojot minimālās enerģijas principu tiek izmantots Dinika algoritms (Dinic's algorithm). 5. Klastera atpazīšana netiek izmantota. 6. Pēcapstrāde matemātiskais grafs tiek transformēts rastrattēlā. 7. Klasificēta attēla pielietošana: 1.ciklā: attēls punkti ar klasi sauszeme iziet otro ciklu, lai atpazītu apakšklases mežs un lauks ; 2.ciklā: klasificētais attēls pirmajā ciklā tiek papildināts ar apakšklasēm. 15

16 2.attēls. Metodes darba piemērs: a) ievaddati ortofoto; b) klasificēts rastrattēls Izmantojot kļūdu matricu, pārklājot iegūtu slāni ar gaidāmo rezultātu, tika konstatēts, ka risinājums strādā ar 76% precizitāti pēc Kappa koeficienta un kopējo 83% precizitāti. Izanalizējot metodes vājākos punktus tika noteikts, ka metode potenciāli var strādāt ar 93% precizitāti pēc Kappa koeficienta. 16

17 BŪVJU ATPAZĪŠANAS METODE Metode pamatojas ESP metodoloģijā. Tālāk ir aprakstīti ESP metodoloģijas posmu izvēlētie konkrētie risinājumi. 1. Attēla iegūšana zemes virsmas lāzerskenēšana no lidaparāta. 2. Priekšapstrāde lāzerskenēšanas punktu mākonis tiek filtrēts un vienlaicīgi projicēts uz 2D plakni, izmantojot MIN-MAX pieeju, kad sākumā tiek atstāti tikai pēdējie atstarotie punkti, no kuriem tiek paņemts punkts ar minimālo augstumu. 3. Sākuma punktu meklēšana lai identificētu sākuma punktus, tiek izmantots augstuma slieksnis 1,8 m. 4. Klasterizācija, izmantojot minimālās enerģijas principu tiek izmantots Dinika algoritms (Dinic's algorithm). 5. Klastera atpazīšana pēc objekta platības, piemēram, ne mazāk kā 25 m Pēcapstrāde rastrattēla vektorizācija, izmantojot modificēto Teo Pavlidi algoritmu (Theo Pavlidis' algorithm). 7. Klasificēta attēla pielietošana: vektroslānis shapefile formātā, kuru var izmantot ģeotelpas analīzei ģeogrāfiskajās informācijas sistēmās. 3.attēls. Būvju vektorslāņa piemērs 17

18 Pārbaudot būvju atpazīšanas metodi, izmantojot kļūdu matricu, tika konstatēts, ka risinājums strādā ar 76% precizitāti pēc Kappa koeficienta. Kopējā precizitāte tika iegūta 98 procentos, un būves tika atpazītas ar 83% precizitāti. Vēlāk risinājumu neatkarīgi novērtēja Latvijas Lauksaimniecības universitātes eksperti, veicot apsekošanu dabā. Pēc ekspertu atzinuma risinājums parādīja šādus rezultātus: 91% atrasto un atpazīto objektu skaits sakrīt ar reģistrētājiem kadastra objektiem; 9% veido neatrasto, bet kadastrā eksistējošo reģistrēto objektu skaits; kļūdaini identificēto objektu skaits ir apmēram 8%; sistēmas atpazīto jaunbūvēto objektu procents 78%. 18

19 AUGSTAS VEIKTSPĒJAS SKAITĻOŠANAS RISINĀJUMS Lai būtu iespējams apstrādāt visas Latvijas teritorijas datus relatīvi īsā laikā un operatīvi pieņemt lēmumus, izmantojot aktuālo informāciju, sadarbībā ar Rīgas Tehnisko universitāti (RTU) tika izveidots klastera risinājums, kas veic būvju atpazīšanu, pielietojot izstrādāto būvju atpazīšanas metodi. 4.attēls. Būvju atpazīšanas augstas veiktspējas skaitļošanas risinājums Eksperimentāli tika konstatēts, ka, izmantojot viena galddatora jaudu, šo platību būtu iespējams apstrādāt apmēram 179 dienu laikā. Pielietojot RTU klasteri, šo pašu darbu varētu veikt 5 stundu laikā. 19

20 MINIMĀLAIS LĀZERSKENĒŠANAS PUNKTU BLĪVUMS BŪVJU ATPAZĪŠANAI Lai atpazītu objektu, ir nepieciešams uztvert to attēlā. Piefiksēto punktu skaitam un kombinācijai arī ir svarīga loma objekta atpazīšanā. Promocijas darbā tika izanalizēti trīs gadījumi: objekts lielāks par zemes virsmas vienību; objekts ir mazāks par zemes virsmas vienību (skat. 5.attēlu); objekts ir vienāds ar zemes virsmas vienību (skat. 6.attēlu un 1.tabulu); Lai piefiksētu būvi attēlā, pietiek uztvert tās vienu vienīgo punktu. No tā izriet, ka būvi ir iespējams piefiksēt un atpazīt, ja būvei ir pietiekami liels mērogs salīdzinājumā ar zemes virsmas vienību: kur g zemes virsmas vienības garums., (1) Tad, ņemot vērā formulu (1), lai piefiksētu būvi ar mērogu S min, lāzerskenēšanu vajag izpildīt ar zemes virsmas vienību g min : (2) 5.attēls. Varbūtība uztvert objektu, mazāku par zemes virsmas vienību 20

21 Punktu skaits 6.attēls. Iespējamie objekta izvietošanas varianti 1.tabula Objektu uztveršanas un atpazīšanas varbūtības a) b) c) d) e) D R D R D R D R D R 1 1,00 0,00 0,68 0,05 0,68 0,06 0,00 0,00 0,00 0,00 2 1,00 0,00 0,94 0,31 1,00 0,00 0,00 0,00 1,00 0,00 3 1,00 0,00 0,98 0,52 1,00 0,44 1,00 1,00 1,00 0,00 4 1,00 0,00 1,00 0,74 1,00 0,00 1,00 1,00 1,00 0,00 5 1,00 0,00 1,00 0,84 1,00 0,44 1,00 1,00 1,00 0,00 6 1,00 0,00 1,00 0,92 1,00 0,00 1,00 1,00 1,00 0,00 7 1,00 0,00 1,00 0,95 1,00 0,44 1,00 1,00 1,00 0,00 * D varbūtība uztvert objektu, R varbūtība uztvert trīs punktus vienlaicīgi, kolonnas nosaukumi atbilst gadījumiem 6.attēlā 21

22 SECINĀJUMI Izstrādātā ESP metodoloģija ir praktiski pielietojama, kas tika eksperimentāli pārbaudīts, realizējot divas ģeotelpisko objektu atpazīšanas metodes. Viena metode ir paredzēta būvju atpazīšanai lāzerskenēšanas datos, otrā zemes virsmas atpazīšanai, ortofoto attēlos. Eksperimentāli tika noteikts, ka autora izstrādātā būvju atpazīšanas metode strādā ar 76% precizitāti pēc Kappa koeficienta, 93% kopējo precizitāti un būvju atpazīšanas 83% precizitāti. Pēc neatkarīgo ekspertu atzinuma izstrādātā būvju atpazīšanas metode uzrāda šādus rezultātus: 91% atrasto un atpazīto objektu skaits sakrīt ar reģistrētājiem kadastra objektiem; 9% veido neatrasto, bet kadastrā eksistējošo reģistrēto objektu skaits; kļūdaini identificēto objektu skaits ir apmēram 8%; sistēmas atpazīto jaunbūvēto objektu procents 78%. Skaitļi tika iegūti, izpildot apstrādātā reģiona apsekošanu. Eksperimentāli tika noteikts, ka zemes virsmas veidu atpazīšanas metode strādā ar 74% precizitāti pēc Kappa koeficienta un ar 83% kopējo precizitāti. Vājākā vieta zemes virsmas veidu atpazīšanas metodē ir sākuma punktu meklēšanas risinājums, kas tika realizēts, izmantojot spriešanas loģiku. Eksperimentāli tika noteikts, ka zemes virsmas atpazīšanas metode var strādāt ar 93% precizitāti pēc Kappa koeficienta, ja tiks uzlabots atskaites punktu atpazīšanas algoritms. Pēc autora uzskatiem, ortofoto nav veiksmīga izvēle zemes virsmas veidu atpazīšanai. Pirmkārt, ortofoto attēli nav oriģināli dati, kuri tiek radīti, izmantojot dažādus algoritmus, kā arī paša cilvēka ieviestās korekcijas 22

23 attēlā, kas pieļauj kļūdas datos. Otrkārt, ortofoto attēli satur noapaļotas vērtības līdz diapazonam [0; 255]. Treškārt, pikseļa vērtība ir krāsa, nevis atstarojuma intensitāte, bet objektus raksturo tieši to fizikāli ķīmiskās īpašības, kas ietekmē atstarojuma intensitāti. Ceturtkārt, atpazīšana, pielietojot ortofoto attēlus, ir iespējama, tomēr prasa pārāk lielu darba un resursu ieguldījumu. Rezultātā autors piedāvā atkārtot eksperimentu ar zemes virsmas veidu atpazīšanu, tikai pielietojot satelītu spektru attēlus. Izstrādātās metodes var uzlabot, pielietojot Mahalonobisa attāluma metriku, kas ļauj apvienot dažādas īpašības ar dažādām vērtību telpām, kas tika pārbaudīts eksperimentāli. Lai izvēlētos labāku īpašību komplektu attāluma metrikai, tiek piedāvāts izmantot lēmumu kokus. Pielietojot lēmumu kokus, tika konstatēts, ka labākā īpašība zemes virsmas veidu atpazīšanai ortofoto gadījumā ir tekstūra Manhetenas attālums ar soli trīs. Matemātiskās analīzes rezultātā tika definēta formula, ar kuras palīdzību ir iespējams aprēķināt minimālo zemes virsmas vienību, ar kādu ir nepieciešams veikt lāzerskenēšanu, lai atpazītu būvi. Formula tika eksperimentāli pārbaudīta, kā arī noteikts labākais punktu skaits uz zemes vienību būvju atpazīšanai [3; 5] punkti. Izstrādātais augstas veiktspējas skaitļošanas risinājums ļauj samazināt visas Latvijas teritorijas lāzerskenēšanas datu apjoma apstrādi vidēji no 90 dienām līdz 1,5 stundām, sliktākajā gadījumā apmēram no 179 dienām līdz 5 stundām. 23

24 NOBEIGUMS Izstrādātā būvju atpazīšanas metode var tikt adaptēta 3D mākonim, kā rezultātā tiek iegūts nevis 2D vektorslānis ar būvēm, bet 3D modelis. Pārejot no 2D darba telpas uz 3D, palielināsies arī būvju robežu precizitāte. Eksperimentāli noteikts minimālais punktu blīvums, un punktu skaits tika pārbaudīts, pielietojot algoritmu, kas samazina punktu blīvumu. Lai iegūtu ticamākus rezultātus, eksperimentu būtu lietderīgi atkārtot, samazinot punktu blīvumu, veicot zemes virsmas skenēšanu ar dažādu punktu blīvumu. Veicot būvju atpazīšanu, tika izmantotas divas īpašības: atgriezto signālu skaits trokšņu filtriem un telpiskais attālums segmentācijas algoritmam. Darbā netika apskatīta atgrieztā signālā intensitāte, kura var tikt pielietota, arī izpildot segmentācijas algoritmu. Būvju un zemes virsmas veidu atpazīšanas metodes var tikt uzlabotas, pielietojot Mahalonobisa metriku. ESP metodoloģija var tikt izmantota, lai izstrādātu atpazīšanas metodes, kas izmanto spektru attēlus, hiperspektrālos attēlus, radarattēlus, krāsotos lāzerskenēšanas datus. Kodētā algoritma testēšana notika, veicot skenēto burtu atpazīšanu. ESP metodoloģija var tikt izmēģināta arī citos atpazīšanas uzdevumos. 24

25 BIBLIOGRĀFIJA 1. Augstākā Padome, ( ). Par Valsts zemes dienestu. Pieejams (skatīts ). 2. Kalvāns, L. (2014). Spektrālaparāti un spektrālie mērījumi: Lekciju konspekts. Pieejams (skatīts ). 3. Latvijas Ģeotelpiskās informācijas aģentūra. LĢIA karšu pārlūks v4.0. Pieejams: (skatīts ). 4. Latvijas Republikas Vides ministrija. (2004). Resursu patēriņanovērtējums. Pieejams (skatīts ). 5. Pārresoru koordinācijas centrs. Politikas plānošanas dokumentu datubāze (POLSIS).Pieejams (skatīts ). 6. Saeima. Nekustamā īpašuma valsts kadastra likums. Pieejams (skatīts ) 7. Valsts zemes dienests. Ārvalstu fizisko personu zemes īpaљumi Latvijā gadā. Pieejams: (skatīts ). 8. Valsts zemes dienests. Latvijas Republikas Administratīvo Teritoriju Unteritoriālo Vienību Zemespārskats uz gada 1. Janvāri. Pieejams (skatīts ). 9. Valsts zemes dienests. Mērniecība Latvijā no viduslaikiem līdz 20. gadsimtam. Pieejams (skatīts ). 10. Valsts zemes dienests. Parakstīts sadarbības līgums ar Rēzeknes augstskolu. Pieejams ( ). 11. Campbell, J.B. (2002). Introduction to Remote Sensing. London: Taylor & Francis. 12. Congalton, R.G., Green, K. (2009). Assessing Accuracy of Remotly Sensed Data: Principles and Practices. London: CRC Press. 13. Hamlyn, G.J., Robin, A.V. (2011). Remote Sensing of Vegetation: Principles, Techniques, and Applications, USA: Oxford Press. 14. Joseph, G. (2005). Fundamentals of Remote Sensing, Hyderguna: Universities Press (India). 15. Kumar, S. (2006). Basics of Remote Sensing and GIS. New Delhi : Laxmi Publications. 16. Preisach, C., Burkhardt, H., Schmidt-Thieme, L., Decker, R. (2008). Data Analysis Machine Learning and Applications. Berlin: Springer. 17. Schowengerdt, R.A. (2007). Remote Sensing: Models and Methods for Image Processing. London: Elsevier. 18. Achanta, R., Shaji, A., Smith, K., Lucchi, A., Fua, P., Susstrunk, S. (2011). SLIC 25

26 Superpixels Compared to State-of-the-art Superpixel Methods. Journal of LATEX Class Files, 6(1), Al-amri, S. S., Kalyankar, N. V., Khamitkar, S. D. (2010). Image Segmentation by using Edge Detection. International Journal on Computer Science and Engineering, 2, Al-Mohair, H. K., Mohamad-Saleh, J., Suandi, S.A. (2012). Human Skin Color Detection: a Review on Neural Network Perspective. International Journal of Innovative Computing, Information and Control, 8 (12), Amhar, F., Jansa, J., Ries, C. (1998). The Generation of True Orthophotos using a 3D Building Model in Conjunction with a Conventional DTM, IAPRS, 32(4), Awad, M., Chehdi, K., Nasri, A. (2007). Multicomponent Image Segmentation Using a Genetic Algorithm and Artificial Neural Network. IEEE Geoscience and Remote Sensing Letters, 4(4), Babykalpana, Y., ThanushKodi, K. Classification of land use land cover change detection using remotely sensed data. International Journal on Computer Science and Engineering (IJCSE), 3(4), Baltsavias, E.P. (1999). Airborne laser scanning: basic relations and formulas, ISPRS Journal of Photogrammetry & Remote Sensing, 54, Biederman, I., Ju, G. (1988) Surface versus Edge-Based Determinants of Visual Recognition. Cognitive Psychology, 20, Boykov, Y., Funka-Lea, G.(2006). Graph Cuts and Efficient N-D Image Segmentation. International Journal of Computer Vision, 70(2), Boykov, Y., Kolmogorov, V. (2004). An Experimental Comparison of Min-Cut/Max- Flow Algorithms for Energy Minimization in Vision. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26 (9), Carr, J.R., Miranda, F.P. (1998). The Semivariogram in Comparison to the Co- Occurrence Matrix for Classification of Image Texture. IEEE Transactions on geoscience and remote sensing, 36(6), Congalton, R. G.(1988). A comparison of sampling schemes used in generating error matrices for assessing the accuracy of maps generated from remotely sensed data. Photogrammetric Engineering and Remote Sensing. 54(5), DiCarlo, J.J., Zoccolan, D., Rust, N.C. (2012). How Does the Brain Solve Visual Object Recognition? Neuron, 73, Eleyan, A., Demirel, H. (2011). Co-occurrence matrix and its statistical features as a new approach for face recognition. Turk J Elec Eng & Comp Sci, 19(1), Foody, G.M. (2002). Status of land cover classification accuracy assessment, Remote Sensing of Environment, 80, Ginevan, M. E., (1979). Testing land-use map accuracy: another look. Photogrammetric Engineering and Remote Sensing. 45(10), Hani, K., Almohair, A.R.R., Elsadig, A.M., Hashim, S.J. (2007). Skin Detection in Luminance Images using Threshold Technique. International Journal of The Computer, 15(1),

27 35. Haralick, R.M., Shanmugan, K., Dinstein, I. (1973). Textural Features for Images Classification. IEEE Transaction on Systems, Man and Cybernetics, 6, Hermosilla, T., Ruiz, L.A., Recio, J.A., Estornell, J. (2011). Evaluation of Automatic Building Detection Approaches Combining High Resolution Images and LiDAR Data. Remote Sensing, 3, Hord, R. M., Brooner, W. (1976). Land-use map accuracy criteria. Photogrammetric Engineering and Remote Sensing. 42(5), Ignatov, G., Nikolov, H., Petkov, D., Georgie, G. (2006). Segmentation of satellite images by means of morphological and object-oriented approaches. International Society of Photogrammetry and Remote Sensing (ISPRS), 36(7). 39. Kodors, S., Ratkevics, A., Rausis, A., Buls, J. (2015). Building Recognition using Energy Minimization Approach, Elsevier, Kolmogorov, V., Zabih, R. (2004). What Energy Functions Can Be Minimized via Graph Cuts? IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(2), Liu, Y. L., Fu, Q. F., Liu, Y., Fu, X. (2013). A Distributed Computational Cognitive Model for Object Recognition. Science in China, 56(9), Lu, D., Weng, Q. A survey of image classification methods and techniques for improving classification performance. International Journal of Remote Sensing, 28(5), Ma, R. (2005). DEM Generation and Building Detection from Lidar Data. Photogrammetric Engineering & Remote Sensing, 71(7), Oliva, A., Torralba, A.(2007). The Role of Context in Object Recognition. TRENDS in Cognition Sciences, 11, Pathak, B., Barooah, D. (2013). Texture Analysis based on the Gray-Level Co- Occurance Matrix considering Possible Orientations. International Journal of Advanced Research in Electrical, Electronics and Instrumentation Engineering, 2, Ramadevi, Y., Sridevi, T., Poornima, B., Kalyani, B. (2010). Segmentation and Object Recognition using Edge Detection Techniques. International Journal of Computer Science & Information Technology, 2, Senthilkumaran, N., Rajesh, R. (2009). Edge Detection Techniques for Image Segmentation A Survey of Soft Computing Approaches. International Journal of Recent Trends in Engineering, 1, Sheng, Y., Gong P., Biging, G.S. (2003). True Orthoimage Production for Forested Areas from Large-Scale Aerial Photographs. American Society for Photogrammetry and Remote Sensing, Photogrammetric Engineering & Remote Sensing, 69(3), Solomon, S. G., Lennie, P. (2007). The machinery of colour vision. Neuroscience, 8, Stehman, S.V., Czaplewski, R.L. (1998). Design and analysis for thematic map accuracy assessment: fundamental principles. Remote Sensing of Environment, 64,

28 51. Surridge, A.K., Osorio, D., Mundy, N. I. (2003). Evolution and selection of trichromatic vision in primates. TRENDS in Ecology and Evolution, 18(4), Tortora, R. (1978). A note on sample size estimation for multinomial populations. The American Statistician, 32(3), Travers, J., Milgram, S. (1969). An Experimental Study of the Small World Problem, Sociometry, 32(4), Tsaneva, M. (2008). Texture Features for Segmentation of Satellite Images. Cybernetics and information tehnologies, 8(3), Sofia: Bulgarian Academy of Sciences, VanRullen, R. (2003). Visual saliency and spike timing in the ventral visual pathway. Journal of Physiology Paris, 97, Veljanovski, T., Kanjir, U., Ostir, K. (2011). Object-based image analysis of remote sensing data. Geodetski Vestnik, 55(4), Wehr, A., Lohr, U. (1999). Airborne laser scanning an introduction and overview. ISPRS Journal of Photogrammetry & Remote Sensing, 54, Wu, Z., Leahy, R. (1993). An Optimal Graph Theoretic Approach to Data Clustering: Theory and Its Application to Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 15(11), Xu, R., Zhao, X., Li, X., Kwan, C., Chang, C.-I.(2006). Target Detection with Improved Image Texture Feature Coding Method and Support Vector Machine. International Journal of Electrical and Computer Engineering, Gebejes, A., Huertas, R. (2013). Texture Characterization based on Grey-Level Cooccurrence Matrix. Proceeding of Conference of Informatics and Management Sciences, 2, March 25-29, Slovakia: University of Zilina, Gordon P. (2011). Airborne topographic laser scanners. GEOInformatics, 14(1), Ignatov, G., Nikolov, H., Petkov, D. and Georgie, G. (2006). Segmentation of satellite images by means of morphological and object-oriented approaches. Proceedings of the ISPRS Commission VII Symposium (ISPRS), 36(7), May 8-11, Netherlands: Enschede. 63. Kodors S., Zarembo I. (2013). Urban Objects Segmentation Using Edge Detection. Environment. Technology. Resources, 11, Kodors, S. (2015). Land Cover Recognition using Min-Cut/Max-Flow Segmentation and Orthoimages. Proceedings of the International Scientific and Practical Conference Environment. Technology. Resources., 3, Latvia: Rezekne, June 18-20, Pirotti, F., Tarolli, P. (2010). Suitability of LiDAR point density and derived landform curvature maps for channel network extraction. Hydrol. Process., 24, Tobler, W. R. (1970). A Computer Movie Simulating Urban Growth in the Detroit Region. Proceedings of International Geographical Union. Commission on Quantitative Methods, Worcester: Clark University, 46, Trodd, N. M. (1995). Uncertainty in land cover mapping for modelling land cover change. Proceedings of RSS95 remote sensing in action, Van Genderen, J. L., Lock, B. F., Vass, P. A. (1978). Remote sensing: statistical testing 28

29 of thematic map accuracy. Proceedings of the Twelfth International Symposium on Remote Sensing of Environment, 5, April 20-26, Philippines: Manila, Vezhnevets, V., Sazonov, V., Andreeva, A. (2003). A Survey on Pixel-Based Skin Color Detection Techniques. Proceeding of Graphicon-2003, Russian Federation: Moscow State University, September 5-10, Achanta, R., Shaji, A., Smith, K., Lucchi, A., Fua, P., Susstrunk, S. (2010). SLIC Superpixels. Pieejams: (skatīts ). 71. Aulinas, J., Garcia, F. (2010). Scene Segmentation and Interpretation: Image characterization. Pieejams: (skatīts ). 72. Baldwin, K.R. (2006). Crop Rotations on Organic Farms. Pieejams df (skatīts ). 73. Bechtel, B. A (2015). New Global Climatology of Annual Land Surface Temperature. Pieejams (skatīts ). 74. Bernardi, P., Bonafous, M., Motisi, M., Reess, J.-M., Tanrin, J., Laubier, D. (2014). Wedge Filter Imaging Spectrometer. Pieejams: n%201/ _bernardi.pdf (skatīts ). 75. Cain, F. What Percentage of the Earth s Land Surface is Desert? Pieejams (skatīts ). 76. CB Creative BLOQ. Mosaic art: 10 stunning examples, Pieejams (skatīts ). 77. ChartsBin. Surface Area of the Earth. Pieejams (skatīts ). 78. Chen, L.-C., Teo, T.-A., Rau, J.-Y. (2005). Building Reconstruction from LIDAR Data and Aerial Imagery. Pieejams: Colorotate. Color theory. Pieejams: (skatīts ). 80. CoolCosmos. Hershel Discovers Infrared Light. Pieejams o.html (skatīts ). 81. EasyRGB. Color conversion math and formulas. Pieejams: (skatīts ). 82. Elaksher, A.F., Bethel, J.S. Building Extraction using LiDAR Data. Pieejams: df 83. Forlani, G., Nardinocchi, C., Scaioni, M., Zingaretti, P. (2007). Complete classification of raw LIDAR data and 3D reconstruction of buildings. Pieejams: (skatīts ). 29

30 84. Freude, D. (2006). Spectroscopy for Physicists. Pieejams (skatīts ). 85. Interspect. The world's highest spatial resolution aerial orthophoto map produced by aeroplane. Pieejams (skatīts ). 86. Kaufmann, J., Steudler, D. Cadaster 2014: A Vision for a Future Cadastral System. Pieejams (skatīts ) 87. Kyba, C.C.M., Garz, S., Kuechly, H., Miguel, A.S., Zamorano, J., Fischer, J., Hцlker, F. (2015). High-Resolution Imagery of Earth at Night: New Sources, Opportunities and Challenges. Pieejams (skatīts ). 88. McCormick, C. (2014). Mahalanobis distance. Pieejams: (skatīts ). 89. McWilliam, N., Teeuw, R., Whiteside, M., Zukowskyj, P. (2005). GIS GPS and Remote Sensing: Field Techniques. Pieejams: +Sensing.htm (skatīts ). 90. Microsoft. Microsoft Solution Framework White Paper: MSF Process Model v Pieejams: (skatīts ) 91. Mohler, C.L., Johnson, S.E. (2009). Crop Rotation on Organic Farms a Planning Manual, Natural Resource, Agriculture, and Engineering Service (NRAES). Pieejams _planning_manuel.pdf (skatīts ). 92. MoMA. Pablo Picasso: Three Musicians Fontainebleau, summer Pieejams (skatīts ). 93. National center for geospatial intelligence standards. Light Detection and Ranging (LIDAR) Sensor Model Supporting Precise Geopositioning, Version 1.1. Pieejams: (skatīts ). 94. National Geographic. World's First Photograph. Pieejams: (skatīts ). 95. NCGIA. Data classification II. Pieejams: (skatīts ). 96. Owen, J. Farming Claims Almost Half Earth's Land, New Maps Show. Pieejams (skatīts ). 97. Ozdarici-Ok, A., Ok, A.O., Schindler, K. (2015). Mapping of Agricultural Crops from Single High-Resolution Multispectral Images Data-Driven Smoothing vs. Parcel- Based Smoothing. Pieejams (skatīts ) 98. Parashar, K. Philosophy of Everyday Life: What percentage of the world's land is 30

31 populated by humans?. Pieejams (skatīts ). 99. Photogrammetry. What is Photogrammetry?. Pieejams (skatīts ) Ralls K.M. (2013). Crop Rotations Have Been Around Since Roman Times. Pieejams (skatīts ) Rajashekar Reddy, P., Amarnadh, V., Bhaskar M. Evaluation of Stopping Criterion in Contour Tracing Algorithms. Pieejams: (skatīts ) 102. Rīgas Tehniskās Universitātes HPC Centrs. RTU HPC infrastruktūra. Pieejams: (skatīts ) Shan, J., Sampath, A. Urban DEM Generation from Raw Lidar Data: A Labeling Algorithm and its Performance, Pieejams: (skatīts ) 104. Shaw, G.A., Burke, H.K. (2003). Spectral Imaging for Remote Sensing. Pieejams (skatīts ) Sigernes, F. Airborne hyperspectral imaging. Pieejams: (skatīts ) Smith, R.B. (2012). Introduction to Remote Sensing of Environment (RSE). Pieejams (skatīts ) Srinivasan, S., Popescu, S.C., Eriksson, M., Sheridan, R.D., Ku, N.-W. (2015). Terrestrial Laser Scanning as an Effective Tool to Retrieve Tree Level Height, Crown Width, and Stem Diameter. Pieejams (skatīts ) Stott, D., Boyd, D.S., Beck, A., Cohn, A.G. (2015). Airborne LiDAR for the Detection of Archaeological Vegetation Marks Using Biomass as a Proxy. Pieejams The Earth Institute Columbian University. The Growing Urbanization of the World. Pieejams (skatīts ) Tronin, A.A. (2010). Satellite Remote Sensing in Seismology. A Review. Pieejams ( ) 111. U.S. Geological Survey. Landsat8. Pieejams ( ) UCDavis Chemwiki. Electromagnetic Radiation. Pieejams magnetic_radiation (skatīts ). 31

32 113. VisionSystems. (2011). IMAGE CAPTURE: Novel technology lowers the cost of hyperspectral imaging. Pieejams: (skatīts ) VisionSystems. (2015). Image Capture: CMOS cameras employ hyperspectral sensors. Pieejams: 1/departments/technology-trends/image-capture-cmos-cameras-employ-hyperspectralsensors.html (skatīts ) Watts, A. 3% of Earth s landmass is now urbanized. (skatīts ) Working Group for Orthophotography Planning. (2011). Using Color Infrared (CIR) Imagery: A Guide for Understanding, Interpreting and Benefiting from CIR Imagery. Pieejams: pdf, (skatīts ) Wu, F.; Wang, C.; Jiang, S., Zhang, H.; Zhang B. (2015). Classification of Vessels in Single-Pol COSMO-SkyMed Images Based on Statistical and Structural Features. Pieejams (skatīts ) Zhou, D. (2006). Texture Analysis and Synthesis using a Generic Markov-Gibbs Image Model. Pieejams: (skatīts ). 32

33 REZEKNE ACADEMY OF TEHNOLOGIES FACULTY OF ENGINEERING SERGEJS KODORS METHODOLOGY OF TOPOGRAPHICAL OBJECT CHANGE DETECTION AND RECOGNITION SUMMERY OF DOCTORAL THESIS For promotion to the degree of Doctor of Engineering in Computer Sciences Sub-branch: analysis, modeling and designing of systems Rezekne

34 Doctoral thesis is developed in: Rezekne Academy of Technologies Faculty of Engineering Doctoral study program Sociotechnical System Modeling Supervisor: Prof. Dr.sc.ing. Pēteris GRABUSTS Rezekne Academy of Technologies Consultant: Prof. Dr.sc.ing. Artis TEILĀNS Rezekne Academy of Technologies Reviewers: - asoc. prof. Dr.sc.ing. Arnis CĪRULIS Vidzeme University of Applied Sciences - Dr.habil.sc.ing., prof. Zigurds MARKOVIČS Riga Technical University - Dr.sc.ing. Dalia BAZIUKĖ Klaipeda University, Lithuania The defense of the dissertation will take place at the open meeting of the Promotion Council of Information Technology, Rezekne Academy of Technologies, Atbrivosanas aleja 115 (IF), Room 105, at 13:00 on December 12, The dissertation and its summary are available at the Library of Rezekne Academy of Technologies (Rezekne, Atbrivosanas aleja 115). Chairman of the Promotion Council of Information Technology of Rezekne Academy of Technologies prof. Dr.sc.ing. Egils Ginters Sergejs Kodors, 2016 Rezekne Academy of Technologies,

35 DESCRIPTION OF DOCTORAL THESIS Introduction Remote sensing technologies provide possibility to acquire information about an object without a physical contact. Remote sensing only provides the images of current situation without any interpretation of collected data like forecasting or statistical data, therefore these images must be deciphered in order to be usable for practical tasks. The analysis of remotely sensed data is cumbersome and long process, which includes tasks like recognizing the topographical objects and their location. When the stage of topographical object recognition is completed, the results must be converted into a format that is compatible with geographical information systems. The geospatial information has to go through a long and complicated technological process to be applicable for business tasks. Acknowledging the fact that the geospatial information of all territory of Latvia must be automatically processed, it is extremely challenging for scientists and engineers, because this data must be thoroughly processed in a relatively short period of time while data is still current. Rezekne Higher Education Institution (now Rezekne Academy of Technologies) and State Land Service of Latvia signed collaboration agreement in 2013 to solve this problematic challenge. This thesis is developed as a part of the collaboration program between Rezekne Academy of Technologies and State Land Service of Latvia. Problem definition The modern technologies provide a possibility to acquire geospatial information about a country using airplanes and satellites, therefore there is the need of an engineering solution to automatically recognize topographical objects and to process this information. 35

36 Hypothesis If the topographical object recognition system is developed, it is possible to develop an engineering solution for periodical cadastral data actualization. Research object Research object is the actualization of cadastral data. Research subject The methodology of topographical object recognition is the basis and condition to develop the engineering solution to actualize the cadastral data. Goal and tasks The goal of the thesis is to develop a methodology, which provides the possibility to recognize topographical objects like land cover, buildings etc. in laser scanned data or in orthoimages. These tasks were defined to achieve the goal: to develop methodology that provides a possibility to recognize an object in an existing image; to develop land cover and building recognition methods to verify the developed methodology; to define the minimal laser scanning point density for building recognition; to develop high performance computing solution to recognize buildings in laser scanning point cloud. Research methods Descriptive or monographic method: The analysis of literature is carried out to research the possibilities of remote sensing technologies and existing topographical object recognition methods. 36

37 Comparative method: The developed Energy Minimization Approach methodology (EMA) is compared with the other existing solutions. Quantitative method: The EMA methodology is experimentally verified developing two methods based on this methodology. The Cohen's Kappa coefficient and the total accuracy are used to evaluate the accuracy of topographical object recognition. Modeling and imitation: The mathematical model is constructed to evaluate the minimal point density required to recognize a building in a predefined area. The constructed mathematical model is experimentally verified. Results The EMA methodology has been experimentally verified developing two object recognition methods: building recognition method, which uses laser scanning point cloud as input data; land cover recognition method, which uses orthoimages. The accuracy of both methods has been evaluated using the error matrix. The accuracy is evaluated by parameters: Cohen's kappa coefficient and the total accuracy. The verification has showed that land cover recognition method is working with accuracy equal to 0.76 of Kappa coefficient and 83% of the total accuracy. The additional experiment showed that the land cover recognition method is capable to work with the accuracy equal to 0.93 of Kappa coefficient. The verification of building recognition method has showed that it is working with the accuracy equal to 0.76 of Kappa coefficient, if the result is compared 37

38 with manually processed map. The total accuracy is 98% and the building class is recognized with the accuracy equal to 83%. The accuracy of the building recognition method has also been verified by the independent experts from Latvia University of Agriculture. According to the experts report, the method had showed the following practical outcomes: 91% of detected and recognized objects match the cadastral data; 9% are undetected objects, which are registered in the cadastre; 8% are misclassified objects; the number of new build objects, which are detected and recognized by the method, is equal to 78%. The building recognition method was implemented using a high performance computing solution (prototype software), which can be practically used in a fully automatic mode processing all of Latvia s territory LiDAR data in approximately five hours. Using a single personal computer it would take 179 days. The mathematical equation is defined as a result of the mathematical analysis of the minimal laser scanning point density to recognize buildings. The mathematical equation was experimentally verified by specially developed software. The recommended laser scanning point number per ground sample is ranging from 3 to 5 points. All tasks were completed and the goal of thesis was achieved. The hypothesis was tested and approved. Novelty and application of results The methodology Energy Minimization Approach was developed. The methodology describes a conceptual model, which consists of seven steps to recognize objects in an existing image. It contains all technical steps to process the image starting from its acquisition and ending with the applicable results for 38

39 business needs. This methodology can be also used for other practical tasks, but only the use case of topographical object recognition was researched, as the thesis was developed within the collaboration program with State Land Service of Latvia. Two topographical object recognition methods were developed to verify the EMA methodology: building recognition method, which uses the point cloud of laser scanning as input data; land cover recognition method, which is working with orthoimages. The developed building recognition method is implemented in the high performance computing solution (software) that is the demonstration of application of EMA methodology and developed building recognition method. The solution provides the possibilities: to quickly process the laser scanning data; to detect changes, to collect statistical information about the changes; to provide information to coordinate territorial investigation process; to use actual information for business tasks; to improve the quality of business; to replace an expensive terrestrial investigation with a low-cost solution. According to the requirements of the State Land Service of Latvia, the mathematical model has been constructed to evaluate the minimal point density of laser scanning to recognize the building with predefined area in LiDAR point cloud. The mathematical equation has calculated the minimal laser scanning point density. The laser scanning point density is the main cost factor, therefore this equation provides possibility to better evaluate the necessary point density. 39

40 Approbation The scientific publications indexed in the international databases: Sergejs Kodors, Land Cover Recognition using Min-Cut/Max-Flow Segmentation and Orthoimages, Environment. Technology. Resources. Proceedings of the International Scientific and Practical Conference, (3), 2015 (SCOPUS); Sergejs Kodors, Aivars Ratkevičs, Aldis Rausis, Jāzeps Buļs, Building Recognition Using LiDAR and Energy Minimization Approach, ICTE in Regional Development, Procedia Computer Science, 2014, Elsevier, February (SCOPUS, Web of Science); Imants Zarembo and Sergejs Kodors, Pathfinding Algorithm Efficiency Analysis in 2D Grid, Environment. Technology. Resources. Proceedings of the International Scientific and Practical Conference, (2), 2013 (SCOPUS); Sergejs Kodors and Imants Zarembo, Urban Objects Segmentation Using Edge Detection, Environment. Technology. Resources. Proceedings of the International Scientific and Practical Conference, (2), 2013 (SCOPUS). The scientific publications, which are anonymously reviewed and indexed in the other international databases: Sergejs Kodors, Pēteris Grabusts, The Analysis of Noise Level of RGB Image Generated Using SOM, Scientific Journal of Riga Technical University, Vol. 15, 2012 (EBSCO). The scientific publications: Sergejs Kodors, Ilmārs Kangro, Simple Method of LiDAR Point Density Definition for Automatic Building Recognition, Engineering for Rural Development, May 25-27, 2016; Sergejs Kodors, Imants Zarembo, Land Cover Recognition with Logical Reasoning using Orthophoto Images, RCITD Research Conference in Technical Disciplines, Image processing, November 18-22, The conferences: Simple Method of LiDAR Point Density Definition for Automatic Building Recognition, Engineering for Rural Development, Latvia, Jelgava, May 25-27, 2016; Land Cover Recognition using Min-Cut/Max-Flow Segmentation and Orthoimages, International Scientific and Practical Conference Environment. Technology. Resources., Latvia: Rezekne, June 18-20, 2015; 40

41 Land Cover Recognition with Logical Reasoning using Orthophoto Images, RCITD Research Conference in Technical Disciplines, Image processing, November 18-22, 2013; Urban Objects Segmentation Using Edge Detection, International Scientific and Practical Conference Environment. Technology. Resources., Latvia: Rezekne, June 20-22, 2013; Improvement of Neural Networks by Feature Extraction Methods, 6th International Scientific Conference on Applied Information and Communication Technologies (AICT2013), Latvia: Jelgava, April 25,

42 METHODOLOGY ENERGY MINIMIZATION APPROACH Main principles of methodology The developed methodology is based on three main principles: 1 st principle all simple elements of image are divided into two groups the points of background and the strongly expressed points of search object. 2 nd principle the search object is located near the strongly expressed points with some probability creating the robust cluster called object, which takes a place with a maximal distance to other objects. 3 rd principle if a distance to an object is expressed as energy, then the energy, which must be applied to break a connection between the points of different objects, must be significantly smaller, than the energy for two points of one object. Therefore the principle of applied minimal energy must be used in the process of cluster extraction. Description of methodology There are seven stages in the Energy Minimization Approach methodology (see Fig. 1.): Fig. 1. Energy Minimization Approach 42

43 Description of stages 1. Image acquisition or source data is the main block of EMA methodology. It defines the range of work and tasks that must be solved to construct an artificial system of object recognition. There are two factors which describe source data: scanning method and data format. For example, if an image is a remotely sensed region on Earth, then scanning method is described by a sensor type and a platform in the scanning process. There are different possible methods: a photo sensing, a spectroscopy, LiDAR, IfSAR and three types of scanning platforms: aerial, ground and mix. The combinations of sensors and platforms provide the different points of view or perceptions for artificial systems that restrict solutions to automatically recognize objects. A data format is the coding format of information, for example, there are different color models: RGB, YcbCr or YIQ. 2. Pre-processing is associated with two stages: filtering and data transformation. The goal of filters is to remove noise from the image, but the transformation of data can be operations like splitting, smoothing, normalization, features selection or features extraction. 3. Search of starting points the points with the high probability of object or background are marked on the image. These points are used as the seed points for min-cut/max-flow algorithms in the next stage. The different methods of point search can provide different clusters. 4. Clustering using minimal energy is the main stage of the EMA methodology, because it defines the borders of an object using the principle of minimal energy. Algorithms which use this principle are called min-cut segmentation algorithms. According to Ford-Fulkerson theorem, the min-cut segmentation can be done using max-flow algorithms, therefore, these algorithms are also called mincut/max-flow algorithms. 5. Cluster recognition is completed for each found cluster (segment). Different 43

44 methods can be applied to recognize a cluster (object). These methods can analyze the size of an object, geometrical form, features like color etc. 6. Post-processing defines procedures that must be completed with recognized objects to practically use them. For example, geospatial objects can be vectorized and saved in shapefile format (.shp), which is commonly used by geographical information systems, as vector data provide additional possibilities in geospatial analysis. 7. Application of classified images - the classified image can be repeatedly processed creating a spiral model, if the classified objects contain subclasses. 44

45 LAND COVER RECOGNITION METHOD The method is based on EMA methodology. The following are descriptions for each stage: 1. Image acquisition orthoimage. 2. Pre-processing 2D image is transformed into a mathematical graph. 3. Search of starting points is completed using the following logic: 1 st cycle: if color red is smaller than < 28, then it is water, if color red is greater than > 39, it is land; 2 nd cycle: if color red of land is smaller than < 79, then it is a forest, if red color is greater than > 111, it is fields. 4. Clustering using minimal energy Dinic's algorithm is applied. 5. Cluster recognition is not applied in this method. 6. Post-processing the mathematical graph is transformed into raster image. 7. Application of classified images: 1 st cycle: the image with class land is send into the second series to recognize the subclasses such as forest and fields ; 2 nd cycle: the classified image acquired in the first cycle is completed by two additional classes forest and fields. Fig. 2. Sample: a) input data orthoimage; b) classified image 45

46 The method was verified using the error matrix where the resulting image (layer) was compared with the expected results (another layer) and the number of pixels that match and do not match were counted. The analysis showed that the method works with an accuracy of 0.76 by Kappa coefficient and the overall accuracy of 83%. Later the method was analyzed in order to determine the theoretical accuracy that can be achieved and the week point of the method that potentially can bring a greater error. The results showed that the method has the potential to work with an accuracy of 0.93 by Kappa coefficient, and the week point is the stage "the search of the starting point", which is implemented using logic reasoning. 46

47 BUILDING RECOGNITION METHOD The method is based on EMA methodology. The following are descriptions of each stage of EMA methodology. 1. Image acquisition a land is scanned by a laser scanner using an airplane platform. 2. Preprocessing a point cloud is filtered and projected into 2D grid using MIN-MAX approach, when the last returns are firstly selected, then the selected points with the minimal height is leaved for each pixel of the grid. 3. Search of starting points the slope of 1.8 m is used to identify starting points (the seeds of segmentation algorithm). 4. Clustering using minimal energy Dinic's algorithm is used. 5. Cluster recognition the object is recognized by the area, the logical expression is the area of an object must be greater than 25 m2. 6. Postprocessing modified Theo Pavlidis' algorithm is used for vectorization. 7. Application of classified image the image is saved in shapefile format, which is widely used by geographical information systems for geospatial analysis. Fig. 3. Sample of building vector layer 47

48 The building recognition method was verified using the error matrix. The verification has showed that the method is working with accuracy equal to 0.76 of kappa coefficient, the total accuracy of 98% and the building class is classified with accuracy - 83%. This method was also verified by independent experts from Latvia University of Agriculture. According to the experts report, the method had showed the following practical outcomes: 91% of detected and recognized objects match with the cadastral data; 9% are undetected objects, which are registered in the cadastre; 8% are misclassified objects; the number of new build objects, which are detected and recognized by the method, is equal to 78%. 48

49 HIGH PERFORMANCE COMPUTING SOLUTION The high performance computing solution was developed using cluster of Riga Technical University (RTU) to process the laser scanning data of all territory of Latvia in a relatively short period of time. This solution uses the developed method to recognize buildings. Fig. 4. High performance computing solution of building recognition It is experimentally approved, that the laser scanning data of all territory of Latvia can be processed in 179 days using one personal computer. A similar task can be completed in five hours using the RTU cluster. 49

50 MINIMAL POINT DENSITY TO RECOGNIZE BUILDINGS IN LASER SCANNING POINT CLOUD An object must be depicted in an image to be recognized. The number of records (points) and their combinations are important factors to recognize objects. Three cases of scanned object are analyzed: the objects that have the area strongly greater than the ground sample (pixel); the objects that have the area strongly smaller than the ground sample; the objects that have the area equal to the ground sample (see Fig.6 and Table 1). An object is detected by laser if its one point is detected. Therefore, an object is detected and recognized, if its area is greater enough than the ground sample:, where g the ground sample distance., (1) According to formula (1), the minimal ground sample of laser scanning must be:, where S min is the minimal area of building. (2) Fig. 5. Probability to recognize sufficiently small object 50