Predspracovanie obrazu

Transcription

1 Predspracovanie obrazu Sonka, Hlavac, Boyle: Image Processing, Analysis and Machine vision, kapitola: Image pre-processing Szeliski: Computer Vision: Algorithms and Applications kapitola: Image processing

2 Predspracovanie obrazu operácie s obrazmi na najnižšej úrovni abstrakcie aj vstup aj výstup sú ikonické dáta

3 Cieľom predspracovania je zlepšenie kvality obrazových dát, ktorá potlačí neželané deformácie a skreslenia alebo zlepší niektoré črty obrazu, ktoré sú dôležité z hľadiska ďalšieho spracovania. Niekedy vylepšovanie (enhancement) a rekonštrukcia (restoration) obrazu

4 Existujú 4 základné typy metód predspracovania: Jasové transformácie transformácia závisí od vlastností pixla samotného Geometrické transformácie Lokálne predspracovanie transformácie závisí od samotného pixla a jeho okolia Rekonštrukcia obrazu niekedy nepatrí, rieši chyby pri snímaní

5 Lokálne predspracovanie Metódy lokálneho predspracovania používajú malé okolie obrazového bodu (obyčajne štvorcové) zo vstupného obrazu vytvoríme novú jasovú hodnotu obrazového bodu vo výstupnom obraze. Také operácie sa nazývajú filtrácie.

6 Predspracovanie môže sledovať dva ciele: vyhladzovanie a detekciu (zvýraznenie) hrán. vyhladzovanie rozostruje hrany, lebo potláča vyššie frekvencie detekcia hrán zvýrazňuje vyššie frekvencie, zvýrazňuje aj šum to je protichodné, ale niektoré techniky robia oboje Iná klasifikácie metód lokálneho predspracovania rozlišuje lineárne a nelineárne transformácie.

7 Filtrovanie obrazu Lineárne filtre Výsledná hodnota pixla je vážený súčet okolitých pixlov Nelineárne filtre Median filtering Bilaterálny filtering Morfológia na nasledujúcej prednáške

8 Vyhladzovanie založené na priemerovaní a jeho modifikáciách, alebo na usporiadaných filtroch (ako medián) Ekvivalentne diskrétnej konvolúcii s kernelom h

9

10 Gaussov filter Gaussian Vyhladenie obrazu Vhodný pri odstraňovaní Gaussovho šumu

11 Riešenie okrajov Nula Konštanta pevne daná farba okrajov Clamp - Opakovanie okrajových pixelov Wrap Opakovanie cyklicky Zrkadlovo

12 Separabilné filtre Konvolúcia maskou kxk stojí k operácií pre každý pixel Niektoré masky môžu byť rozložené na D masky horizontálne a vertikálne cena sa zníži na k operácií pre každý pixel

13 Separabilné filtre

14 Ako zistíme či je kernel separabilný? Použitím SVD singulárny rozklad matice Ak iba. singulárna hodnota je nenulová kernel je separabilný vertikálny kernel horizontálny kernel

15 Nelineárne filtre Median filtering Pri filtrovaní snímacieho šumu (shot noise) Alfa trimmed mean Odstránim najmenšiu a najväčšiu hodnotu

16 Bilateral filtering Hodnota výsledného pixla závisí od váženej kombinácie okolitých pixlov váhový koeficient w závisí od domain kernela (Gaussian) a na dátach závislom range kernely Prenásobením dostaneme na dátach závislú bilaterálnu váženú funkciu

17

18 Detekciu hrán robíme cez gradientné operátory Veľkosť gradientu a smer Ak sa intenzity v danom okoli bodu príliš nelíšia - pravdepodobne tam nie je hrana Ak sa líšia - bod môže patriť hrane

19 Sú tri druhy gradientných operátorov. aproximujúce prvú deriváciu obrazovej funkcie, ktoré sú založené na diferenciách obvykle majú viacero masiek, okrem Laplaciánu, orientácia sa určuje ako najlepšia zhoda viacerých vzorov. založené na zero-crossing druhej derivácie obrazovej funkcie (Marr-Hildrethovej operátor, Cannyho operátor) 3. založené na predstave obrazovej funkcie mapovanej parametrickým modelom hrán

20 Typy hrán schod rampa skutočné hrany - šum čiara hrebeň strecha

21 Typy hrán

22

23 Metódy hľadania hrán konvolučné masky diskrétna aproximácia diferenciálnych operátorov (miera zmeny intenzity) Informácia o: existencia orientácia?

24 x y x f y x f x y x f m n m n,,, x y x f y x f y y x f m n m n,,, ), ( ), ( ), ( ), ( ), ( ), ( y x I y x I y y x I y x I y x I x y x I 0 * 0 * I y I I x I Diferencovanie D

25 Diferencovanie I x I * I I y I * Ktorý obrázok je I x?

26 Diferencovanie a šum

27 Vyhladenie prah 0 prah 50 originál Gaussovské vyhladenie

28 Následky šumu

29 Vyhladenie

30 Gradient Gradient: Smer najväčšia zmena intenzity Smer gradientu: Veľkosť gradientu: f G x Gy

31 Gradient / hrany f e Sila (dôležitosť) hrany = veľkosť gradientu Smer hrany = smer gradientu 90

32 Diferenčné gradientné operátory možno vyjadriť pomocou konvolučných masiek; dostaneme Robertsov, Prewittov, Sobelov, Robinsonov a Kirschov operátor. Hlavnou nevýhodou konvolučných hranových detektorov je ich závislosť na škálovaní a citlivosť na šum. Väčšinou existuje málo rozumných dôvodov pre výber konkrétnej veľkosti okolia operátora.

33 Gradient

34 Najjednoduchšie masky Roberts Len body hrán Nie orientácia Vhodné pre binárne obrazy Nevýhody: Veľká citlivosť na šum Nepresná lokalizácia Málo bodov na aproximáciu gradientu 0-0

35 Sobel Hľadá horizontálne a vertikálne hrany Konvolučné masky: 0 y x 0 0

36 Sobel d dx I I d dx I d dy I d dy I prahovanie hrany

37 Sobel d dx I I d dy I

38 Sobel E d dx I d dy I I E Threshold 00

39 Prewitt Podobne ako Sobel Masky: 0 y x 0 0

40 Prewitt d dx I I d dy I

41 Prewitt E d dx I d dy I I E 00

42 Kirsch - kompas operátor Rotujúca maska Smery: 0, 45, 90, 35,... Sila hrany maximum cez jednotlivé masky Smer hrany maska dávajúca maximum f e f e

43 Robinson

44 Robinson Kirsch Prewitt Sobel

45 Zisťovanie prechodu nulou (Zero-crossing) druhej derivácie je robustnejšia metóda ako gradientné operátory malej veľkosti počíta sa ako Laplacián z Gaussiánov (LoG) alebo ako diferencia Gaussiánov (DoG). prečo druhá derivácia lebo prechod nulou sa zisťuje ľahšie ako extrém pri prvej derivácii ako môžeme počítať druhú deriváciu robustne - postup je: najprv obraz vyhladiť (na vyhladenie sa použije Gaussovský filter) a potom urobiť druhú deriváciu

46 vzorce Gaussián alebo Gaussovský filter G(x,y) je daný ako kde x a y sú obrazové súradnice a σ je štandardná odchýlka súvisiaceho rozdelenia pravdepodobnosti. Parameter σ je jediným parametrom filtra a je úmerný veľkosti okolia, v ktorom filter pôsobí. rozmer konvolučných masiek narastá s rastúcim σ (väčšie σ znamená, že len výraznejšie zmeny budú zachytené) Obrazové body, ktoré sú vzdialenejšie od centra filtra majú menší vplyv, tie, čo sú vzdialené viac ako 3σ majú zanedbateľný vplyv.

47 Druhá derivácia

48 Laplacián ), ( ), ( ), ( j i f j i f j i f x f ), ( ), ( ), ( j i f j i f j i f y f Konvolúcia [, -, ] - je izotropný operátor, na všetky zmeny reaguje rovnako y f x f f

49 Laplacián Nevýhody: Veľmi citlivý na šum -8 Produkuje dvojité hrany Neurčuje smer hrany

50 Laplacián

51 Laplacián Gaussiánu Marr Hildreth operátor, LoG operátor Vyhladenie pomocou D Gaussiánu S G I Následná aplikácia Laplaciánu G e x y S S x y S

52 Laplacián Gaussiánu E ( I G) L I ( G L) S G * I G * I Gaussian Laplacian of Gaussian

53 deriváciu Gaussovho filtra v hranatej zátvorke si môžeme predvypočítať analyticky, pretože nezávisí na obrazovej funkcii. substitúciou r =x +y prevedieme Gaussián na D prípad, vypočítame. deriváciu a po spätnom využití substitúcie dostaneme konvolučnú masku Marr-Hildrethovej operátora

54

55 príklad diskrétnej aproximácie na 7x7

56 Rozdiel Gaussiánov Aproximácia LoG operátora DoG Rozdiel Gaussiánov s dostatočne rozdielnymi σ σ / σ =.6 LoG (σ =.35) DoG (σ = 0, σ = 6)

57 3 6

58 Škálovanie v spracovaní obrazu nie je jednoduché nájsť vhodnú škálu, treba hľadať a skúšať, žiadna nemusí byť úplne najlepšia Marrova téza ak sa hrana vyskytuje v obrazoch s rôznou škálou, tak zodpovedá reálnej hrane Špecifickým prístupom k optimálnej škále je Cannyho operátor

59 Cannyho hranový operátor je optimálny pre ostré hrany zašumené bielym šumom. Kritérium optimality je založené na 3 požiadavkách:. detekovať každú hranu, ale vynechať zdanlivé hrany,. minimálna lokalizačná chyba medzi skutočnou a detekovanou hranou 3. na potlačení viacnásobných odoziev na jednu hranu.

60 Canny ) Vyhladenie Gaussiánom ) Gradientný operátor Veľkosť gradientu Smer gradientu 3) Výber maxím v danom smere 4) Prahovanie dvoma prahmi

61 Original Canny

62 Canny Vyhladenie Gaussiánom S G * I Gradientný operátor (Sobel) S S S x y T S x S y T G e x y Veľkosť gradientu S S x S y Smer gradientu tan S S y x

63 Nasleduje hysterézne prahovanie - prahovanie odoziev hrany s dvoma prahmi silná odozva vracia hranu, nízka odozva spojená s blízkosťou vysokej odozvy môže vrátiť hranu) syntézu príznakov - zistí sa také sigma Gaussiánu, ktoré dáva odozvu väčšiu ako prahovú, a potom sa zväčšuje sigma a agreguje sa získaná informácia Na rozdiel od Marr-Hildrethovej operátora, ktorý je založený na Laplaciáne a teda nemá orientáciu, tu sa dá robiť aj orientácia.

64 Canny S G * I G * I G G x G y T G G S * I * I x y T

65 Canny M = S

66 Canny T T

67 Canny príklady Gauss 5x5, T=55, T=

68 Canny príklady Gauss 5x5, T=55, T=0

69 Canny príklady Gauss 5x5, T=8, T=

70 Canny príklady Gauss 9x9, T=8, T=

71 Parametrické modely hrán diskrétnu funkciu intenzity obrazu možno považovať za vzorkovanú a zašumenú aproximáciu určitej spojitej alebo po častiach spojitej funkcie intenzity obrazu. Keďže jej priebeh nie je známy, odhaduje sa zo známej diskrétnej funkcie a jej vlastností. Používajú sa po častiach spojité funkcie, ktoré sa nazývajú fazety (alebo plôšky) a model sa nazýva fazetový (plôškový) model.

72 Najjednoduchší plochý fazetový model, používa konštantné funkcie a okolie pixla je reprezentované funkciami konštantnej intenzity. lineárne modely, kvadratické a bikubické modely Príklad: bikubický fazetový model c i sa odhadujú z okolia obrazového bodu, pomocou metódy najmenších štvorcov, alebo priamo z okolia rozmeru 5 x 5.

73 Keď už máme fazetové parametre pre každý obrazový bod hrany určíme pomocou extrému.derivácie alebo ako prechod nulou druhej derivácie lokálne spojitej fazetovej funkcie. Určenie hrán je potom presnejšie ako pri diferenčných hranových operátoroch, ale platíme za to náročnosťou výpočtu.