Segmentace textury. Jan Kybic

Transcription

1 Segmentace textury Případová studie Jan Kybic

2 Zadání Mikroskopický obrázek segmentujte do tříd: Příčná vlákna Podélná vlákna Matrice Trhliny

3 Zvolená metoda Deskriptorový popis Učení s učitelem ML klasifikátor

4 Masky tříd Ground truth Ruční segmentace

5 Deskriptory P1: Hodnota šedé µ = f G σ σ = 15 P2: Lokální energie E = (f µ) 2 G σ P3: Směrovost E h E v E h + E v E h = ( x f ) 2 G σ E v = ( y f ) 2 G σ

6 Deskriptory (2) motivace P1 (hodnota šedé): odliší matice od trhlin P2 (lokální energie): odliší vlákna od ostatních tříd P3 (směrovost): odliší orientace vláken

7 Deskriptory (3) histogramy Attribute 0 Attribute class 0 class 1 class 2 class class 0 class 1 class 2 class Attribute 2 class 0 class 1 class 2 class

8 Statistický popis Pravděpodobnost p(x T i ) vektoru deskriptorů v závislosti na třídě považujeme za normální. Složky vektoru deskriptorů považujeme za nezávislé = jednoduchý popis průměrem x i a standardní odchylkou σ i

9 Klasifikace Předpokládáme stejnou apriorní pravděpodobnost tříd p(t j ). Pak je ML klasifikace neznámého pixelu s deskriptorovým vektorem x vyjádřitelná jako: j ML = arg min (x x j )/σ j j kde operace / je brána po elementech.

10 Výsledky

11 Možná vylepšení Větší trénovací množina. Větší počet deskriptorů a optimalizace jejich parametrů na základě výsledků klasifikace. Úpravy výpočtu deskriptorů, aby postačovalo menší okoĺı a výsledky nebyly ovlivněny kraji obrazu a okraji textur. Zavedení třídy pro nevím. Lepší modelování sdružených pravděpodobností, opuštění požadavku nezávislosti a normálnosti. Obecnější návrh klasifikátoru, neparametrické klasifikátory. Použití apriorní informace ze sousedství pixelů pomocí např. markovských náhodných poĺı. Iterativní segmentace, kdy výpočet deskriptorů je řízen výsledky klasifikace z předchozí iterace.

12 Texture classification using Haralick descriptors Task: for a texture patch, find a class Training and test images Calculate descriptors (features) for a patch Feature selection Classification

13 Co-occurrence matrices P 0,d(a, b) = { [(k, l), (m, n)] D : k m = 0, l n = d, f (k, l) = a, f (m, n) = b } P 45,d(a, b) = { [(k, l), (m, n)] D : (k m = d, l n = d) (k m = d, l n = d), f (k, l) = a, f (m, n) = b } P 90,d(a, b) = { [(k, l), (m, n)] D : k m = d, l n = 0, f (k, l) = a, f (m, n) = b } P 135,d(a, b) = { [(k, l), (m, n)] D : (k m = d, l n = d) (k m = d, l n = d), f (k, l) = a, f (m, n) = b },

14 Haralick descriptors Energy Entropy Pφ,d(a, 2 b). a,b P φ,d (a, b) log 2 P φ,d (a, b). a,b Contrast (typically κ = 2, λ = 1) a b κ Pφ,d(a, λ b). Inverse difference moment (homogeneity) a,b a,b;a b Pφ,d λ (a, b) a b κ. Correlation [ a,b (ab)pφ,d (a, b) ] µ x µ y, σ x σ y where µ x, µ y are means and σ x, σ y are standard deviations

15 Preprocessing and classification Distances d { } Angles φ { 0, 45, 90, 135 } (consider symmetry) 5 Haralick descriptors 202 features (d = 0 is treated specially) Normalized to zero mean and unit standard deviation Select 10 best features (ratio of intra-class / inter-class variance) Find Gaussian parameters (µ, Σ) for each class Maximum probability normal classifier

16 Brodatz texture 10 classes Cut into 36 non-overlapping patches pixels. Randomly divide into training & test sets.

17 Results Confusion matrix Row i, column j number of patches from class j classified as i Total classification accuracy 94%.

18 Texture classification using Wavelet descriptors Non-decimated wavelet coefficients (Unser, 1989), discrete wavelet frame (DWF) Descriptors = Wavelet energy signature f = [ s L 2, d L 2, d L 1 2,... d 1 2] s i (l) = 2 i/2 h i (k 2 i l) x(l) d i (l) = 2 i/2 g i (k 2 i l) x(l) 10 descriptors, feature selection not needed

19 Calculating wavelet frames Two-scale relation recursive calculation (fast) s i+1 (k) = [h] 2 i s i (k) d i+1 (k) = [g] 2 i s i (k) Haar filters H(z) = (1 + z)/2 h = 1 [1 1] 2 G(z) = (z 1)/2 g = 1 [1 1] 2 2D extension At each level, create 4 sub-bands by filtering with H x H y, H x G y, G x H y, G x G y. Separability only 6 1D filterings Low-pass band H x H y used as input to the next level

20 Results Confusion matrix Row i, column j number of patches from class j classified as i Total classification accuracy 97%.

21 Texture segmentation using Wavelet descriptors Task: segment image into regions based on texture Wavelet signature over a small window descriptor vector for each pixel Training image pdf for each class Segmentation algorithm (region growing, GraphCut) most likely class + spatial smoothness

22 Example training image 1 test image 1 result