Grupiranje podataka u skupine 1 Rudolf Scitovski, Odjela za matematiku, Sveučilište u Osijeku 2

Size: px
Start display at page:

Download "Grupiranje podataka u skupine 1 Rudolf Scitovski, Odjela za matematiku, Sveučilište u Osijeku 2"

Transcription

1 Klaster analiza 1 U tekstu vjerojatno ima pogrešaka. Ako ih uočite, molim da mi to javite Grupiranje podataka u skupine 1 Rudolf Scitovski, Odjela za matematiku, Sveučilište u Osijeku 2 1 Formulacija problema Neka je S = {x i = (x (i) 1,..., x (i) n ) T R n : i = 1,..., m} skup vektora iz vektorskog prostora R n. Partitivni skup skupa S je familija svih njegovih podskupova. Uobičajena oznaka je P(S) (Papić, 2000). Rastav skupa S na disjunktne podskupove π 1,..., π k, 1 k m, takve da vrijedi k π i = S, (1) π i πj =, i j, (2) m j := π j 1, j = 1,..., k (broj elemenata podskupa π j ), (3) označit ćemo s Π(S) = {π 1,..., π k } i zvati particija skupa S. Skupove π 1,..., π k zvat ćemo klasteri. Skup svih particija skupa S sastavljenih od k klastera koje zadovoljavaju (1-3) označit ćemo s Ψ(S, k). Zadatak 1. Općenito, broj elemenata partitivnog skupa, skupa S od m elemenata jednak je 2 m. Pokažite da je broj svih particija skupa S, koji zadovoljavaju (1-3) jednak Ψ(S, k) = 1 ) k k! ( 1) k j( k j m. (4) j Izračunajte broj svih particija skupa S zadanih s (1-3) specijalno za m = 10, 50, 100, 1000 i k = 2, 3, 5, 8, 10. Ψ(S, k) k = 2 k = 3 k = 5 k = 8 k = 10 m = m = m = m = The applications are important and very attractive (Biology, Medicine, Robotic, Marketing, Education,... ) Approaches: Algebraic and Combinatorial Optimization, Statistics, Graph Theory, Fuzzy Clustering 1 Tekst je pisan uglavnom prema (Späth, 1983; Kogan, 2007) 2 Sve ilustracije i Mathematica-programe koji prate algoritme izradio je Ivan Vazler, asistent Odjela za matematiku, Sveučilišta u Osijeku

2 Klaster analiza 2 Zadatak 2. Ako je π j = m j, pokažite da je c j = 1 m j x i centroid klastera π j, tj. min x i x 2 = x i c j 2. x R n Least Squares optimal partition: f(π j ) = x i c j 2 2, c j = argmin a R n x i a 2 2 = 1 π j ( min x i a 2 n a R n 2 = min x i π a R n j n = min n (x (i) a R n s a s ) 2 = min s=1 x i π a j s=1 s R n ( = x (i) s A ( )) x (i) 2 n ( s = x (i) s s=1 s=1 a = 1 T x (i) 1 1,..., x (i) n π j π j x i R n (centroid of the cluster π j ) (x (i) s a s ) 2 s=1 ) (x (i) s a s ) 2 = 1 π j A ( )) x (i) 2 s = x i a 2 2, x i Dakle, suma kvadrata udaljenosti svih elemenata klastera π j do neke čvrste točke u prostoru R n je najmanja onda i samo onda ako je ta čvrsta točka baš centroid c j klastera π j. Zadatak 3. Ako je π j Π klaster, što je (a) min x i x 1? (b) min x i x? x R n x i π x R n j Least Absolute Deviations optimal partition> f(π j ) = x i c j 1, c j = argmin a R n x i a 1 = ( med x (i) 1,..., med i i ( n ) min x i a 1 = min x (i) a R n x i π a R n s a s j s=1 n = min n s a s = min s a s = a R n s=1 n s=1 = x (i) s x (i) med,...,m x(i) s x i a 1, a = x (i) a s=1 s R n x (i) s = s=1 ( med x (i) 1,..., med i i ) T x (i) n R n, med,...,m x(i) s ) T x (i) n R n

3 Klaster analiza 3 Na skupu svih particija Ψ(S, k) skupa S sastavljenih od k klastera definiramo kriterijsku funkciju cilja f : P(S) [0, +, f(π j ) = x i c j 2 (5) F : Ψ(S, k) [0, +, k F (Π) = f(π j ), Π = {π 1,..., π k }. (6) Definicija 1. Kažemo da je particija Π (o) optimalna u smislu kvadrata l 2 norme ili u smislu najmanjih kvadrata 3 onda ako vrijedi F (Π (o) ) = gdje je funkcija cilja F definirana s (5-6). min F (Π), (7) Π Ψ(S,k) Problem određivanja optimalne particije u smislu Varianzkriterium je NP-težak problem (Kogan, 2007). Primjedba 1. Fermat Torricelli Weber problem: C : 3 d 2 2(A i, T (x, y)) min x,y M : 3 d 2 (A i, T (x, y)) min x,y 1.1 Klasteri na R Norma na R: x = x za x R; Udaljenost točaka x, y R definirana je s d(x, y) = x y ; Π = {π 1,..., π k } particija osnovnog skupa S = {x i R : i = 1,..., m} s k klastera. Definiramo centre c j klastera π j, j = 1,..., k i vrijednost funkcije cilja na π j c j = argmin α x i α = med x i, f(π j ) = x i med x i, c LS j = argmin α (x i α) 2 = 1 π j x i, f LS (π j ) = (x i c LS j ) 2. Zadatak 4. Pokažite da se vrijednost kriterijske funkcije cilja f na nekom klasteru π sa sortiranim elementima x 1,..., x µ R može dobiti bez određivanja centra (korištenjem jednog teorema iz članka o medianu) na sljedeći način f(π) = r (x µ i+1 x i ), r = µ. (8) 2 Primjer 1. Za k = 3 centara: c 1 = 10, c 2 = 30, c 3 = 60 definirano je po 10 normalno distribuiranih podataka N (c i, 4 2 ), i = 1, 2, 3. Njihova unija određuje osnovni skup S = {x 1,..., x 30 }. 3 Varianzkriterium, Least Squares

4 Klaster analiza Slika 1: Odozgo prema dolje, particije Π 1, Π 2, Π 3, Π 4, Π 5 p norma LS Particija c 1 c 2 c 3 F c 1 c 2 c 3 F Π Π Π Π Π Tablica 1: Centri i funkcije cilja za razne particije Izabrano je 5 tročlanih particija Π 1,..., Π 5, od kojih je Π 1 ona koja je nastala generiranjem podataka (podudara se s particijom koju daje Mathematica naredba FindClusters). Za svaku particiju izračunati su centri i vrijednost funkcije cilja u smislu običnih udaljenosti i kvadrata udaljenosti (Tablica 1). Na Slici 1 vide se particije s klasterima i njihovim centrima. Primjer 2. Svakom studentu pridružujemo ukupan broj bodova postignutih na kolokvijima tijekom semestra. Studente treba razdijeliti u 4 klastera prema postignutom broju bodova: ocjena (5), ocjena (4), ocjena (3) i ocjena (2)). x = {418, 385, 357, 351, 347, 333, 330, 323, 321, 318, 308, 308, 302, 302, 300, 294, 293, 290, 287, 286, 286, 277, 271, 271, 269, 268, 266, 260, 253, 250, 248, 237, 237, 233, 232, 230, 228, 227, 226, 217, 214, 211, 208, 207, 187, 186, 181, 179, 175, 165, 161} Izabrano je 5 četveročlanih particija Π 1,..., Π 5, od kojih je Π 1 ona koju definira Mathematica naredba FindClusters metodom Optimize, Π 2 ona koju definira Mathematica naredba FindClusters metodom Agglomerate, dok su ostale odabrane bez posebnog kriterija. Slika 2: Odozgo prema dolje, particije Π 1, Π 2, Π 3, Π 4, Π 5

5 Klaster analiza 5 Particija odličan vrlo dobar dobar dovoljan F p F LS Π 1 [ ] (10) [ ] (17) [ ] (14) [ ] (10) Π 2 [ ] (1) [ ] (1) [ ] (42) [ ] (7) Π 3 [ ] (5) [ ] (15) [ ] (22) [ ] (12) Π 4 [ ] (5) [ ] (18) [ ] (24) [ ] (7) Π 5 [ ] (10) [ ] (17) [ ] (17) [ ] (7) Tablica 2: Intervali particija s brojem studenata u njima i vrijednosti funkcija cilja 1.2 Klasteri na R 2 Norma na R 2 : x p za x R 2 i p [1, {+ }; Udaljenost x, y R 2 za spomenuti p definirana je s d p (x, y) = x y p ; Π = {π 1,..., π k } particija osnovnog skupa S = {x i R 2 : i = 1,..., m} s k klastera. Za p [0, {+ } definiramo centre klastera π j, j = 1,..., k, c p j = argmin α R 2 x i α p, f p (π j ) = x i c p j p, c LS j = argmin α R 2 x i α 2 2 = 1 x i, π j f LS (π j ) = x i c LS j 2 2. Zadatak 5. Pokažite da se vrijednost f 1 kriterijske funkcije na nekom klasteru π s elementima x i = x (1) i,..., x (n) ) T ( i, i {1,..., µ}, može dobiti poopćenjem (8) bez određivanja centra, korištenjem formule n r ( f 1 (π) = x (l) ) µ i+1 x(l) i, r = µ 2. (9) l=1 uz pretpostavku da su podaci x (l) 1,..., x(l) µ (l-te komponente vektora klastera π) sortirani za svaki l = 1,..., n. Rješenje: Neka je f 1 (π) = x i π x i c 1. Sukladno Zadatku 3a je c = Zato je (korištenjem jednog teorema iz članka o medianu) f 1 (π) = x i c 1 = ( ) n n x (l) i c (l) = x (l) i c (l) x i π x i π x i π l=1 l=1 ( med x (1) i i,..., med i ) T x (n) i. ( ) n n r = x (l) i med x (l) ( i i = x (l) ) µ i+1 x(l) i, r = µ 2. l=1 x i π l=1 Primjer 3. Za k = 3 centara: c 1 = {10, 10}, c 2 = {30, 30}, c 3 = {45, 15} definirano je po 10 podataka dobivenih pomoću [ bivarijantnih ] normalnih distribucija s očekivanjima c 1, c 2 i c 3 i matricom kovarijacije Σ = Njihova unija određuje osnovni skup S = {x 1,..., x 30 }. Izabrano je 4 tročlanih particija Π 1,..., Π 4, od kojih je Π 1 ona dobivena samim generiranjem podataka, Π 2 ona koju definira Mathematica naredba FindClusters metodom Optimize, Π 3

6 Klaster analiza 6 ona koju definira Mathematica naredba FindClusters metodom Agglomerate, dok je particija Π 4 odabrane bez posebnog kriterija. Za svaku particiju izračunati su centri i vrijednost funkcije cilja u smislu l 1, l 2, l udaljenosti i kvadrata udaljenosti (Tablica??). Na Slici?? vide se particije s klasterima i njihovim centrima Objective function Partition l 1 -norm l 2 -norm l -norm LS Π Π Π Π

7 Klaster analiza Least Squares kriterij optimalnosti i trag simetrične matrice Zadatak 6. Neka je A R n n kvadratna matrica s elementima a ij. Broj nazivamo trag matrice A. Pokažite da vrijedi: (i) tr (A + B) = tr A + tr B; (ii) tr (λa) = λ tr A; n tr A := a ii, (iii) tr (AB) = tr (BA); (iv) n ako je A simetrična, onda tr (A) = λ i, gdje su λ i svojstvene vrijednosti matrice A; (v) x R n, tr (xx T ) = x T x = x 2 ; (vi) n m A R m n, tr (AA T ) = tr (A T A) = a 2 ij = A 2 F ; (vii) A, B R n n, pri čemu je B nesingularna, tr (B 1 AB) = tr (A). Zadatak 7. Pokažite da je za x 0, xx T R n n simetrična matrica 4 ranga 1. Zadatak 8. Neka je π j neki klaster sastavljen od m j = π j elemenata u particiji Π Ψ(S, k), gdje je S = {x i = (x (i) 1,..., x(i) n ) T R n : i = 1,..., m}. Pokažite da za svaki a R n vrijedi (x i a)(x i a) T = (x i c j )(x i c j ) T + m j (c j a)(c j a) T, (10) gdje je c j centroid klastera π j. Rješenje: (x i a)(x i a) T jer je jer je = ((x i c j ) + (c j a))((x i c j ) + (c j a)) T = (x i c j )(x i c j ) T + m j (c j a)(c j a) T, (x i c j )(x i a) T = (x i c j ) (x i a) T = 0, (x i c j ) = 0. Ako u (10) umjesto a stavimo c = 1 m m x i, sve prosumiramo po j = 1,..., k i uočimo da lijeva strana ne ovisi o particiji Π, dobivamo odnosno m k (x i c)(x i c) T k = (x i c j )(x i c j ) T + m j (c j c)(c j c) T, (11) 4 U literaturi (Späth, 1983) može se naći pod nazivom "diadski produkt"

8 Klaster analiza 8 Teorem 1. Uz prethodne oznake vrijedi gdje je T = W (Π) + B(Π), (12) m T = (x i c)(x i c) T, (13) k W (Π) = (x i c j )(x i c j ) T, (14) k B(Π) = m j (c j c)(c j c) T. (15) Primjedba 2. Korištenjem Zadatka 6, (11) možemo zapisati kao m k T = x i c 2 k = x i c j 2 + m j c j c 2 = W (Π) + B(Π). (16) Primijetite da su matrice W, B, T R n n simetrične, da T ne ovisi, a W, B ovise o particiji Π i da se kriterij (7) može zapisati kao F (Π (o) ) = min tr W (Π), (17) Π Ψ(S,k) jer je k k tr W (Π) = tr (x i c j )(x i c j ) T = x i c j 2 =: F (Π). (18) Primjedba 3. Primijetite da Teorem 1 ne vrijedi ako bi umjesto f(π j ) = x i c j 2 koristili Kovarianzmatrizen 1 m j 1 f(π j) ili matrice 1 m j f(π j ). Zato se umjesto (7) ne koristiti kriterij (obrazložite!) k F (Π (o) 1 ) = min x i c j 2. Π Ψ(S,k) m j Zadatak 9. Dokažite da vrijedi m k x i c 2 k = x i c j 2 + m j c j c 2, Primjedba 4. Ako su ϕ, ψ C 2 (R), takve funkcije da je ϕ(x) + ψ(x) = const, onda vrijedi x 0 R, ϕ (x 0 ) = 0 & ϕ (x 0 ) > 0 ψ (x 0 ) = 0 &ψ (x 0 ) < 0, min x R ϕ(x) = ϕ(x 0) max x R ψ(x) = ψ(x 0)

9 Klaster analiza 9 Teorem 2. Uz prethodne oznake vrijedi k k argmin x i c j 2 = argmax m j c j c 2 =: Π (o) ; Π Ψ(S,k) Π Ψ(S,k) (19) k F (Π (o) m k ) = min x i c j 2 = x i c 2 max m j c j c 2 Π Ψ(S,k) x i π Π Ψ(S,k) j (20) Ovaj teorem pokazuje da se rješenje problema (7) može svesti na problem traženja maksimuma težinske sume (s težinama m j ) kvadrata udaljenosti centroida pojedinih klastera c j do centroida čitavog skupa c. Izradite ilustrativni primjer uz odgovarajući grafički prikaz. Zadatak 10. Pokažite da ako u (10) umjesto a uvrstimo x s, dobivenu jednakost sumiramo po svim s π j i podijelimo s 2m j, dobivamo W j = 1 2m j x s π j (x i x s )(x i x s ) T. (21) Također pokažite da vrijedi sljedeći teorem formuliran za srednje vrijednosti. Teorem 3. Uz prethodne oznake vrijedi F (Π (o) ) = min k Π Ψ(S,k) x i c j 2 = min k 1 Π Ψ(S,k) m j x s π j,i>s x i x s 2. (22) Zadatak 11. Neka je S = {x i R n : i = 1,..., m} osnovni skup, k = 2, Π = {π 1, π 2 }, m 1 = π 1, m 2 = π 2, a c 1, c 2, c redom centroidi klastera π 1, π 2 i centroid skupa S. Pokažite da je u tom slučaju Varianzkriterium ekvivalentan sljedećem: max Φ(π 1, π 2 ), Φ(π 1, π 2 ) = m 1m 2 Π P(S,2) m c 1 c 2 2. Ako je nadalje, (π o 1, πo 2 ) neka optimalna particija i m 2 > 1, onda članovi klastera π 2 leže u kugli zadanoj s ( x i π2 o x i c m ) 1m 2 m (c 1 c 2 ) 2 m 1m 2 (m 1 + 1)(m 2 1) m 2 c 1 c 2 2. Možete li na osnovi ovoga konstruirati neki specijalni algoritam za traženje optimalne dvočlane particije? 1.4 Transformacija podataka Teorem 4. Varianzkriterium je invarijantam na rotaciju i translaciju podataka. neka je: Preciznije, (i) S = {x i R n : i = 1,..., m} skup, a Π = {π 1,..., π k } proizvoljna particija s centroidima c 1,..., c k i duljinama klastera m j = π j, j = 1,..., k; (ii) Q R n n ortogonalna matrica i b R n neki vektor.

10 Klaster analiza 10 (iii) S = {y i R n : y i = Qx i + b, i = 1,..., m} Π = {π 1,..., π k } particija s klasterima π j = {y i S : x i π j }. Tada vrijedi c j = Qc j + b, gdje je c j = 1 m j y i π j y i, Dokaz. Vrijedi min c j = 1 m j k Π Ψ(S,k) y i π j y i π j odakle i ostatak tvrdnje lako slijedi. y i c j 2 = min k Π Ψ(S,k) y i = 1 (Qx i + b) = Q 1 m j m j x i c j 2. x i Zadatak 12. Izradite ilustrativni primjer uz odgovarajući grafički prikaz. + b = Qc j + b, Zadatak 13. Pokažite da je Varianzkriterium invarijantam na skaliranje podataka samo u slučaju navedenom u sljedećem teoremu. Izradite ilustrativni primjer uz odgovarajući grafički prikaz. Teorem 5. Uz oznake kao u Teoremu 4 Varianzkriterium je invarijantam na skaliranje podataka y i = Hx i, H = diag (h 1,..., h n ) onda i samo onda ako je h i = ±1, za sve i = 1,..., n, tj. vrijedi k k min y i c j 2 = min x i c j 2, (23) Π Ψ(S,k) Π Ψ(S,k) gdje je c j = 1 m j y i π j x i, c j = 1 m j y i π j y i Dokaz. c j = 1 y i = 1 Hx i = H 1 m j m j m j y i π j x i = Hc j. Zato vrijedi y i c j 2 y i π j = H(x i c j ) 2 = (x i c j ) T H T H(x i c j ) = (x i c j ) T (x i c j ) H T H = I h 2 i = 1.

11 Klaster analiza 11 Slika 3: Simetrije podataka Transformacija H zapravo predstavlja razne simetrije/refleksije (centralna, osna, ravninska, hiperravninska). Za h i = ±r, r 0 minimum se postiže na istoj particiji (mada se vrijednost minimuma tada mijenja). min Π y i π j y i c j 2 = min Π =r 2 min Π (x i c j ) T H T H(x i c j ) (x i c j ) T (x i c j ) H T H = r 2 I, h 2 i = r 2. 2 k-means partition (Minimaldistanzpartition) Definicija 2. Kažemo da je ˆΠ = {ˆπ 1,..., ˆπ k } optimalna paricija minimalnih udaljenosti (k-means partition, Minimaldistanzpartition) ako x i ˆπ j x i c j = min s=1,k x i c s. (24) Standardni k-means algorithm daje optimalnu k-means partition (Minimaldistanzpartition). Algoritam 1. (k-means algorithm Minimaldistanzverfahren)

12 Klaster analiza 12 Step 1: Učitaj 1 k m, it max, (x i, i = 1,..., m), stavi µ = 0, izaberi početnu particiju Π (µ) = {π (µ) 1,..., π(µ) } 5 i izračunaj centroide i vrijednost funkcije cilja k c (µ) j = 1 m (µ) j x i π (µ) j F µ = F (Π (µ) ) = x i, m (µ) j = π (µ) j, j = 1,..., k; k x i π (µ) j x i c (µ) j 2 ; Step 2: Sukladno principu minimalnih udaljenosti (24) definiraj novu particiju Π (µ+1) = {π (µ+1) 1,..., π (µ+1) k } π (µ+1) 1 = {x i S : x i c (µ) 1 x i c (µ) l, l = 1,..., k} π (µ+1) j 1 j = {x i S \ π s (µ+1) : x i c (µ) j x i c (µ) l, l = 1,..., k}, j = 2,..., k; s=1 Step 3: Izračunaj nove centroide i nove vrijednost funkcije cilja c (µ+1) j = 1 m (µ+1) j F µ+1 = F (Π (µ+1) ) = x i π (µ+1) j k x i, j = 1,..., k; x i π (µ+1) j x i c (µ+1) j 2 ; Step 4: If F µ+1 < F µ and if µ < it max, stavi µ := µ + 1 i idi na Step 2; U protivnom STOP 5 Alternativno, izaberi neku početnu aproksimaciju centroida {c (µ) 1,..., c(µ) k } i u smislu minimalnih udaljenosti (24) definiraj početnu particiju Π (µ) = {π (µ) 1,..., π (µ) k }, π (µ) 1 = {x i S : x i c (µ) 1 x i c (µ), l = 1,..., k}; l j 1 π (µ) j = {x i S \ π s (µ) : x i c (µ) j x i c (µ) l, l = 1,..., k}, j = 2,..., k; s=1

13 Klaster analiza Slika 4: k-means algorithm Teorem 6. Algoritam Minimaldistanzverfahren ne povećava vrijednost minimizirajućeg funkcionala F definranog sa (7), odnosno (17). Dokaz. F (Π (µ) ) = k k k x i π (µ) j x i π (µ) j x i π (µ+1) j x i c (µ) j 2 min x i c (µ) s 2 = s=1,k k x i π (µ+1) j x i c (µ+1) j 2 = F (Π (µ+1) ) x i c (µ) j 2

14 Klaster analiza 14 Teorem 7. (Teorem o razdvajanju) Neka je ˆΠ = {ˆπ 1,..., ˆπ k } optimalna (k-means particija. Tada conv (ˆπ i ) conv (ˆπ j ) =, 1 i j k, hiperravnina koja razdvaja dva različita klastera ˆπ p, ˆπ q s centrima c p, c q is zadana je s (c q c p ) (x T 1 ) 2 (c q + c p ) = 0. Dokaz. Skup svih točaka x R n jednako udaljenih od točaka c p i c q zadan je s H = {x R n : x c q = x c p }. x 2 + c q 2 2c T q x = x 2 + c p 2 2c T p x, c q 2 c p 2 = 2(c q c p ) T x, (c q c p ) T (c q + c p ) = 2(c q c p ) T x. Primjedba 5. Za optimalnu k-means particiju spomenute hiperravnine cijeli prostor R n dijele na disjunktna područja {Ω 1,..., Ω k }, tako da je za svaki j = 1,..., k, π j Ω j, a centoid c j je najbilži centroid za sve elemente iz Ω j (Kogan, 2007), str.15. Ta subregionizacija naziva se Voronoi ili Dirichlet particija ili tesalacija (vidi također Mathematica 7 ). Zadatak 14. k-means algorithm (Minimaldistanzverfahren) u nekim slučajevima ne daje optimalnu particiju, a može dovesti i do toga da neki od klastera bude prazan skup. Konstruirajte primjere koji će potvrditi ove tvrdnje. Kako u tom slučaju treba prilagoditi k-means algoruthm? (Kogan, 2007), str k-means algorithm u nekim slučajevima ne daje optimalnu particiju: S = {0, 2, 3} Π 0 = {{0, 2}, {3}} the set initial partition Π o = {{0, 2}, {3}} optimal k-means partition F (Π o ) = 2 Π o = {{0}, {2, 3}} optimal partition F (Π o ) = 1 k-means algorithm može smanjiti broj klastera: S = { 7, 5, 4, 4, 5, 7} the set Π 0 = {{ 7, 5}, { 4, 4}, {5, 7}} Π o = {{ 7, 5, 4},, {4, 5, 7}} initial partition optimal k-means partition

15 Klaster analiza 15 3 Druge metode 3.1 Izmještanje elemenata klastera Neka je c = 1 m m x i i a R n. Tada m m (x i a)(x i a) T = ((x i c) + (c a))((x i c) + (c a)) T m = (x i c)(x i c) T + m(c a)(c a) T, ( m m ) jer je 2 (x i c)(c a) T = 2 (x i c) (c a) T = 0, m jer je (x i c) = 0. Primjenom tr dobivamo, m m x i a 2 = x i c 2 + m a c 2, a R n. (25) Na osnovi (25) lako se pokaže da vrijedi Lema 1. Neka su A = {x 1,..., x p } i B = {y 1,..., y q } dva disjunktna skupa u R n. Tada vrijedi f(a B) = f(a) + f(b) + p c(a) c 2 + q c(b) c 2, gdje je c(a) = 1 p x i, p Dokaz. Vrijedi c = c(a B) = 1 p + q zato zbog (25) za a = y i vrijedi c(b) = 1 q ( p q x i + y i, c = c(a B) = p p + q c(a) + q p + q c(b). ) q y i = p 1 p + q p p x i + q 1 p + q q q y i. m f(a B) = x i c 2 + m y i c 2 p q = x i c(a) 2 + p c c(a) 2 + y i c(b) 2 + q c c(b) 2. Zadatak 15. Odredite min g(x), gdje je g(x) = p c(a) x R x 2 + q c(b) x 2. n

16 Klaster analiza 16 Na osnovi Leme 1 slijedi Teorem 8. Ako je Π = π 1 π k, uz m j = π j i ako je c j = c(π j ), j = 1,..., k, onda je Ako je π i π j =, za i j, onda c(π) = m 1 m c m k m c k, m = m m k. k k F (Π) = f(π j ) + m j c c j 2, odnosno, m k c(π) x i 2 k = x i c j 2 + m j c(π) c j 2. Zadatak 16. Dokažite Teorem 8 metodom matematičke indukcije. Također, na osnovi Leme 1 slijedi Lema 2. Neka su A = {x 1,..., x p } i B = {y 1,..., y q } dva disjunktna skupa u R n, y i0 B, A + = A {y i0 }, B = B \ {y i0 }. Tada vrijedi f(a + ) = f(a) + p p + 1 c(a) y i 0 2, (26) f(b ) = f(b) q q 1 c(b) y i 0 2. (27) Dokaz. Kako je f({y i0 }) = 0 i kako je prema Lemi 1, c(a + ) = f(a + ) =f(a) + p c(a + ) c(a) 2 + c(a + ) y i0 2 p p+1 c(a) + 1 p+1 y i 0, vrijedi p =f(a) + (p + 1) 2 c(a) y i 0 2 p 2 + (p + 1) 2 c(a) y i 0 2 =f(a) + p p + 1 c(a) y i 0 2. Analogno, prema Lemi 1 je c(b) = q 1 q c(b ) + 1 q y i 0, iz čega slijedi c(b ) = q q 1 c(b) 1 q 1 y i 0. Zato vrijedi f(b) =f(b ) + (q 1) c(b) c(b ) 2 + c(b) y i0 2 =f(b ) + q 1 (q 1) 2 c(b) y i c(b) y i0 2 =f(b ) + q q 1 c(b) y i 0 2. Tvrdnja Leme 1 može se dobiti i korištenjem prikaza pomoću tragova iz Sekcije 1.3. Zadatak 17. Pokažite da ako klasteru π j dodamo neki novi element â π j, dobijemo novi klaster ˆπ j = π j {â} za koji vrijedi: (i) c(ˆπ j ) = 1 m j +1 (m jc(π j ) + â), (ii) tr W (ˆπ j ) = tr W (π j ) + m j m j +1 â c(π j) 2.

17 Klaster analiza 17 Uputa: najprije izračunajte: (a) x i c(ˆπ j ) = (x i c(π j )) + (c(π j ) c(ˆπ j )) = (x i c(π j )) + 1 m j +1 (c(π j) â), x i S, (b) (x i c(ˆπ j ))(x i c(ˆπ j )) T = (x i c(π j ))(x i c(π j )) T + 2 m j +1 (x i c(π j ))(c(π j ) â) + 1 (m j +1) 2 (c(π j ) â)(c(π j ) â) T. Zadatak 18. Pokažite da ako klasteru π j, m j > 1 oduzmemo neki njegov element â π j, dobivamo novi klaster ˆπ j = π j \ {â}, za koji vrijedi: (i) c(ˆπ j ) = 1 m j 1 (m jc(π j ) â), (ii) tr W (ˆπ j ) = tr W (π j ) m j m j 1 â c(π j) 2. Sljedeći teorem pokazuje za koliko će se promijeniti funkcija cilja ako element y i0 iz klastera B prijeđe u klaster A. Teorem 9. Neka su A = {x 1,..., x p } i B = {y 1,..., y q }, q > 1, dva disjunktna skupa u R n, y i0 B, A + = A {y i0 }, B = B \ {y i0 }. Tada vrijedi F ({A, B}) F ({A +, B }) = q q 1 c(b) y i 0 2 p p + 1 c(a) y i 0 2 Dokaz. Kako je F ({A, B}) F ({A +, B }) korištenjem Leme 2 neposredno slijedi tvrdnja teorema. 3.2 Korigirani k-means algoritam ( ) = (f(a) + f(b)) f(a + ) + f(b ) ( ) = f(a) f(a + ) + ( f(b) f(b ) ), Definicija 3. Neka je Π = {π 1,..., π k } neka k-particija skupa S i neka su i, j {1,..., k}. Svaku particiju Π, koja se dobije premještanjem samo jednog vektora â π i Π u klaster π j Π, nazivamo prva varijacija particije Π. Za neki vektor â π i, m i = π i > 1, prema Teoremu 9 definiramo razliku kriterijske funkcije cilja prije i poslije premještanja tog vektora iz klastera π i u klaster π j ij = F (Π) F (Π ) = m i m i 1 c(π i) â 2 m j m j + 1 c(π j) â 2, i također pomoćnu razliku ˆ ij = c(π i ) â 2 c(π j ) â 2. Vrijedi ij ˆ ij = 1 m i 1 c(π i) â m j + 1 c(π j) â 2 0 ij ˆ ij. Ako je ˆ ij 0, bit će i ij 0. To prema Teoremu 9 daje nadu da bi premještanje vektora â π i u klaster π j, za koji je ˆ ij 0, moglo smanjiti vrijednost funkcije cilja. Zato k-means algorithm možemo dopuniti s još jednim korakom prema (Kogan, 2007):

18 Klaster analiza 18 Step 5: Ako postoji vektor â S iz nekog klastera π i, π i > 1, takav da postoji klaster π j, j i, takav da je c(π i ) â 2 c(π j ) â 2, onda načinimo prvu varijaciju particije Π premještanjem vektora â iz klastera π i u klaster π j. Tako smo konstruirali Korigirani k-means algoritam Zadatak 19. Kontraprimjerom pokažite da ni korigirani k-means clustering algorithm nužno ne dovodi do optimalne LS particije. 3.3 Metode zamjene Pretpostavimo da raspolažemo s nekom particijom Π = {π 1,..., π k }; Neka je â prvi element niza x 1,..., x m R n, takav da klaster π i u kome se on nalazi nije jednočlan; Element â iz klastera π i premjestimo redom u sve druge klastere π j, j i i računamo promjenu vrijednosti funkcije cilja. U tu svrhu s Π (j), j {1,..., k}\{i} označimo prvu varijaciju particije Π, koja se dobije premještanjem elementa â iz klastera π i u klaster π j. Ako je ij 0 za svaki j {1,..., k} \ {i}, onda se premještanjem elementa â ne može postići sniženje vrijednosti funkcije cilja F. U tom slučaju izaberemo sljedeći element u nizu x 1,..., x m, takav da klaster u kome se on nalazi nije jednočlan i ponovimo proceduru. Ovo ponavljamo tako dugo dok ne prođemo cijeli niz x 1,..., x m. U slučaju da prođemo cijeli niz x 1,..., x m bez smanjenja vrijednosti funkcije cilja, STOP. Ako je ij > 0 za neki j 0 {1,..., k} \ {i}, onda se premještanjem elementa â iz klastera π i u klaster π j0 dobiva nova particija Π (j0) na kojoj funkcija cilja F postiže nižu vrijednost. Ako postoji više indeksa j {1,..., k} \ {i} za koje je ij > 0, možemo izabrati prvi po redu takav j ili onaj koji najviše smanjuje funkciju cilja. Primijetite da u ovom slučaju vrijedi ij > 0 m i m i 1 c(π i) â 2 > m j m j + 1 c(π j) â 2. (28) Zadatak 20. Konstruirajte Algoritam zamjene koji će prethodno opisanom metodom od zadane particije Π = {π 1,..., π k } odrediti novu bolju particuju Π (ν), ako takva postoji. Izradite odgovarajuće primjere. Primjedba 6. Ako do kraja provedemo Metodu zamjene, na taj način dobit ćemo optimalnu k-means partition (Minimaldistanzpartition). Naime, ako je â proizvoljni element particije π i i ij 0 za svaki j = 1,..., k, tj. m i m i 1 c(π i) â 2 m j m j + 1 c(π j) â 2, j = 1,..., k onda množeći lijevu stranu s 0 < m i 1 m i < 1, a desnu s m j+1 m j > 1, nejdnakost ostaje vrijediti. Zato je c(π i ) â 2 c(π j ) â 2, j = 1,..., k, a to znači da je Π optimalna k-means partition (Minimaldistanzpartition).

19 Klaster analiza 19 Teorem 10. Svaka LS-optimalna (Varianzkriterim) particija je optimalna k-means partition (Minimaldistanzpartition), tj. svojstvo Minimaldistanz (24) je nužan, ali ne i dovoljan uvjet da bi neka particija bila optimalna. Dokaz. Za m = k = 1 tvrdnja je očigledna. Neka je 1 < k < m i neka je Π (o) = {π1 o,..., πo k } LS-optimalna particija. Pretpostavimo da Π (o) nije i optimalna k-means partition (Minimaldistanzpartition). U tom slučaju postoji â iz nekog klastera πi o(m i > 1), koji je bliži centru c(π j ), j i, c(π j ) â < c(π i ) â. m j m j +1 Ako ovaj izraz najprije kvadriramo, a zatim lijevu stranu pomnožimo s 0 < < 1, a desnu s > 1, dobivamo nejednakost iz (28), a to znači da primjenom Metode zamjene možemo m i m i 1 dobiti bolju particiju, što se protivi pretpostavci da je Π (o) optimalna particija. 4 Još neka svojstva LS-particija 4.1 Monotonost Teorem 11. Neka je 1 k < m i neka su Π, odnosno Π LS-optimalne (Varianzkriteriumu) particije duljine k, odnosno duljine k + 1. Tada vrijedi F (Π ) F (Π). Dokaz. Primijetite najprije da je za svaku particiju F (Π) 0. Pretpostavimo najprije da je k + 1 = m. U tom slučaju je particija Π sastavljena samo od jednočlanih skupova, pa je F (Π ) = 0. Zato je u ovom slučaju F (Π ) F (Π). Pretpostavimo sada da je k + 1 < m. Neka su Π = {π 1,..., π k }, odnosno Π, optimalne particije duljine k, odnosno duljine k + 1. Zbog k + 1 < m postoji 1 j 0 m, takav da je m j0 = π j0 > 1. Neka je â π j0 i neka je ˆπ j0 = π j0 \ {â}. Prema Lemi 2 vrijedi f(ˆπ j0 ) = f(π j0 ) m j 0 m j0 1 c(π j 0 ) â 2 f(π j0 ) & f(ˆπ j0 ) = f(π j0 ) â = c(π j0 ). Definiramo pomoćnu particiju (ne nužno LS-optimalnu) duljine k + 1 Π = {π 1,..., π j0 1, ˆπ j0, π j0 +1,..., π k, {â}}. Kako je F (â) = 0, zbog (29) i LS-optimalnosti particije Π dobivamo k k F (Π ) F (Π ) = f(π j ) f(π j ) F (Π). (29) Primjedba 7. Primijetite da (29) također pokazuje da povećanjem broja elemenata u klasteru LS-funkcija cilja prima manju vrijednost, osim ako se dodani elementi baš ne podudaraju s centrom klastera. Ovu tvrdnju treba ispitati za druge kriterijske funkcije!!!

20 Klaster analiza Metoda aglomeracije Metoda aglomeracije spada u hijerarhijske metode. Loša strana hijerarhijskih metoda traženja klastera je nemogućnost vraćanja i popravljanja prethodnih loših koraka, tj. nakon što se dva podatka spoje u jedan klaster ili razdvoje u dva ta odluka je konačna. Neka je zadan skup podataka S = {x i = (x (i) 1,..., x(i) n ) T R n : i = 1,..., m}. Metoda aglomeracije polazi od particije jednočlanih klastera Π (m) = {{x 1 },..., {x m }} Ψ(S, m). U svakom koraku po nekom kriteriju odabiru se dva klastera koja se spajaju u jedan. Ti kriteriji temelje se na sličnosti (spajamo klastere s najvećim koeficijentom sličnosti) ili na različitosti (spajamo klastere koji se najmanje razlikuju). Neki od kriterija različitosti mogu biti: d min (π i, π j ) = d max (π i, π j ) = min d(x, x ) x π i,x π j max d(x, x ) x π i,x π j d c (π i, π j ) = d(c i, c j ), c i, c j centroidi klastera π i, π j d avg (π i, π j ) = 1 d(x, x ) m i m j x π i x π j U µ-tom koraku dobit ćemo particiju iz skupa Ψ(S, m µ). Dakle, ako želimo dobiti k-članu particiju, bit će potrebno provesti m k koraka algoritma. Algoritam 2. (Agglomerative Nesting - AGNES) Step 1: Učitaj 1 k m, (x i, i = 1,..., m), postavi µ = 0 i početnu particiju Π (m) = {{x 1 },..., {x m }}; Step 2: Konstruiraj matricu različitosti particije Π (m µ), R µ R (m µ) (m µ) s elementima r ij = d(π i, π j ), gdje d(π i, π j ) predstavlja različitost klastera π i i π j 6. Step 3: Pronađi najmanji element ri 0 j 0 matrice R µ, i načini particiju Π (m µ 1) = (Π (m µ) \ {π i0, π j0 }) {π i0 πj0 }. Step 4: Ako je µ < m k, postavi µ = µ + 1 i idi na Step 2; Inače STOP; Ovisno o odabiru kriterija, matrice različitosti se nakon prvog koraka mogu mnogo brže računati. Primjer 4. (Ilustracija metode aglomeracije). Za zadani skup točaka treba potržiti optimalnu LS-optimalnu particiju sastavljenu od dva klastera. treba S = {{1.82, 5.}, {5.68, 7.9}, {3.73, 3.}, {3.16, 8.26}, {8.24, 4.04}, {7.58, 6.22}} 6 Primjetite da je matrica R simetrična, pa je zbog toga dovoljno pratiti samo njene iznaddijagonalne (ili ispoddijagonalne) elemente.

21 Klaster analiza Slika 5: Ilustracija metode aglomeracije Π o = {{{1.82, 5.}, {3.73, 3.}}, {{5.68, 7.9}, {8.24, 4.04}, {7.58, 6.22}, {3.16, 8.26}}} 4.3 Stabilnost particije Definicija 4. Neka je CA neki clustering algorithm. Kažemo da je neka particija Π CA stabilna onda ako je primjena algoritma CA ne mijenja. Lema 3. Ako je particija Π = {π 1, π 2 } stabilna u odnosu na Korigirani k-means algorithm, onda je c(π 1 ) c(π 2 ). Dokaz. Pretpostavimo suprotno: c := c(π 1 ) = c(π 2 ). Prema Teoremu 9 da bi dvočlana particija Π = {π 1, π 2 }, čiji klasteri imaju isti centroid, bila stabilna, za svaki y i0 π 1 π 2 mora biti F (Π) F (Π ) = ( q q 1 p ) c y i0 2 = 0, p + 1 a to je ispunjeno ako je p + q = 0, tj. ako je p = q = 0, što se protivi pretpostavci da klasteri moraju imati barem jedan element. Iz Leme 3 slijedi Teorem 12. Ako je particija Π = {π 1,..., π k } stabilna u odnosu na Korigirani k-means algorithm, onda je c(π i ) c(π j ) za i j.

22 Klaster analiza Udaljenost dviju particija Definirat ćemo produkt Π 12 particija Π 1 i Π 2 skupa S tako da kažemo da je neki klaster element particije Π 12 onda ako je on neprazni presjek nekog klasterom iz Π 1 i nekog klastera iz Π 2. Preciznije Definicija 5. Kažemo da je particija Π 12 produkt particija Π 1 = {π (1) 1,..., π(1) q } i Π 2 = {π (2) 1,..., π(2) q } skupa S ako su klasteri iz Π 12 svi neprazni presjeci π (1) i π (2) j klastera iz Π 1 i Π 2. Primjer 5. Za skup S = {1, 2, 6, 7, 9} definiramo Π 1 = {{1, 2, 6}, {7, 9}} Π 2 = {{1, 2, }, {6, 7}, {9}} Π 12 = {{1, 2}, {6}, {7}, {9}} Primjedba 8. Iz Teorema 8 slijedi F (Π 1 ) F (Π 12 ) 0. Stroga nejednakost slijedi iz sljedećeg teorema. Teorem 13. Neka su Π 1 = {π (1) 1,..., π(1) q } i Π 2 = {π (2) 1,..., π(2) q } dvije k-means stabilne particije skupa S. Ako je Π 1 Π 12, onda je F (Π 1 ) F (Π 12 ) > 0. Dokaz. (Kogan, 2007) Sada možemo definirati udaljenost particija Π 1 i Π 2 na sljedeći način (Kogan, 2007) d(π 1, Π 2 ) := (F (Π 1 ) F (Π 12 )) + (F (Π 2 ) F (Π 12 )). (30) Zadatak 21. Pokažite da ako su Π 1 i Π 2 dvije k-means stabilne particije skupa S, onda vrijedi Vrijedi li i nejednakost trokuta? (i) d(π 1, Π 2 ) 0 i d(π 1, Π 2 ) = 0 Π 1 = Π 2 (i) d(π 1, Π 2 ) = d(π 2, Π 1 ). 5 Generalizirani LS-kriterij Definiramo normu i udaljenost G : R n [0, +, d G : R n R n [0, +, x 2 G = x T Gx d G (x, y) = (x y) T G(x y). Što je jedinična kugla radijusa 1 sa središtem u ishodištu u ovoj metrici? Suma kvadrata G-udaljenosti točke a R n do svih točaka klastera π j zadana je s F G (a) = d 2 G(a, x i ) = (x i a) T G(x i a). Ako je G pozitivno definitna matrica (G > 0), onda funkcional F G u točki c j = 1 m j x i,

23 Klaster analiza 23 postiže svoj globalni minimum jer je F G (c j ) a = 2 2 F G (c j ) a 2 = 2m j G > 0. G(x i c j ) = 0 a generalizirani LS-kriterij Varianzkriterium definira se s (Späth, 1983) 6 Neke primjene F G (P ) = k 6.1 Drugi objekti kao centri klastera (x i c j ) T G(x i c j ). (31) Umjesto točke c R n (centroid) kao centar klastera može se pojaviti i neki drugi objekti, primjerice: pravci, ravnine, hiperravnine, kružnice itd. Ako primjjerice, centar klastera u R 2 treba biti pravac l (Kogan, 2007), onda udaljenost neke točke a R 2 do pravca l definiramo kao najkraću udaljenost (ortogonalnu projekciju) točke a R 2 do pravca l. Za zadani skup točaka S = {x i R 2 : i = 1,..., m}, m 2, pravac L kao centar klastera π S definiran je s d(l, x i ) d(l, x i ), za svaki pravac l (32) x i π x i π 6.2 Sustav linearnih jednadžbi Specijalno možemo promatrati i sustav linearnih jednadžbi Aξ = η, A R m n, η R m (Späth, 1983). Sada bi klaster bio podsustav sustava linearnih jednadžbi odabran prema određenom principu. Primjer 6. Za dane podatke (t i, z i ), i = 1,..., m treba pronaći particiju Π = {π 1,..., π k }, sastavljenu od k najboljih pravaca t αj + β j t. Na osnovi danih podataka formiramo sustav α + βt i = z i, i = 1,..., m. Općenito, sustav Aξ = η razdijelimo na k podsustava (klastera) A (j) ξ = η (j), j = 1,..., k i za svaki podsustav potražimo njegovo LS-rješenje ξ (j) minimizacijom funkcionala ξ A (j) ξ η (j) 2. (33) Vektor ξ (j) ujedno predstavlja centar klastera jednadžbi π j. Kriterijska funkcija cilja sada je k F (Π) = A (j) ξ(j) η (j) 2. Minimaldistanzkriterium (k-means) u ovom slučaju znači i-ta jedn. je u π j ( n l=1 a il ξ(j) l η i) 2 ( n l=1 a il ξ(s) l η i) 2, s = 1,..., k. (34)

24 Klaster analiza 24 Rješenje linearnog problema najmanjih kvadrata (33) možemo potražiti rješavanjem sustava normalnih jednadžbi. Zbog jednostavnost promatramo sustav (A T A)ξ = A T η. Uz pretpostavku da je A punog ranga (rank A = n) dobivamo ξ = (A T A) 1 A T η. (35) Ovaj dio teksta vjerojatno sadrži dosta pogrešaka Problem ispuštanja ili dodavanja jednadžbe možemo riješiti primjenom Sherman Morrison Woodbury leme (see e. g. (Dennis and Schnabel, 1996)). Lema 4. (Sherman Morrison Woodbury) Neka su u, v R n, β R i neka je A R n n nesingularna matrica. Tada (a) det(a + βu T v) = det A(1 + βv T A 1 u); (b) Matrica A + βu T v je nesingularna onda i samo onda ako 1 + βv T A 1 u 0 i vrijedi (A + βu T v) 1 = A 1 βa 1 uv T A βv T A 1 u. (36) Pretpostavimo najprije da sustavu Aξ = η dodamo jednadžbu u T ξ = v, u R n, v R. LS-rješenje ξ novog sustava dobivamo iz [ ] A min ξ ξ R n u ξ = ( [A T, u] [ A u [ η v ] 2, ]) 1 ( [A T, u] [ η v primjenom Sherman Morrison Woodbury leme ξ = ξ ]) = (A T A + uu T ) 1 (A T η + vu), ũut x 1 + u T ũ, gdje je ũ = (AT A) 1, ξ = ξ + vũ. Ako je A > 0, onda je u T ũ > 0. Ako je A T A > 0, onda je A T A + uu T > 0. Ako sustavu Aξ = η oduzmemo jednadžbu u T ξ = v, u R n, v R, dobivamo ξ = (A T A uu T ) 1 (A T η vu). Primjenom Sherman Morrison Woodbury leme dobivamo (A T A uu T ) 1 = (A T A) 1 + Pri tome (A T A uu T ) 1 postoji i pozitivno je definitna ako u T (A T A) 1 uũũt, ũ = (A T A) 1 u. 0 u T (A T A) 1 u < 1.

25 Klaster analiza 25 Vrijedi ξ = ξ ũut ξ 1 + u T ũ, ξ = ξ vũ. Druga mogućnost je primjena QR-dekompozicije s pivotiranjem (Bartels et al., 1978; Golub and Van Loan, 1996). U (Späth, 1986) razmatra se least absolute deviations kao kriterij. Literatura M. S. Aldenderfer, R. K. Blashfield, Cluster analysis, Sage, Newbury Park, P. Bose, A. Maheshwari, P. Morin, Fast approximations for sum of distances, clustering and the Fermat Weber problem, Computational Geometry 24(2003) R. H. Bartels, A. R. Conn, J. W. Sinclair, Minimization techniques for piecewise differentiable functions: The l 1 solution to an overdetermined linear system, SIAM J. Numer. Anal. 15(1978), R. Cupec, R. Grbić, K. Sabo, R. Scitovski, Three points method for searching the best least absolute deviations plane, Applied Mathematics and Computation, 215(2009) J. E. Dennis, Jr, R. B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, SIAM, Philadelphia, Inderjit S. Dhillon, Yuqiang Guan and J. Kogan, Iterative Clustering of High Dimensional Text Data Augmented by Local Search, 2002 I. S.Ḋhilon, Y. Guan, B. Kulis, Kernel k-means, spectral clustering and normalized cuts, B. S. Everitt, S. Landau, M. Leese, Cluster analysis, Wiley, London, (OM) G. Gan, C Ma, J. Wu, Data clustering : theory, algorithms, and applications, SIAM, Philadelphia, (OM) G. H. Golub, C. F. Van Loan, Matrix Computation, The John Hopkins University Press, London, J. Han, M. Kamber, Data mining: concepts and techniques, Morgan Kaufmann, J. A. Hartigan, Clustering Algorithms, Wiley, L. Kaufman, P. J. Rousseeuw, Finding groups in data : an introduction to cluster analysis, Jonh Wiley & Sons, Hoboken, (OM) J. Kogan, Introduction to Clustering Large and High-Dimensional Data, Cambridge University Press, K. Jajuga, A. Sokolowski, H. H. Bock, Classification, clustering and data analysis, Springer, Berlin, (OM)

26 Klaster analiza 26 D. MacKay, Information Theory, Inference and Learning Algorithms, Chapter 20. An Example Inference Task: Clustering, Cambridge University Press, 2003, pp P. Papić, Uvod u teoriju skupova, Hrvatsko matematičko društvo, Zagreb, J. Reese, Solution methods for the p-median problem: an annotated bibliography, Networks, Wiley, 2006, , Takodjer (InterScience H. C. Romesburg, Cluster analysis for researchers, Lulu Press, Nort Carolina, (OM) K. Sabo, R. Scitovski, The best least absolute deviations line properties and two efficient methods, ANZIAM Journal 50(2008), H. Späth, Cluster Formation und- Analyse, R. Oldenburg Verlag, München, H. Späth, Clusterwise linear least absolute deviations regression, Computing 37(1986) R. Swiniarski, K. Cios, W. Pedrycz, Witold, Data mining methods for knowledge discovery, Kluwer Academic, Stella X. Yu, Jianbo Shi, Multiclass Spectral Clustering (članak i slides), Hongyuan Zha, Xiaofeng He, Chris Ding, Horst Simon, Ming Gu, Spectral Relaxation for K- means Clustering, 2002.

TEORIJA SKUPOVA Zadaci

TEORIJA SKUPOVA Zadaci TEORIJA SKUPOVA Zadai LOGIKA 1 I. godina 1. Zapišite simbolima: ( x nije element skupa S (b) d je član skupa S () F je podskup slupa S (d) Skup S sadrži skup R 2. Neka je S { x;2x 6} = = i neka je b =

More information

1 Konveksni skupovi i konveksne funkcije

1 Konveksni skupovi i konveksne funkcije Nediferencijabilna optimizacija 1 Odjel za matematiku Sveučilište J. J. Strossmayera u Osijeku Nediferencijabilna optimizacija Poslijediplomski doktorski studij matematike 1 Konveksni skupovi i konveksne funkcije

More information

Matematika i statistika

Matematika i statistika Klasteri 1 Strojarski fakultet u Slavonskom Brodu Sveučilište J. J. Strossmayera u Osijeku 1 Uvod Matematika i statistika II. Grupiranje podataka: klasteri R. Scitovski, M. Benšić, K. Sabo Definicija 1.

More information

Formule za udaljenost točke do pravca u ravnini, u smislu lp - udaljenosti math.e Vol 28.

Formule za udaljenost točke do pravca u ravnini, u smislu lp - udaljenosti math.e Vol 28. 1 math.e Hrvatski matematički elektronički časopis Formule za udaljenost točke do pravca u ravnini, u smislu lp - udaljenosti Banachovi prostori Funkcija udaljenosti obrada podataka optimizacija Aleksandra

More information

KVADRATNE INTERPOLACIJSKE METODE ZA JEDNODIMENZIONALNU BEZUVJETNU LOKALNU OPTIMIZACIJU 1

KVADRATNE INTERPOLACIJSKE METODE ZA JEDNODIMENZIONALNU BEZUVJETNU LOKALNU OPTIMIZACIJU 1 MAT KOL (Banja Luka) ISSN 0354 6969 (p), ISSN 1986 5228 (o) Vol. XXII (1)(2016), 5 19 http://www.imvibl.org/dmbl/dmbl.htm KVADRATNE INTERPOLACIJSKE METODE ZA JEDNODIMENZIONALNU BEZUVJETNU LOKALNU OPTIMIZACIJU

More information

Linearni operatori u ravnini

Linearni operatori u ravnini Linearni operatori u prostoru 1 Linearni operatori u ravnini Rudolf Scitovski Ivana Kuzmanović, Zoran Tomljanović 1 Uvod Neka je (O; e 1, e, e 3 ) pravokutni koordinatne sustav u prostoru X 0 (E). Analogno

More information

Vektori u ravnini i prostoru. Rudolf Scitovski, Ivan Vazler. 10. svibnja Uvod 1

Vektori u ravnini i prostoru. Rudolf Scitovski, Ivan Vazler. 10. svibnja Uvod 1 Ekonomski fakultet Sveučilište J. J. Strossmayera u Osijeku Vektori u ravnini i prostoru Rudolf Scitovski, Ivan Vazler 10. svibnja 2012. Sadržaj 1 Uvod 1 2 Operacije s vektorima 2 2.1 Zbrajanje vektora................................

More information

Geometrijski smisao rješenja sustava od tri linearne jednadžbe s tri nepoznanice

Geometrijski smisao rješenja sustava od tri linearne jednadžbe s tri nepoznanice Osječki matematički list 6(2006), 79 84 79 Geometrijski smisao rješenja sustava od tri linearne jednadžbe s tri nepoznanice Zlatko Udovičić Sažetak. Geometrijski smisao rješenja sustava od dvije linearne

More information

Mirela Nogolica Norme Završni rad

Mirela Nogolica Norme Završni rad Sveučilište J.J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Mirela Nogolica Norme Završni rad Osijek, 2014. Sveučilište J.J. Strossmayera u Osijeku Odjel za

More information

Metode izračunavanja determinanti matrica n-tog reda

Metode izračunavanja determinanti matrica n-tog reda Osječki matematički list 10(2010), 31 42 31 STUDENTSKA RUBRIKA Metode izračunavanja determinanti matrica n-tog reda Damira Keček Sažetak U članku su opisane metode izračunavanja determinanti matrica n-tog

More information

Projektovanje paralelnih algoritama II

Projektovanje paralelnih algoritama II Projektovanje paralelnih algoritama II Primeri paralelnih algoritama, I deo Paralelni algoritmi za množenje matrica 1 Algoritmi za množenje matrica Ovde su data tri paralelna algoritma: Direktan algoritam

More information

KRITERIJI KOMPLEKSNOSTI ZA K-MEANS ALGORITAM

KRITERIJI KOMPLEKSNOSTI ZA K-MEANS ALGORITAM SVEUČILIŠTE U ZAGREBU PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK Stela Šeperić KRITERIJI KOMPLEKSNOSTI ZA K-MEANS ALGORITAM Diplomski rad Voditelj rada: doc.dr.sc. Pavle Goldstein Zagreb, Srpanj

More information

ZANIMLJIV NAČIN IZRAČUNAVANJA NEKIH GRANIČNIH VRIJEDNOSTI FUNKCIJA. Šefket Arslanagić, Sarajevo, BiH

ZANIMLJIV NAČIN IZRAČUNAVANJA NEKIH GRANIČNIH VRIJEDNOSTI FUNKCIJA. Šefket Arslanagić, Sarajevo, BiH MAT-KOL (Banja Luka) XXIII ()(7), -7 http://wwwimviblorg/dmbl/dmblhtm DOI: 75/МК7A ISSN 5-6969 (o) ISSN 986-588 (o) ZANIMLJIV NAČIN IZRAČUNAVANJA NEKIH GRANIČNIH VRIJEDNOSTI FUNKCIJA Šefket Arslanagić,

More information

Matrice traga nula math.e Vol. 26. math.e. Hrvatski matematički elektronički časopis. Matrice traga nula. komutator linearna algebra. Sažetak.

Matrice traga nula math.e Vol. 26. math.e. Hrvatski matematički elektronički časopis. Matrice traga nula. komutator linearna algebra. Sažetak. 1 math.e Hrvatski matematički elektronički časopis komutator linearna algebra Marijana Kožul i Rajna Rajić Matrice traga nula marijana55@gmail.com, rajna.rajic@rgn.hr Rudarsko-geološko-naftni fakultet,

More information

Nilpotentni operatori i matrice

Nilpotentni operatori i matrice Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Nikolina Romić Nilpotentni operatori i matrice Završni rad Osijek, 2016. Sveučilište J. J. Strossmayera

More information

Mathcad sa algoritmima

Mathcad sa algoritmima P R I M J E R I P R I M J E R I Mathcad sa algoritmima NAREDBE - elementarne obrade - sekvence Primjer 1 Napraviti algoritam za sabiranje dva broja. NAREDBE - elementarne obrade - sekvence Primjer 1 POČETAK

More information

KLASIFIKACIJA NAIVNI BAJES. NIKOLA MILIKIĆ URL:

KLASIFIKACIJA NAIVNI BAJES. NIKOLA MILIKIĆ   URL: KLASIFIKACIJA NAIVNI BAJES NIKOLA MILIKIĆ EMAIL: nikola.milikic@fon.bg.ac.rs URL: http://nikola.milikic.info ŠTA JE KLASIFIKACIJA? Zadatak određivanja klase kojoj neka instanca pripada instanca je opisana

More information

PRIPADNOST RJEŠENJA KVADRATNE JEDNAČINE DANOM INTERVALU

PRIPADNOST RJEŠENJA KVADRATNE JEDNAČINE DANOM INTERVALU MAT KOL Banja Luka) ISSN 0354 6969 p) ISSN 1986 58 o) Vol. XXI )015) 105 115 http://www.imvibl.org/dmbl/dmbl.htm PRIPADNOST RJEŠENJA KVADRATNE JEDNAČINE DANOM INTERVALU Bernadin Ibrahimpašić 1 Senka Ibrahimpašić

More information

Algoritam za množenje ulančanih matrica. Alen Kosanović Prirodoslovno-matematički fakultet Matematički odsjek

Algoritam za množenje ulančanih matrica. Alen Kosanović Prirodoslovno-matematički fakultet Matematički odsjek Algoritam za množenje ulančanih matrica Alen Kosanović Prirodoslovno-matematički fakultet Matematički odsjek O problemu (1) Neka je A 1, A 2,, A n niz ulančanih matrica duljine n N, gdje su dimenzije matrice

More information

HRVATSKA MATEMATIČKA OLIMPIJADA

HRVATSKA MATEMATIČKA OLIMPIJADA HRVATSKA MATEMATIČKA OLIMPIJADA prvi dan 5. svibnja 01. Zadatak 1. Dani su pozitivni realni brojevi x, y i z takvi da je x + y + z = 18xyz. nejednakost x x + yz + 1 + y y + xz + 1 + z z + xy + 1 1. Dokaži

More information

Fibonaccijev brojevni sustav

Fibonaccijev brojevni sustav Fibonaccijev brojevni sustav Ljerka Jukić asistentica Odjela za matematiku Sveučilišta u Osijeku, ljukic@mathos.hr Helena Velić studentica Odjela za matematiku Sveučilišta u Osijeku, hvelic@mathos.hr Sažetak

More information

O aksiomu izbora, cipelama i čarapama

O aksiomu izbora, cipelama i čarapama O aksiomu izbora, cipelama i čarapama Aksiom izbora može se izreći u raznim ekvivalentnim formama. Dokazi ekvivalencije aksioma izbora npr. sa Zornovom lemom, ili pak sa Zermelovim teoremom o dobrom uredaju,

More information

G R U P I R A N J E P O D A T A K A

G R U P I R A N J E P O D A T A K A Sveučilište Josipa Jurja Strossmayera u Osijeku Odjel za matematiku Rudolf Scitovski Martina Briš Alić G R U P I R A N J E P O D A T A K A Osijek, 2016. Prof. dr. sc. Rudolf Scitovski Doc. dr. sc. Martina

More information

Red veze za benzen. Slika 1.

Red veze za benzen. Slika 1. Red veze za benzen Benzen C 6 H 6 je aromatično ciklično jedinjenje. Njegove dve rezonantne forme (ili Kekuléove structure), prema teoriji valentne veze (VB) prikazuju se uobičajeno kao na slici 1 a),

More information

Hornerov algoritam i primjene

Hornerov algoritam i primjene Osječki matematički list 7(2007), 99 106 99 STUDENTSKA RUBRIKA Hornerov algoritam i primjene Zoran Tomljanović Sažetak. U ovom članku obrad uje se Hornerov algoritam za efikasno računanje vrijednosti polinoma

More information

LINEARNI MODELI STATISTIČKI PRAKTIKUM 2 2. VJEŽBE

LINEARNI MODELI STATISTIČKI PRAKTIKUM 2 2. VJEŽBE LINEARNI MODELI STATISTIČKI PRAKTIKUM 2 2. VJEŽBE Linearni model Promatramo jednodimenzionalni linearni model. Y = β 0 + p β k x k + ε k=1 x 1, x 2,..., x p - varijable poticaja (kontrolirane) ε - sl.

More information

Matrične dekompozicije i primjene

Matrične dekompozicije i primjene Sveučilište JJ Strossmayera u Osijeku Odjel za matematiku Goran Pavić Matrične dekompozicije i primjene Diplomski rad Osijek, 2012 Sveučilište JJ Strossmayera u Osijeku Odjel za matematiku Goran Pavić

More information

Quasi-Newtonove metode

Quasi-Newtonove metode Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Milan Milinčević Quasi-Newtonove metode Završni rad Osijek, 2016. Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Milan Milinčević

More information

Sveučilište J.J.Strossmayera u Osijeku Odjel za matematiku. Sveučilišni preddiplomski studij matematike

Sveučilište J.J.Strossmayera u Osijeku Odjel za matematiku. Sveučilišni preddiplomski studij matematike Sveučilište J.J.Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Lorena Škalac Fermatova metoda beskonačnog spusta Završni rad Osijek, 014. Sveučilište J.J.Strossmayera

More information

pretraživanje teksta Knuth-Morris-Pratt algoritam

pretraživanje teksta Knuth-Morris-Pratt algoritam pretraživanje teksta Knuth-Morris-Pratt algoritam Jelena Držaić Oblikovanje i analiza algoritama Mentor: Prof.dr.sc Saša Singer 18. siječnja 2016. 18. siječnja 2016. 1 / 48 Sadržaj 1 Uvod 2 Pretraživanje

More information

Uvod u relacione baze podataka

Uvod u relacione baze podataka Uvod u relacione baze podataka Ana Spasić 2. čas 1 Mala studentska baza dosije (indeks, ime, prezime, datum rodjenja, mesto rodjenja, datum upisa) predmet (id predmeta, sifra, naziv, bodovi) ispitni rok

More information

Ariana Trstenjak Kvadratne forme

Ariana Trstenjak Kvadratne forme Sveučilište Josipa Jurja Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Ariana Trstenjak Kvadratne forme Završni rad Osijek, 014. Sveučilište Josipa Jurja Strossmayera

More information

Slika 1. Slika 2. Da ne bismo stalno izbacivali elemente iz skupa, mi ćemo napraviti još jedan niz markirano, gde će

Slika 1. Slika 2. Da ne bismo stalno izbacivali elemente iz skupa, mi ćemo napraviti još jedan niz markirano, gde će Permutacije Zadatak. U vreći se nalazi n loptica različitih boja. Iz vreće izvlačimo redom jednu po jednu lopticu i stavljamo jednu pored druge. Koliko različitih redosleda boja možemo da dobijemo? Primer

More information

POOPĆENJE KLASIČNIH TEOREMA ZATVARANJA PONCELETOVOG TIPA

POOPĆENJE KLASIČNIH TEOREMA ZATVARANJA PONCELETOVOG TIPA SVEUČILIŠTE U ZAGREBU PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK Petra Zubak POOPĆENJE KLASIČNIH TEOREMA ZATVARANJA PONCELETOVOG TIPA Diplomski rad Voditelj rada: prof. dr. sc. Juraj Šiftar

More information

Teorem o reziduumima i primjene. Završni rad

Teorem o reziduumima i primjene. Završni rad Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Matej Petrinović Teorem o reziduumima i primjene Završni rad Osijek, 207. Sveučilište J. J. Strossmayera

More information

NIZOVI I REDOVI FUNKCIJA

NIZOVI I REDOVI FUNKCIJA SVEUČILIŠTE U ZAGREBU PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK Danijela Piškor NIZOVI I REDOVI FUNKCIJA Diplomski rad Voditelj rada: izv. prof. dr. sc. Ljiljana Arambašić Zagreb, rujan 206.

More information

Nelder Meadova metoda: lokalna metoda direktne bezuvjetne optimizacije

Nelder Meadova metoda: lokalna metoda direktne bezuvjetne optimizacije Osječki matematički list (2), 131-143 Nelder Meadova metoda: lokalna metoda direktne bezuvjetne optimizacije Lucijana Grgić, Kristian Sabo Sažetak U radu je opisana poznata Nelder Meadova metoda, koja

More information

Matea Ugrica. Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni diplomski studij matematike i računarstva

Matea Ugrica. Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni diplomski studij matematike i računarstva Sveučilište J J Strossmayera u Osijeku Odjel za matematiku Sveučilišni diplomski studij matematike i računarstva Matea Ugrica Upravljivost linearnih vremenski neovisnih sustava Diplomski rad Osijek, 215

More information

Metoda parcijalnih najmanjih kvadrata: Regresijski model

Metoda parcijalnih najmanjih kvadrata: Regresijski model Sveučilište u Zagrebu Prirodoslovno-matematički fakultet Matematički odsjek Tamara Sente Metoda parcijalnih najmanjih kvadrata: Regresijski model Diplomski rad Voditelj rada: Izv.prof.dr.sc. Miljenko Huzak

More information

Karakteri konačnih Abelovih grupa

Karakteri konačnih Abelovih grupa Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Matija Klarić Karakteri konačnih Abelovih grupa Završni rad Osijek, 2015. Sveučilište J. J. Strossmayera

More information

Simetrične matrice, kvadratne forme i matrične norme

Simetrične matrice, kvadratne forme i matrične norme Sveučilište JJStrossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Martina Dorić Simetrične matrice, kvadratne forme i matrične norme Završni rad Osijek, 2014 Sveučilište

More information

Krivulja središta i krivulja fokusa u pramenu konika. konika zadanom pomoću dviju dvostrukih točaka u izotropnoj ravnini

Krivulja središta i krivulja fokusa u pramenu konika. konika zadanom pomoću dviju dvostrukih točaka u izotropnoj ravnini Stručni rad Prihvaćeno 18.02.2002. MILJENKO LAPAINE Krivulja središta i krivulja fokusa u pramenu konika zadanom pomoću dviju dvostrukih točaka u izotropnoj ravnini Krivulja središta i krivulja fokusa

More information

The existence theorem for the solution of a nonlinear least squares problem

The existence theorem for the solution of a nonlinear least squares problem 61 The existence theorem for the solution of a nonlinear least squares problem Dragan Jukić Abstract. In this paper we prove a theorem which gives necessary and sufficient conditions which guarantee the

More information

A choice of norm in discrete approximation

A choice of norm in discrete approximation 147 A choice of norm in discrete approximation Tomislav Marošević Abstract. We consider the problem of choice of norms in discrete approximation. First, we describe properties of the standard l 1, l 2

More information

Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku DIOFANTSKE JEDNADŽBE

Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku DIOFANTSKE JEDNADŽBE Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Violeta Ivšić DIOFANTSKE JEDNADŽBE Završni rad Osijek, 2016. Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Violeta Ivšić DIOFANTSKE

More information

Šime Šuljić. Funkcije. Zadavanje funkcije i područje definicije. š2004š 1

Šime Šuljić. Funkcije. Zadavanje funkcije i područje definicije. š2004š 1 Šime Šuljić Funkcije Zadavanje funkcije i područje definicije š2004š 1 Iz povijesti Dvojica Francuza, Pierre de Fermat i Rene Descartes, posebno su zadužila matematiku unijevši ideju koordinatne metode

More information

Prsten cijelih brojeva

Prsten cijelih brojeva SVEUČILIŠTE JOSIPA JURJA STROSSMAYERA U OSIJEKU ODJEL ZA MATEMATIKU Marijana Pravdić Prsten cijelih brojeva Diplomski rad Osijek, 2017. SVEUČILIŠTE JOSIPA JURJA STROSSMAYERA U OSIJEKU ODJEL ZA MATEMATIKU

More information

A new method for searching an L 1 solution of an overdetermined. overdetermined system of linear equations and applications

A new method for searching an L 1 solution of an overdetermined. overdetermined system of linear equations and applications A new method for searching an L 1 solution of an overdetermined system of linear equations and applications Goran Kušec 1 Ivana Kuzmanović 2 Kristian Sabo 2 Rudolf Scitovski 2 1 Faculty of Agriculture,

More information

Fajl koji je korišćen može se naći na

Fajl koji je korišćen može se naći na Machine learning Tumačenje matrice konfuzije i podataka Fajl koji je korišćen može se naći na http://www.technologyforge.net/datasets/. Fajl se odnosi na pečurke (Edible mushrooms). Svaka instanca je definisana

More information

Pitagorine trojke. Uvod

Pitagorine trojke. Uvod Pitagorine trojke Uvod Ivan Soldo 1, Ivana Vuksanović 2 Pitagora, grčki filozof i znanstvenik, često se prikazuje kao prvi pravi matematičar. Ro - den je na grčkom otoku Samosu, kao sin bogatog i zaslužnog

More information

Mehurasto sortiranje Brzo sortiranje Sortiranje učešljavanjem Sortiranje umetanjem. Overviev Problemi pretraživanja Heš tabele.

Mehurasto sortiranje Brzo sortiranje Sortiranje učešljavanjem Sortiranje umetanjem. Overviev Problemi pretraživanja Heš tabele. Bubble sort Razmotrimo još jedan vrlo popularan algoritam sortiranja podataka, vrlo sličan prethodnom algoritmu. Algoritam je poznat pod nazivom Bubble sort algoritam (algoritam mehurastog sortiranja),

More information

Osobine metode rezolucije: zaustavlja se, pouzdanost i kompletnost. Iskazna logika 4

Osobine metode rezolucije: zaustavlja se, pouzdanost i kompletnost. Iskazna logika 4 Matematička logika u računarstvu Department of Mathematics and Informatics, Faculty of Science,, Serbia novembar 2012 Rezolucija 1 Metod rezolucije je postupak za dokazivanje da li je neka iskazna (ili

More information

Položaj nultočaka polinoma

Položaj nultočaka polinoma Osječki matematički list 4 (204), 05-6 Položaj nultočaka polinoma Mandalena Pranjić Rajna Rajić Sažetak Prema Rolleovom teoremu, bilo koji segment čiji su krajevi međusobno različite realne nultočke polinoma

More information

Sveučilište Josipa Jurja Strossmayera u Osijeku Odjel za matematiku

Sveučilište Josipa Jurja Strossmayera u Osijeku Odjel za matematiku Sveučilište Josipa Jurja Strossmayera u Osijeku Odjel za matematiku Valentina Volmut Ortogonalni polinomi Diplomski rad Osijek, 2016. Sveučilište Josipa Jurja Strossmayera u Osijeku Odjel za matematiku

More information

Maja Antolović Algoritmi u teoriji brojeva

Maja Antolović Algoritmi u teoriji brojeva Sveučilište J.J.Strossmayera u Osijeku Odjel za matematiku Preddiplomski studij matematike Maja Antolović Algoritmi u teoriji brojeva Završni rad Osijek, 2017. Sveučilište J.J.Strossmayera u Osijeku Odjel

More information

AKSIOM IZBORA I EKVIVALENCIJE

AKSIOM IZBORA I EKVIVALENCIJE Sveučilište J.J. Strossmayera Odjel za matematiku Preddiplomski sveučilišni studij matematike Igor Sušić AKSIOM IZBORA I EKVIVALENCIJE Završni rad Osijek, 2013. Sveučilište J.J. Strossmayera Odjel za matematiku

More information

Uvod u numericku matematiku

Uvod u numericku matematiku Uvod u numericku matematiku M. Klaricić Bakula Oujak, 2009. Uvod u numericku matematiku 2 1 Uvod Jedan od osnovnih problema numericke matematike je rješavanje linearnih sustava jednadbi. U ovom poglavlju

More information

NAPREDNI FIZIČKI PRAKTIKUM 1 studij Matematika i fizika; smjer nastavnički MJERENJE MALIH OTPORA

NAPREDNI FIZIČKI PRAKTIKUM 1 studij Matematika i fizika; smjer nastavnički MJERENJE MALIH OTPORA NAPREDNI FIZIČKI PRAKTIKUM 1 studij Matematika i fizika; smjer nastavnički MJERENJE MALIH OTPORA studij Matematika i fizika; smjer nastavnički NFP 1 1 ZADACI 1. Mjerenjem geometrijskih dimenzija i otpora

More information

BROJEVNE KONGRUENCIJE

BROJEVNE KONGRUENCIJE UNIVERZITET U NOVOM SADU PRIRODNO-MATEMATIČKI FAKULTET DEPARTMAN ZA MATEMATIKU I INFORMATIKU Vojko Nestorović BROJEVNE KONGRUENCIJE - MASTER RAD - Mentor, dr Siniša Crvenković Novi Sad, 2011. Sadržaj Predgovor...............................

More information

ZANIMLJIVI ALGEBARSKI ZADACI SA BROJEM 2013 (Interesting algebraic problems with number 2013)

ZANIMLJIVI ALGEBARSKI ZADACI SA BROJEM 2013 (Interesting algebraic problems with number 2013) MAT-KOL (Banja Luka) ISSN 0354-6969 (p), ISSN 1986-5228 (o) Vol. XIX (3)(2013), 35-44 ZANIMLJIVI ALGEBARSKI ZADACI SA BROJEM 2013 (Interesting algebraic problems with number 2013) Nenad O. Vesi 1 Du²an

More information

Konformno preslikavanje i Möbiusova transformacija. Završni rad

Konformno preslikavanje i Möbiusova transformacija. Završni rad Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Lucija Rupčić Konformno preslikavanje i Möbiusova transformacija Završni rad Osijek, 2017. Sveučilište

More information

Pellova jednadžba. Pell s equation

Pellova jednadžba. Pell s equation Osječki matematički list 8(2008), 29 36 29 STUDENTSKA RUBRIKA Pellova jednadžba Ivona Mandić Ivan Soldo Sažetak. Članak sadrži riješene primjere i probleme koji se svode na analizu skupa rješenja Pellove

More information

Zanimljive rekurzije

Zanimljive rekurzije Zanimljive rekurzije Dragana Jankov Maširević i Jelena Jankov Riječ dvije o rekurzijama Rekurzija je metoda definiranja funkcije na način da se najprije definira nekoliko jednostavnih, osnovnih slučajeva,

More information

Linearno programiranje i primjene

Linearno programiranje i primjene Sveučilište J.J.Strossmayera u Osijeku Odjel za matematiku Rebeka Čordaš Linearno programiranje i primjene Diplomski rad Osijek, 2014. Sveučilište J.J.Strossmayera u Osijeku Odjel za matematiku Rebeka

More information

1 Pogreške Vrste pogrešaka Pogreške zaokruživanja Pogreške nastale zbog nepreciznosti ulaznih podataka

1 Pogreške Vrste pogrešaka Pogreške zaokruživanja Pogreške nastale zbog nepreciznosti ulaznih podataka Sadržaj 1 Pogreške 1 1.1 Vrste pogrešaka...................... 1 1.1.1 Pogreške zaokruživanja.............. 1 1.1.2 Pogreške nastale zbog nepreciznosti ulaznih podataka....................... 2 1.1.3 Pogreška

More information

SLIČNOST I HOMOTETIJA. Ivana Major Šomodi PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK. Diplomski rad

SLIČNOST I HOMOTETIJA. Ivana Major Šomodi PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK. Diplomski rad SVEUČILIŠTE U ZGREU PRIRODOSLOVNO MTEMTIČKI FKULTET MTEMTIČKI ODSJEK Ivana Major Šomodi SLIČNOST I HOMOTETIJ Diplomski rad Voditelj rada: prof. dr. sc Sanja Varošanec Zagreb, srpanj, 2015. Ovaj diplomski

More information

THE BEST LEAST ABSOLUTE DEVIATION LINEAR REGRESSION: PROPERTIES AND TWO EFFICIENT METHODS

THE BEST LEAST ABSOLUTE DEVIATION LINEAR REGRESSION: PROPERTIES AND TWO EFFICIENT METHODS THE BEST LEAST ABSOLUTE DEVIATION LINEAR REGRESSION: PROPERTIES AND TWO EFFICIENT METHODS Kuzmanović I., HR), Sabo K., HR), Scitovski R., HR), Vazler I., HR) Abstract. For the given set of data, among

More information

NEKE VARIJANTE PITAGORINOG TEOREMA

NEKE VARIJANTE PITAGORINOG TEOREMA SVEUČILIŠTE U ZAGREBU PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK Lina Rajković NEKE VARIJANTE PITAGORINOG TEOREMA Diplomski rad Voditelj rada: Prof. dr. sc. Mirko Primc Zagreb, veljača, 2017.

More information

Vedska matematika. Marija Miloloža

Vedska matematika. Marija Miloloža Osječki matematički list 8(2008), 19 28 19 Vedska matematika Marija Miloloža Sažetak. Ovimčlankom, koji je gradivom i pristupom prilagod en prvim razredima srednjih škola prikazuju se drugačiji načini

More information

ALGORITAM FAKTORIZACIJE GNFS

ALGORITAM FAKTORIZACIJE GNFS SVEUČILIŠTE U ZAGREBU FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA ALGORITAM FAKTORIZACIJE GNFS Ivan Fratrić Seminar iz predmeta Sigurnost računalnih sustava ZAGREB, Sažetak Faktorizacija brojeva jedan je od

More information

Funkcijske jednadºbe

Funkcijske jednadºbe MEMO pripreme 2015. Marin Petkovi, 9. 6. 2015. Funkcijske jednadºbe Uvod i osnovne ideje U ovom predavanju obradit emo neke poznate funkcijske jednadºbe i osnovne ideje rje²avanja takvih jednadºbi. Uobi

More information

Neprekidan slučajan vektor

Neprekidan slučajan vektor Sveučilište J.J.Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Ana Leko Neprekidan slučajan vektor Završni rad Osijek, 3 Sveučilište J.J.Strossmayera u Osijeku Odjel

More information

Tina Drašinac. Cramerovo pravilo. Završni rad

Tina Drašinac. Cramerovo pravilo. Završni rad Sveučilište JJStrossmayera u Osijeku Odjel za matematiku Preddiplomski studij matematike Tina Drašinac Cramerovo pravilo Završni rad U Osijeku, 19 listopada 2010 Sveučilište JJStrossmayera u Osijeku Odjel

More information

Multiple ellipse fitting by center-based clustering

Multiple ellipse fitting by center-based clustering Croatian Operational Research Review 3 CRORR (015), 3 53 Multiple ellipse fitting by center-based clustering Tomislav Marošević 1, and Rudolf Scitovski 1 1 Department of Mathematics, Josip Juraj Strossmayer

More information

Uvod u analizu (M3-02) 05., 07. i 12. XI dr Nenad Teofanov. principle) ili Dirihleov princip (engl. Dirichlet box principle).

Uvod u analizu (M3-02) 05., 07. i 12. XI dr Nenad Teofanov. principle) ili Dirihleov princip (engl. Dirichlet box principle). Uvod u analizu (M-0) 0., 07. i. XI 0. dr Nenad Teofanov. Kardinalni broj skupa R U ovom predavanju se razmatra veličina skupa realnih brojeva. Jasno, taj skup ima beskonačno mnogo elemenata. Pokazaće se,

More information

Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku

Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Mateja Dumić Cjelobrojno linearno programiranje i primjene Diplomski rad Osijek, 2014. Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku

More information

FEUERBACHOVA TOČKA. Maja Mihalic PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK. Diplomski rad. Voditelj rada: doc. dr. sc.

FEUERBACHOVA TOČKA. Maja Mihalic PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK. Diplomski rad. Voditelj rada: doc. dr. sc. SVEUČILIŠTE U ZAGREBU PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK Maja Mihalic FEUERBACHOVA TOČKA Diplomski rad Voditelj rada: doc. dr. sc. Mea Bombardelli Zagreb, srpanj, 2015. Ovaj diplomski

More information

UNIVERZITET U NOVOM SADU PRIRODNO-MATEMATIČKI FAKULTET DEPARTMAN ZA MATEMATIKU I INFORMATIKU

UNIVERZITET U NOVOM SADU PRIRODNO-MATEMATIČKI FAKULTET DEPARTMAN ZA MATEMATIKU I INFORMATIKU UNIVERZITET U NOVOM SADU PRIRODNO-MATEMATIČKI FAKULTET DEPARTMAN ZA MATEMATIKU I INFORMATIKU Ivan Marinković Klasifikacija H-matrica metodom skaliranja i njena primena u odred ivanju oblasti konvergencije

More information

Rješavanje sustava nelinearnih jednadžbi

Rješavanje sustava nelinearnih jednadžbi Sustavi nelinearnih jednadžbi 1 1 Newtonova metoda Rješavanje sustava nelinearnih jednadžbi Promatramo sustava nelinearnih jednadžbi f i x 1,x 2,...,x n )=0, i =1,...,n, 1) odnosno fx) =0, gdjejef : R

More information

Afine transformacije ravnine

Afine transformacije ravnine 1/ 7 Hrvatski matematički elektronski časopis mathe Broj 12 http://emathhr/ Afine transformacije ravnine Harun Šiljak Sadržaj: 1 Uvod 2 Primjeri riješenih zadataka 3 Zadaci za samostalan rad Literatura

More information

Metrički prostori i Riman-Stiltjesov integral

Metrički prostori i Riman-Stiltjesov integral Metrički prostori i Riman-Stiltjesov integral Sadržaj 1 Metrički prostori 3 1.1 Primeri metričkih prostora................. 3 1.2 Konvergencija nizova i osobine skupova...................... 12 1.3 Kantorov

More information

PARALELNI ALGORITMI ZA PROBLEM GRUPIRANJA PODATAKA

PARALELNI ALGORITMI ZA PROBLEM GRUPIRANJA PODATAKA SVEUČILIŠTE U ZAGREBU PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK Anto Čabraja PARALELNI ALGORITMI ZA PROBLEM GRUPIRANJA PODATAKA Diplomski rad Voditelj rada: doc. dr. sc. Goranka Nogo Zagreb,

More information

Matematika (PITUP) Prof.dr.sc. Blaženka Divjak. Matematika (PITUP) FOI, Varaždin

Matematika (PITUP) Prof.dr.sc. Blaženka Divjak. Matematika (PITUP) FOI, Varaždin Matematika (PITUP) FOI, Varaždin Dio II Bez obzira kako nam se neki teorem činio korektnim, ne možemo biti sigurni da ne krije neku nesavršenost sve dok se nam ne čini prekrasnim G. Boole The moving power

More information

A multidimensional generalization of the Steinhaus theorem

A multidimensional generalization of the Steinhaus theorem Mathematical Communications 2(1997, 129 133 129 A multidimensional generalization of the Steinhaus theorem Miljenko Crnjac Abstract. Steinhaus has shown that the subset of R of the form A + B = {a + b

More information

Modified Zagreb M 2 Index Comparison with the Randi} Connectivity Index for Benzenoid Systems

Modified Zagreb M 2 Index Comparison with the Randi} Connectivity Index for Benzenoid Systems CROATICA CHEMICA ACTA CCACAA 7 (2) 83 87 (2003) ISSN-00-3 CCA-2870 Note Modified Zagreb M 2 Index Comparison with the Randi} Connectivity Index for Benzenoid Systems Damir Vuki~evi} a, * and Nenad Trinajsti}

More information

Ivan Soldo. Sažetak. U članku se analiziraju različiti načini množenja matrica. Svaki od njih ilustriran je primjerom.

Ivan Soldo. Sažetak. U članku se analiziraju različiti načini množenja matrica. Svaki od njih ilustriran je primjerom. Osječki matematički list 5(005), 8 Različiti načini množenja matrica Ivan Soldo Sažetak U članku se analiziraju različiti načini množenja matrica Svaki od njih ilustriran je primjerom Ključne riječi: linearni

More information

Standard Parallel and Secant Parallel in Azimuthal Projections

Standard Parallel and Secant Parallel in Azimuthal Projections Original Scientific Paper Received: 24-1 1-201 7 Accepted: 06-01 -201 8 Standard Parallel and Secant Parallel in Azimuthal Projections Miljenko LAPAI NE University of Zagreb, Faculty of Geodesy, Kačićeva

More information

Kvaternioni i kvaternionsko rješenje kvadratne jednadžbe

Kvaternioni i kvaternionsko rješenje kvadratne jednadžbe Kvaternioni i kvaternionsko rješenje 1 Uvod Kvaternioni i kvaternionsko rješenje kvadratne jednadžbe Željko Zrno 1 i Neven Jurić Što je matematika? Na što prvo čovjeka asocira riječ matematika? Matematika

More information

Iskazna logika 1. Matematička logika u računarstvu. oktobar 2012

Iskazna logika 1. Matematička logika u računarstvu. oktobar 2012 Matematička logika u računarstvu Department of Mathematics and Informatics, Faculty of Science,, Serbia oktobar 2012 Iskazi, istinitost, veznici Intuitivno, iskaz je rečenica koja je ima tačno jednu jednu

More information

BROWNOV MOST I KOLMOGOROV-SMIRNOVLJEVA STATISTIKA

BROWNOV MOST I KOLMOGOROV-SMIRNOVLJEVA STATISTIKA SVEUČILIŠTE U ZAGREBU PRIRODOSLOVNO MATEMATIČKI FAKULTET MATEMATIČKI ODSJEK Nikolina Blažević BROWNOV MOST I KOLMOGOROV-SMIRNOVLJEVA STATISTIKA Diplomski rad Zagreb, veljača 2016. Voditelj rada: doc. dr.

More information

Sortiranje podataka. Ključne riječi: algoritmi za sortiranje, merge-sort, rekurzivni algoritmi. Data sorting

Sortiranje podataka. Ključne riječi: algoritmi za sortiranje, merge-sort, rekurzivni algoritmi. Data sorting Osječki matematički list 5(2005), 21 28 21 STUDENTSKA RUBRIKA Sortiranje podataka Alfonzo Baumgartner Stjepan Poljak Sažetak. Ovaj rad prikazuje jedno od rješenja problema sortiranja podataka u jednodimenzionalnom

More information

An Algorithm for Computation of Bond Contributions of the Wiener Index

An Algorithm for Computation of Bond Contributions of the Wiener Index CROATICA CHEMICA ACTA CCACAA68 (1) 99-103 (1995) ISSN 0011-1643 CCA-2215 Original Scientific Paper An Algorithm for Computation of Bond Contributions of the Wiener Index Istvan Lukouits Central Research

More information

Ksenija Doroslovački KOMBINATORIKA INTERPRETIRANA FUNKCIJAMA I NJIHOVIM OSOBINAMA MASTER RAD. NOVI SAD jun 2008

Ksenija Doroslovački KOMBINATORIKA INTERPRETIRANA FUNKCIJAMA I NJIHOVIM OSOBINAMA MASTER RAD. NOVI SAD jun 2008 1 Ksenija Doroslovački KOMBINATORIKA INTERPRETIRANA FUNKCIJAMA I NJIHOVIM OSOBINAMA MASTER RAD NOVI SAD jun 2008 2 Sadržaj 1 UVOD 5 2 FUNKCIJE 11 3 KLASIČNI KOMBINATORNI OBJEKTI 17 4 NEKI NEKLASIČNI KOMBINATORNI

More information

Banach Tarskijev paradoks

Banach Tarskijev paradoks Banach Tarskijev paradoks Matija Bašić Sažetak Banach Tarskijev paradoks je teorem koji kaže da su bilo koje dvije kugle u R 3 jednakorastavljive, u smislu da postoje particije tih kugli u jednak broj

More information

Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni nastavnički studij matematike i informatike. Sortiranje u linearnom vremenu

Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni nastavnički studij matematike i informatike. Sortiranje u linearnom vremenu Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni nastavnički studij matematike i informatike Tibor Pejić Sortiranje u linearnom vremenu Diplomski rad Osijek, 2011. Sveučilište J.

More information

Iterativne metode za rješavanje linearnih sustava

Iterativne metode za rješavanje linearnih sustava Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Sveučilišni preddiplomski studij matematike Marija Mecanović Iterativne metode za rješavanje linearnih sustava Završni rad Osijek, 2017. Sveučilište

More information

A NEW THREE-DIMENSIONAL CHAOTIC SYSTEM WITHOUT EQUILIBRIUM POINTS, ITS DYNAMICAL ANALYSES AND ELECTRONIC CIRCUIT APPLICATION

A NEW THREE-DIMENSIONAL CHAOTIC SYSTEM WITHOUT EQUILIBRIUM POINTS, ITS DYNAMICAL ANALYSES AND ELECTRONIC CIRCUIT APPLICATION A. Akgul, I. Pehlivan Novi trodimenzijski kaotični sustav bez točaka ekvilibrija, njegove dinamičke analize i primjena elektroničkih krugova ISSN 1-61 (Print), ISSN 1848-69 (Online) DOI: 1.179/TV-1411194

More information

Metode praćenja planova

Metode praćenja planova Metode praćenja planova Klasična metoda praćenja Suvremene metode praćenja gantogram mrežni dijagram Metoda vrednovanja funkcionalnosti sustava Gantogram VREMENSKO TRAJANJE AKTIVNOSTI A K T I V N O S T

More information

Oracle Spatial Koordinatni sustavi, projekcije i transformacije. Dalibor Kušić, mag. ing. listopad 2010.

Oracle Spatial Koordinatni sustavi, projekcije i transformacije. Dalibor Kušić, mag. ing. listopad 2010. Oracle Spatial Koordinatni sustavi, projekcije i transformacije Dalibor Kušić, mag. ing. listopad 2010. Pregled Uvod Koordinatni sustavi Transformacije Projekcije Modeliranje 00:25 Oracle Spatial 2 Uvod

More information