LOGARITMUS ENTROPIA Claude Elwood Shao (96-00), USA A Mathematcal Theory of Commucato, 948 7. storoče Naer, Brggs, orovae číselých ostuostí: artmetcká ostuosť 3 0 3 4 5 6 geometrcká ostuosť /8 /4 / 4 8 6 3 64 Vzťah: artm. ost. geom. ost. geom. ost. artm. ost. = x x = = 4 4 x x = 3 3 = 8 8 x x = 3 4 4 = 6 6 x x = 4 základ () umocíme a číslo z artm. ost., aby sme dostal číslo z geom. ostuost ájdeme exoet (číslo z artm. ost.), a ktorý umocíme základ (), aby sa výsledok roval číslu z geom. ostuost čísla z artmetckej ostuost sú logartmam čísel z geometrckej ostuost
Logartmom A čísla N so základom a (A = log a N) je exoet, a ktorý treba umocť základ a, aby sme dostal číslo N (a A = N). Výzam logartmov: ásobee sčítae umocňovae ásobee delee odčítae odmocňovae delee Príklad: treba vyásobť 4 x 8 log 4 = log 8 = 3 ásobee sčítae: + 3 = 5 odlogartmujeme číslo 5 dostaeme 3 skúška: 4 x 8 = 3
Druhy logartmov: Názov Základ Zás dekadcký 0 log 0 x res. log x rrodzeý (aturals) Eulerovo číslo =,788 log e x res. l x dvojkový (dyadcký) log x res. ld x základ: Kyberetka, Teóra formáce INFORMÁCIA A ENTROPIA Iformáca Etroa mera orgazáce, určtost, usoradaa systému mera dezorgazáce, eurčtost, eusoradaa systému Prbúdae formáce v systéme zžovae jeho etroe Možstvo formáce o daej udalost je daé merou eurčtost (etroe), ktorú ríjemca srávy o daej udalost mal red rjatím srávy a ktorá sa rjatím srávy odstrála.
formáca egatíva etroa, egetroa Príklad: budeme zsťovať veľkosť celého čísla x (x = ) z tervalu, 4. Pr zsťovaí môžeme dostať le logckú odoveď áo/e, máme oužť mmály očet otázok. x, 4 4 možost: 3 4. otázka: x 3? odoveď: áo x, možost:. otázka: x =? odoveď: e výsledok: x = Najjedoduchšou odoveďou je áo, res. e. V ríklade sme formácu zvyšoval (eurčtosť zžoval) mmálym očtom logckých odovedí áo/e. Najmešou jedotkou formáce (etroe) je bt (formáca áo/e, logcká /logcká 0) bt bary dgt
V ríklade: očet logckých otázok (áo/e), utých a uhádute čísla 0 btov 3 4 5 očet možostí (očet čísel, z ktorých hádame to sráve) = 4 8 6 3 log 0 3 4 5 zhodé Mal sme možostí. Aby sme eurčtosť (etrou) odstrál, otreboval sme formácu o veľkost: I log Pravdeodobosť každej z možostí bola rovaká:
Iformáca, res. etroa vyjadreá a základe ravdeodobost realzáce jedého z rovako ravdeodobých stavov: Záoré zameko reto, lebo 0,. Dvojkový logartmus je záoré číslo, túto hodotu vertujeme, aby sme dostal etrou ako kladé číslo. Ak môže astať stavov s erovakým ravdeodobosťam, musíme častkovú etrou jedého stavu ásobť hodotou ravdeodobost tohto stavu, teda: CELKOVÁ (tzv. REÁLNA) ENTROPIA (), vyjadrujúca eurčtosť, eusoradaosť systému, bude: súčet ravdeodobostí log,,...,.log.... log bt
VLASTNOSTI ENTROPIE: = 0 keď v systéme môže astať le jede stav s = = max = log keď ravdeodobost všetkých stavov sú rovaké RELATÍVNA ENTROPIA (h) odľa Shaoa: je vzťah reálej etroe k maxmálej mere max, ktorú by mohla dosahuť etroa v tom stom súbore h max log h je vhodé a orovávae súborov, ktoré emajú rovaký očet rvkov
REDUNDANCIA (R): R = h = max Lteratúra: KRAVIAROVÁ, M.: Etroa a súčasá sloveská lterára tvorba. I: Geologcké a medzlteráre štúde 6. Geologcké kofrotáce. Prešov: Flozofcká fakulta Prešovskej uverzty v Prešove 0, s. 45 5. SABOL, J.: Teóra lteratúry. Základy sloveskej verzológe. Košce: Rektorát Uverzty P. J. Šafárka v Košcach 983. 89 s. SABOL, J. ŠTRAUS, F.: Základy exaktého rozboru verša. Bratslava, SPN 969. 08 s. SABOL, J. ZIMMERMANN, J.: Štatstka. Exakté metódy v jazykovede a v lterárej vede. Prešov, FF UPJŠ 986. 58 s. SANNON, C. E.: A Mathematcal Theory of Commucato. I: Bell System Techcal Joural, r. 7, č. 3, 948, s. 379 43, 63 656. Sracoval: Júlus Zmmerma, Maraa Kravarová
CELKOVÁ, RELATÍVNA ENTROPIA A REDUNDANCIA. log h max log R h max