ENTROPIA. Claude Elwood Shannon ( ), USA A Mathematical Theory of Communication, 1948 LOGARITMUS

Size: px

Start display at page:

Download "ENTROPIA. Claude Elwood Shannon ( ), USA A Mathematical Theory of Communication, 1948 LOGARITMUS"

Melina Lynch
5 years ago
Views:

1 LOGARITMUS ENTROPIA Claude Elwood Shao (96-00), USA A Mathematcal Theory of Commucato, storoče Naer, Brggs, orovae číselých ostuostí: artmetcká ostuosť geometrcká ostuosť /8 /4 / Vzťah: artm. ost. geom. ost. geom. ost. artm. ost. = x x = = 4 4 x x = 3 3 = 8 8 x x = = 6 6 x x = 4 základ () umocíme a číslo z artm. ost., aby sme dostal číslo z geom. ostuost ájdeme exoet (číslo z artm. ost.), a ktorý umocíme základ (), aby sa výsledok roval číslu z geom. ostuost čísla z artmetckej ostuost sú logartmam čísel z geometrckej ostuost

2 Logartmom A čísla N so základom a (A = log a N) je exoet, a ktorý treba umocť základ a, aby sme dostal číslo N (a A = N). Výzam logartmov: ásobee sčítae umocňovae ásobee delee odčítae odmocňovae delee Príklad: treba vyásobť 4 x 8 log 4 = log 8 = 3 ásobee sčítae: + 3 = 5 odlogartmujeme číslo 5 dostaeme 3 skúška: 4 x 8 = 3

3 Druhy logartmov: Názov Základ Zás dekadcký 0 log 0 x res. log x rrodzeý (aturals) Eulerovo číslo =,788 log e x res. l x dvojkový (dyadcký) log x res. ld x základ: Kyberetka, Teóra formáce INFORMÁCIA A ENTROPIA Iformáca Etroa mera orgazáce, určtost, usoradaa systému mera dezorgazáce, eurčtost, eusoradaa systému Prbúdae formáce v systéme zžovae jeho etroe Možstvo formáce o daej udalost je daé merou eurčtost (etroe), ktorú ríjemca srávy o daej udalost mal red rjatím srávy a ktorá sa rjatím srávy odstrála.

4 formáca egatíva etroa, egetroa Príklad: budeme zsťovať veľkosť celého čísla x (x = ) z tervalu, 4. Pr zsťovaí môžeme dostať le logckú odoveď áo/e, máme oužť mmály očet otázok. x, 4 4 možost: 3 4. otázka: x 3? odoveď: áo x, možost:. otázka: x =? odoveď: e výsledok: x = Najjedoduchšou odoveďou je áo, res. e. V ríklade sme formácu zvyšoval (eurčtosť zžoval) mmálym očtom logckých odovedí áo/e. Najmešou jedotkou formáce (etroe) je bt (formáca áo/e, logcká /logcká 0) bt bary dgt

5 V ríklade: očet logckých otázok (áo/e), utých a uhádute čísla 0 btov očet možostí (očet čísel, z ktorých hádame to sráve) = log zhodé Mal sme možostí. Aby sme eurčtosť (etrou) odstrál, otreboval sme formácu o veľkost: I log Pravdeodobosť každej z možostí bola rovaká:

6 Iformáca, res. etroa vyjadreá a základe ravdeodobost realzáce jedého z rovako ravdeodobých stavov: Záoré zameko reto, lebo 0,. Dvojkový logartmus je záoré číslo, túto hodotu vertujeme, aby sme dostal etrou ako kladé číslo. Ak môže astať stavov s erovakým ravdeodobosťam, musíme častkovú etrou jedého stavu ásobť hodotou ravdeodobost tohto stavu, teda: CELKOVÁ (tzv. REÁLNA) ENTROPIA (), vyjadrujúca eurčtosť, eusoradaosť systému, bude: súčet ravdeodobostí log,,...,.log.... log bt

7 VLASTNOSTI ENTROPIE: = 0 keď v systéme môže astať le jede stav s = = max = log keď ravdeodobost všetkých stavov sú rovaké RELATÍVNA ENTROPIA (h) odľa Shaoa: je vzťah reálej etroe k maxmálej mere max, ktorú by mohla dosahuť etroa v tom stom súbore h max log h je vhodé a orovávae súborov, ktoré emajú rovaký očet rvkov

8 REDUNDANCIA (R): R = h = max Lteratúra: KRAVIAROVÁ, M.: Etroa a súčasá sloveská lterára tvorba. I: Geologcké a medzlteráre štúde 6. Geologcké kofrotáce. Prešov: Flozofcká fakulta Prešovskej uverzty v Prešove 0, s SABOL, J.: Teóra lteratúry. Základy sloveskej verzológe. Košce: Rektorát Uverzty P. J. Šafárka v Košcach s. SABOL, J. ŠTRAUS, F.: Základy exaktého rozboru verša. Bratslava, SPN s. SABOL, J. ZIMMERMANN, J.: Štatstka. Exakté metódy v jazykovede a v lterárej vede. Prešov, FF UPJŠ s. SANNON, C. E.: A Mathematcal Theory of Commucato. I: Bell System Techcal Joural, r. 7, č. 3, 948, s , Sracoval: Júlus Zmmerma, Maraa Kravarová

9 CELKOVÁ, RELATÍVNA ENTROPIA A REDUNDANCIA. log h max log R h max

O metóde zavedenia pomocného prvku The Method of Implementation of Auxiliary Element

O metóde zavedenia pomocného prvku The Method of Implementation of Auxiliary Element Acta Mathematica Nitriesia Vol. 2, No. 2, p. 1 6 ISSN 2453-6083 O metóde zavedeia pomocého prvku The Method of Implemetatio of Auxiliary Elemet Peter Vrábel *a Departmet of Mathematics, Faculty of Natural