Zgoščevanje podatkov

Transcription

1 Zgoščevanje podatkov

2 Pojem zgoščevanje podatkov vključuje tehnike kodiranja, ki omogočajo skrajšan zapis neke datoteke. Poznan program za zgoščevanje datotek je WinZip. Podatke je smiselno zgostiti v primeru shranjevanja na pomnilni medij ali za prenos preko omrežja. Pri ponovni uporabi jih moramo pretvoriti v prvotno obliko.

3 Zgoščevanje tekstovnih datotek Na prvi pogled se zdi možnost, iz zmanjšanega števila bitov obnoviti prvotno število bitov, nekoliko skrivnostna. Ideja, ki se za tem skriva, pa je zelo enostavna.

4 Za primer izberimo znane besede Johna F. Kennedya: Ask not what your country can do for you ask what you can do for your country. Stavek sestavlja 61 črk, 17 presledkov, en pomišljaj in ena pika. Če za vsak znak porabimo en bajt, zahteva stavek 80 bajtov.

5 Večina programov za zgoščevanje tekstovnih podatkov uporablja "LZ adaptivni slovar". LZ sta začetnici imen Lempel in Ziv, torej imen znanstvenikov, ki sta razvila algoritem. Za hitrejšo prevedbo je bil algoritem spremenjen v LZW (Lempel-Ziv-Welch) Osnovna ideja algoritma je v katalogizaciji koščkov podatkov, ki se znotraj teksta večkrat ponovijo.

6 Besede ask, what, your, country, can, do, for, you se v stavku pojavijo dvakrat. Če ignoriramo velike črke, lahko z naštetimi devetimi besedami opišemo skoraj cel stavek. Besede uredimo v oštevilčen seznam. Tako dobimo slovar: 1 ask 2 what 3 your 4 country 5 can 6 do 7 for 8 you Izbrani stavek bi se z uporabo slovarja glasil tako: 1 not

7 1 not Stavek ima v pretvorjeni obliki le 38 bajtov. Če poznamo slovar, lahko zelo hitro obnovimo prvotni stavek. Pri tem pa se moramo zavedati, da moramo shraniti tudi slovar, ki ima 37 bajtov. Skupaj je to 75 bajtov, kar je manj kot 80 bajtov a ne prav veliko manj.

8 Iskanje vzorcev V opisanem primeru smo izbrali besede, ki so se večkrat ponovile, in iz njih oblikovali slovar. To je za ljudi, najbolj samoumeven način. Program za zgoščevanje pa ne pozna koncepta besed, ampak išče vzorce znakov oz. zaporedja znakov in zgradi tak slovar, ki bo kar najbolj zgostil datoteko.

9 Pri našem stavku bo program tako najprej odkril vzorec t_ ( _označuje presledek), ki ga srečamo za besedama not_ in what_. Naslednji vzorec, ki ga opazimo, sta črki ou, ki se pojavita v besedah your in country. Program bo pri analizi opazil, da se ne ponovi le vzorec ou temveč obe besedi your country. V tem primeru bo opustil vzorec ou in raje uporabil vzorec your_country. Besedni sklop can_do_for se tudi ponovi dvakrat. Prvič mu sledi beseda you drugič pa beseda your. Vzorec can_do_for_you pomeni zamenjavo petnajstih znakov z eno številko, medtem ko vzorec your_country pomeni zamenjavo le trinajstih znakov. Program bo izračunal, kateri vzorec omogoča večjo zgostitev v našem primeru je to vzorec can_do_for_you. Vzorec your_country bo zamenjal z r_country.

10 Beseda adaptivni v imenu programa označuje zmožnost, da program najdene vzorce zavrže in jih zamenja z novimi. Za naš stavek dobimo naslednji slovar: 1 ask_ 2 what_ 3 you 4 r_country 5 can_do_for_you Zgoščen zapis ima sedaj obliko 1not

11 1not Zapis ima le 18 bajtov in naš slovar 41 bajtov. Stavek nam je uspelo zgostiti za 21 bajtov namesto 80 bajtov ima zapis 59 bajtov.

12 Zgoščevanje slik Digitalizirane slike in videoposnetki predstavljajo ogromno količino števil. Oglejmo si primer. Sivo fotografijo velikosti 8 10 [palec 2 ] digitaliziramo z natančnostjo 200 [dpi] (točk na palec, angl. dots per inch). Vsak [palec 2 ] vsebuje tako točk. Ker vsebuje fotografija 80 takih kvadratov, proizvede digitalizacija števil.

13 Znani kitajski rek "slika pomeni več kot tisoč besed", v digitalnem svetu zgubi svoj pomen, saj lahko zahteva slika za shranjevanje in prenos toliko računalniških virov, kot jih zahteva več milijonov besed. Opisano LZ-shemo zgoščevanja lahko uporabimo pri vseh vrstah podatkov, torej tudi pri slikah. Vendar pri slikah lahko uporabimo tudi druge tehnike zgoščevanja.

14 Oglejmo si dve osnovni. V prvem primeru zgostimo podatke tako, da za kodiranje najpogostejših vrednosti slikovnih elementov v sliki uporabimo najmanj bitov. Če npr. uporablja slika 256 nivojev, bi pri običajnem kodiranju za vsak slikovni element namenili en bajt. V primeru variabilnega števila bitov bomo za vrednost, ki se največkrat pojavi v sliki, izbrali le en bit, dva bita za naslednje najpogostejše vrednosti in tako naprej.

15 Pristop z variabilno kodo spada med starejše metode kodiranja. Najboljši algoritem, ki pripada tej skupini, je Huffmanovo kodiranje. PRIMER (za tekst): Naj za ponovitve črk v tekstu velja A=20(0,2667) B=18(0,24) C=13(0,1733) D=10(0,1333) E=8(0,1067) F=4(0,0533) G=2(0,0267) (75*8=600) Gradimo binarno drevo, začnemo s črkami, ki se najmanjkrat ponovijo A B C D E F G Pri vsaki združitvi združimo vozla, ki dasta najmanjšo verjetnost A=00 20*2= 40 B=01 18*2= 36 C=100 13*3= 39 D=101 10*3= 30 E=110 8*3 = 24 F=1110 4*4 = 16 G=1111 2*4 = 8 = 193 slovar=7*8+21=77 Skupaj=193+77=207 Besedo GAD bi kodirali na naslednji način:

16 Druga metoda zgoščevanja je kodiranje tekoče dolžine (angl. run-length encoding). Primerna je za slike, v katerih so velika področja slikovnih elementov s konstantno vrednostjo. Velja naslednje pravilo zgoščevanja: vrednosti slikovnega elementa sledi število zaporednih elementov v sliki (gibljemo se vzdolž vrstic), ki ima to vrednost. Pari (vrednost, število elementov) si sledijo, vse dokler ne opišemo vseh slikovnih elementov v sliki. Na začetku zgoščenega zapisa navedemo še dimenziji slike, torej število vrstic in število stolpcev.

17 Primer črno-bele slike V sliki nastopata le dve vrednosti, 0, ki pomeni črno barvo, in 1, ki pomeni belo barvo. Dimenzijama slike (16, 16) zgoščen zapis ali še krajše

18 Splošna lastnost vsake sheme zgoščevanja je, da je za neko vrsto podatkov učinkovita, za drugo vrsto podatkov pa neučinkovita. Če bi imeli algoritem, ki bi bil zmožen doseči zgostitev podatkov za katerekoli vhodne podatke, bi izhod iz tega algoritma vodili na njegov vhod. Nadaljevali bi, vse dokler ne bi imeli na izhodu enega samega bajta (ob predpostavki, da ne delamo z manjšimi enotami podatkov). Tak algoritem seveda ne obstaja.

19 Opisane sheme zgoščevanja, nimajo nobene izgube podatkov; zgoščene podatke lahko obnovimo v obliko, ki je povsem enaka prvotni. Sheme zgoščevanja s popolno obnovitvijo podatkov lahko uporabimo pri poljubni vrsti podatkov, npr. pri zgoščevanju kode programov, pri zgoščevanju preglednic, tekstovnih datotek. V naštetih primerih bi nepopolna obnovitev podatkov razveljavila njihov pomen.

20 Pri sliki in zvoku lahko uporabimo tudi ohlapne sheme za zgoščevanje, ki v procesu zgoščevanja del informacije zavržejo. Podatki, ki jih obnovimo iz zgoščenega zapisa, v tem primeru predstavljajo le približek prvotnih podatkov. Zamislimo si sliko, na kateri je velik del modrega neba. Barve neba se med seboj razlikujejo za malenkost.

21 V primeru ohlapne sheme zgoščevanja bo algoritem za modro izbral le eno vrednost in jo priredil vsem slikovnim elementom, ki slikajo nebo. Obnovljena slika bo drugačna od originala, vendar človeško oko tega ne bo zaznalo. Med najbolj poznanimi ohlapnimi shemami za zgoščevanje je JPEG (angl. joint photographic experts group).