Vzporedna izvedba Viterbijevega algoritma

Transcription

1 Eletrotehniši vestni 69(): 90 94, 00 Electrotechnical Review, Ljubljana, Slovenija Vzporedna izvedba Viterbijevega algoritma Domen Šuligoj, Roman Trobec, Borut Robič 3 Franca Kramarja 4, 590 Šempeter pri Novi Gorici Institut Jožef Stefan, Jamova 39, 000 Ljubljana 3 Faulteta za računalništvo in informatio, Tržaša 5, 000 Ljubljana E-pošta: domens@yahoo.com, roman.trobec@ijs.si, borut.robic@fri.uni-lj.si Povzete. Viterbijev algoritem je optimalen onvolucijsi deodirni algoritem z esponentno časovno zahtevnostjo. Da bi povečali njegovo propustno hitrost, je treba uporabiti vzporeden način delovanja na nivoju bitov, besed in algoritma. Člane podaja pregled neaterih vzporednih rešitev pri izvedbi deodirnega algoritma, bodisi izvedenih v eletronsih gradniih procesnih elementih, i jih omogoča VLSI tehnologija ali pa v večprocesorsih sistemih, izvedenih s programirljivimi večnamensimi procesorji. Ključne besede: vzporedni Viterbi algoritem, onvolucijso deodiranje, večprocesorsi sistem, VLSI Parallel Implementation of Viterbi Algorithm Extended abstract. Viterbi algorithm is an optimal convolutional decoding algorithm with superpolynomial time complexity. Basic principles of Viterbi algorithm are shown in Figures,, and 3. In order to improve the algorithm throughput, one has to apply parallelism. This can be done at different levels, e.g., bit, word, or algorithm level. The paper discusses various approaches to the parallelisation of the decoding algorithm, some implemented in VLSI processing elements, and the other implemented by multiprocessor systems with general purpose processors. A Viterbi decoder basically consists of three main functional blocs shown in Figure 4. Branch Metrics bloc calculates in each time step all branch weights. Add-Compare-Select ACS unit calculates sums of weights and selects optimal survivor paths. Survivor Memory SM analyses partial results from and ACS and outputs decoded data within a time delay D. Note that data dependant loop is present in the ACS unit that limits the speed of the decoding procedure because actual branch weight has to be added to the accumulated weights of the survivor path at each time step. Performances of the Viterbi decoder can be improved on bit level by breaing the data dependant loop using carry-save addition and pipelining (see Figure 5). Further, several ACS units can be used in parallel on the word level. Finally, more independent decoders may wor on different blocs of input data. After decoding procedure the final result can be obtained by the multiplexing of decoded segments. The mentioned principles can be implemented either in VLSI components connected into a ring topology or by several independent general purpose or DSP processors (see Figures 6 and 7). Theoretical speedup attainable by parallel processing is estimated to be S = pnm/e, where pn represents the number of processors, E the length of the decoded bloc and M E the length of the uniquely decoded data in a bloc. Considering the performance of contemporary processing elements, the achievable decoding speed using 6 processors will be in the range of 0 Mbits/sec. Key words: parallel Viterbi algorithm, convolutional decoding, multiprocessor system, VLSI Prejet 3. november, 000 Odobren 0. december, 00 Uvod Konvolucijso odiranje je uveljavljen način prenosa podatov po mediju z močnim šumom. Konvolucijsi odirni pretvori zaporedje v vhodnih bitov sporočila v n > v izhodnih bitov in s tem omogoči popravljanje napačno prenešenih bitov. Leta 967 je Viterbi sestavil onvolucijsi deodirni algoritem [], i išče najbolj verjetne poti v ustreznem mrežnem diagramu. Optimalnost Viterbijevega algoritma je asneje doazal Omura [], i je poazal, da pri danem razmerju signal/šum (velja za Gaussov šum) Viterbijev algoritem deodira signal z najmanjšim možnim številom napa. Kljub optimalnosti Viterbijevega algoritma pa je njegova pomanjljivost velia časovna zahtevnost, i je esponentno odvisna od dolžine pomialnega registra v onvolucijsem odirniu. Zaradi navedenega ostaja zanimivo vprašanje, v olišni meri je možno Viterbijev algoritem izvajati na vzporeden način in ga tao pospešiti. V članu bomo predstavili neatere značilne vzporedne izvedbe Viterbijevega algoritma. V poglavju podajamo osnove onvolucijsega odirnia in mrežnih diagramov, i jih uporablja Viterbijev algoritem. Slednji je opisan v poglavju 3. Trije različni nivoji vzporedne izvedbe Viterbijevega algoritma so priazani v poglavju 4. Člane zaljučimo s poglavjem 5, jer opišemo izvedbo algoritma z uporabo vzporednih procesorjev ot so miroprocesorji ali DSP procesorji. Konvolucijsi odirni in mrežni diagram Konvolucijsi odirni laho izvedemo s pomialnim registrom in dvojišimi seštevalnii [3]. Primer pre-

2 Vzporedna izvedba Viterbijevega algoritma 9 prostega onvolucijsega odirnia z vplivno dolžino M =3, i ob vsaem časovnem orau (tatu) premane pomialni register za v =mesto v desno, aže slia. Vsaemu vhodnemu bitu ustreza n =odiranih bitov, i so rezultat seštevanja posameznih bitov pomialnega registra. Štiri stanja tega preprostega onvolucijsega odirnia določata druga in tretja celica pomialnega registra. V splošnem [4, 5] je število stanj N = v(m ). vhodni bit m j + + u j u j odiran simbol Slia. Shema onvolucijsega odirnia s parametri v n =, M =3 Figure. Bloc scheme of convolutional coder with parameters v n =, M =3 Na slii je priazan mrežni diagram onvolucijsega odirnia s slie z vozlišči, i označujejo stanje odirnia ter z vejami, i označujejo vse možne prehode med stanji. Stolpci mrežnega diagrama so uslajeni s časovnimi orai t, vozlišča v posamezni vrstici pa ustrezajo enemu od N stanj onvolucijsega odirnia. V vsao vozlišče vstopata dve veji (v splošnem v vej). Na vejah mrežnega diagrama so priazane izhodne čre onvolucijsega odirnia, i ustrezajo prehodu med stanji v odvisnosti od vhodnega bita v odirni. Nepreinjena črta ustreza vhodnemu bitu 0, črtana pa vhodnemu bitu. Odebeljene veje označujejo prehode med stanji za vhodno zaporedje m = 0. Iz mrežnega diagrama laho razberemo, da bo odirano zaporedje u = t t t 3 t 4 t 5 t Slia. Mrežni diagram onvolucijsega odirnia v n =, M =3s štirimi stanji za šest časovnih oraov Figure. Mesh diagram of convolutional coder v n =, M =3 with four states and for six time steps 3 Viterbijev deodirni algoritem Viterbijev deodirni algoritem išče najbolj verjetno (optimalno) pot v mrežnem diagramu, tao da pregleda vseh v N obstoječih poti, i v tatu t vstopajo v vseh N stanj mrežnega diagrama in nato glede na izbrano vejno mero izbere novih N optimalnih poti. Te poti imenujemo preživele poti. Če bi shranjevali vse orae vseh N preživelih poti, bi laho na oncu vhodnega sporočila enolično deodirali signal, toda potem bi bila dolžina potrebnega pomnilnia odvisna od dolžine vhodnih sporočil. Zato se v prasi hrani preživele poti globine D 5 (M ). Na slii 3 je priazan mrežni diagram za Viterbijev deoder signala, i ga proizvede onvolucijsi odirni s slie. Če bi bili sprejeti podati z = 0000 (četrta čra je bila torej napačno prenešena), potem bi laho veje označili z vejnimi merami, i so Hammingove razdalje med izhodnimi črami u in sprejetimi črami z. V stolpcu t 6 so dodane mere preživelih poti, s aterimi določimo optimalno preživelo pot. Leta je označena z odebeljenimi vejami in ljub napai na prenosu daje pravilen rezultat. t t t 3 t 4 t 5 t s =00 s =0 s 3 =0 s 4 = Slia 3. Mrežni diagram za Viterbijev deodirni v n =, M =3z dodanimi vejnimi merami in merami preživelih poti Figure 3. Mesh diagram of Viterbi decoder v n =, M =3 denoted by branch weights and survivor path weights Označimo s s i, vozlišče mrežnega diagrama za stanje s i v tatu t ter z λ ij, vejno mero prehoda s j, s i,+. Vsaemu vozlišču s j, pripada poleg tega aumulirana mera poti γ j,. Nova optimalna pot je tista z novo aumulirano mero, za atero velja s i : γ i,+ := max (λ ij, + γ j, ). s j, s i,+ Iz navedenega sledi, da je v vsaem tatu treba izračunati vejne mere λ ij,, ar izvede enota (Branch Metric) ter nato sešteti te mere z aumuliranimi merami γ j, in izbrati preživele poti, ar izvede enota ACS (Add- Compare-Select). Enota SM (Survivor Memory) obdela rezultate in odločitve sprejete v in ACS ter preda na izhod deodirane podate z zaasnitvijo D. Bloovna

3 9 Šuligoj, Trobec, Robič shema Viterbijevega deodirnia je podana na slii 4. Vse tri enote morajo delovati s podatovnim tatom, če želimo doseči največjo propustno hitrost. in SM ACS Slia 4. Bloovna shema Viterbijevega deodirnia Figure 4. Bloc scheme of Viterbi decoder SM IZHOD sta v osnovi zaporedna, zato ju laho izvedemo z uvajanjem vzporednosti na nivoju bitov in delitvijo operacij na zaporedje manj zahtevnih operacij (cevovodenje). ACS enota pa vsebuje podatovno odvisno povratno zano, saj mora prišteti trenutno izračunano vejno mero aumulirani meri preživele poti. Ker vsa bit izhodne besede pomeni dodatno zaasnitev, je zaasnitev celotne zane odvisna od dolžine besede in zgradbe deoderja. To je glavna ovira za povečanje propustnosti (podatovnega tata) Viterbijevega deodirnia, zato je treba omenjeno zano odpraviti. Viterbijev deodirni algoritem ima dobro lastnost, da sta njegova časovna zahtevnost in zahtevnost za pomnilni v vsaem tatu neodvisni od števila sprejetih vhodnih simbolov. Po drugi strani pa je treba na vsaem orau v vseh stanjih opraviti esponentno število seštevanj in primerjav, supaj O( vm ). 4 Vzporedno delovanje Fettweis in Meyr [6, 7] predlagata vzporedno izvedbo Viterbijevega algoritma na treh nivojih: na bitnem nivoju, na nivoju besede in na nivoju algoritma. Potencialno vzporednost delovanja na bitnem nivoju laho izoristimo pri izvedbi seštevalnia in primerjalnia v ACS enoti. Običajni seštevalnii in primerjalnii namreč vsebujejo podatovno zano, i zaradi prenosnih (carry) bitov potea preo vseh podatovnih bitov in zahteva zaporedno izvajanje seštevanj in primerjav posameznih bitov. Z vpeljavo seštevanja s shranjenim prenosom [7, 8] pa laho odpravimo omenjeno zano in z uvedbo cevovodenja omogočimo hitrejše delovanje. V posameznih stanjih deodirnia so operacije neodvisne, zato laho uporabimo N vzporednih ACS enot. V vsao od ACS enot pa laho vljučimo vzporedno delovanje na nivoju besede. Osnovni operaciji v ACS enoti sta seštevanje in primerjava. Z vpeljavo operacij a b namesto a+b in a b namesto max(a, b) (podrobnosti glej v [9]), laho vzporedno delovanje ACS enote zapišemo ot Γ + =Λ Γ, jer je Γ =[γ,,..., γ N, ] T in Λ matria prehajanja stanj za časovni interval (, + ) dimenzije N N, i vsebuje vse vejne mere λ ij,. Nadalje velja Γ + =Λ + Γ + = Λ + (Λ Γ )=(Λ + Λ ) Γ. Vidimo, da laho izračunamo Γ + iz Γ brez poznavanja Γ +, torej imamo sedaj na razpolago dva tata, da rešimo gornjo enačbo. V splošnem je Γ +M = M Λ Γ, jer je M Λ M-oračna matria prehodov MΛ =Λ +M... Λ + Λ, i jo laho izračunamo v posebni enoti. Ločimo dva načina za izračun M-oračne matrie prehodov in sicer s pomočjo drevesne ali cevovodne arhiteture matričnih množilniov [6]. Prvi način, i ga priazuje slia 5, je hitrejši, vendar potrebuje neolio več prostora za povezave med množilnii. S E R / P A R + + +M- V enote SM M +M Slia 5. Drevesna arhitetura za izračun M Λ in Γ +M za M =4 Figure 5. Tree architecture for the calculation of M Λ and Γ +M for M =4 Največmožnosti za vzporedno delovanje sodi v tretji, to je algoritmični nivo. Več neodvisnih vzporednih Viterbijevih deodirniov VD namreč laho hrati obdeluje zaporedne vhodne podatovne bloe in jih na izhodu po deodiranju s časovnim multiplesiranjem zloži v zaporedne izhodne podate [7]. Ta način delovanja laho izvedemo npr. na arhiteturi procesnih elementov, povezanih v obroč, i je priazana na slii 6. Viterbijev algoritem laho izvajamo vzporedno tudi na linearno povezanih procesnih elementih, i jih je tolio,

4 Vzporedna izvedba Viterbijevega algoritma 93 SER / PAR VD VD VD Na slii 7 je priazano vzporedno deodiranje p bloov dolžine E = A+M +D. Vsa blo je sestavljen iz prvih A oraov, i so potrebni za inicializacijo, iz zadnjih D oraov, jer poti divergirajo in iz vmesnega bloa M oraov, jer so enolično deodirani podati. Vsa od p deodirniov VD v povprečju deodira le M/E podatov v podatovnem blou dolžine pm, torej je pričaovano povečanje propustnosti enao A M D S = pm E. PAR / SER IZHOD VD E Slia 6. Arhitetura obroča vzporednih deodirniov, primerna za bloovno vzporedno deodiranje Figure 6. Ring architecture of parallel decoders appropriate for bloc-parallel decoding ot je stanj onvolucijsega odirnia [0]. Vsa element je sestavljen iz ontrolne enote, enote za računanje metrie poti in enote za računanje vejne metrie. Viterbijev deodirni algoritem laho izvajamo še na procesnih elementih, povezanih s povezovalnimi shemami ot so shuffle-exchange ali butterfly [] in s topologijo dvodimenzionalnih mrež [0]. Slednja ob zadostnem številu procesnih elementov sicer omogoča najhitrejše izvajanje, ima pa tudi neaj pratičnih omejitev, i so povezane s prostorso zahtevnostjo in gostoto medsebojnih povezav. Poleg omenjenega obstaja še mnogo ombiniranih načinov za vzporedno deodiranje z Viterbijevim algoritmom, i temeljijo na sistoličnih sistemih s tem, da združujejo vzporedne postope na algoritmičnem in besednem nivoju [7]. 5 Vzporedna procesorsa izvedba Doslej smo opisovali vzporedne izvedbe Viterbijevega algoritma neposredno na siliciju, i jih omogoča VLSI tehnologija. Uporabnii pa često želijo rešiti problem s pomočjo obstoječih programirljivih procesorjev (npr. miroprocesorji ali DSP procesorji) [, 3]. Splošno namensi procesorji ne morejo obdelovati vhodnih signalov s hitrostjo vhodnega tata deodirnia, zato je treba, podobno ot pri procesnih elemetih, razdeliti vhodni podatovni niz na bloe, i jih procesor obdeluje drugega za drugim. Če je na razpolago več procesorjev, se laho obdelava posameznih bloov med seboj časovno preriva, s čimer se podaljša dolžina vhodnega bloa in s tem dopustni čas obdelave za posamezen procesor ter posledično poveča propustnost deodirnia. VD VD p 0 A A+M A+pM Slia 7. Vzporedno delovanje p deodirniov VD s prerivanjem deodiranja bloov Figure 7. Parallel activities of p decoders VD with overlapping of bloc decoding Iz mrežnega diagrama sledi, da se deodiranje naslednjega oraa laho začne šele, o je deodiranje trenutnega oraa ončano. Izračuni v posameznih stanjih so med sabo doaj neodvisni. Ti dve lastnosti Viterbijevega algoritma sta razlog, da laho iščemo možnosti za vpeljavo vzporednosti le v oviru istega oraa mrežnega diagrama, v aterem se sriva N neodvisnih stanj. Zato laho v vsaem deodirniu uporabimo največ p = N enaih in med seboj povezanih procesorjev, jer je vsaemu procesorju dodeljeno eno stanje onvolucijsega odirnia. V idealnem primeru se s tem propustnost p N-rat poveča [4]. Idealnega povečanja propustnosti ne moremo doseči, er morajo procesorji v vsaem stanju medsebojno omunicirati. Če pogledamo na slio 3, vidimo, da mora npr. procesor, i je dodeljen stanju 0 omunicirati s procesorjema iz stanj 00 in 0. Vsa od njiju mora namreč posredovati podate o meri trenutne preživele poti, da bi se laho v procesorju, i pripada stanju 0 izračunala nova preživela pot. V splošnem je potrebno v vsaem časovnem orau v omuniacij za izračun posamezne preživele poti. Dodatna težava je v tem, da iste podate potrebuje v procesorjev, ar vodi do potencialnih onflitov pri dostopanju do pomnilnia. Za izvedbo opisanih postopov so najprimernejši sodobni DSP procesorji, i imajo že vgrajene hitre o- t

5 muniacijse serijse anale s hitrostjo procesorsega tata. Jedro programa za deodiranje mora biti napisano v zbirnem jeziu, i omogoča izračun trajanja posameznih delov algoritma in s tem lažjo sinhronizacijo med procesorji. V literaturi je objavljenih malo pratičnih izvedb vzporednih deodirniov s splošnonamensimi procesorji. V [4] najdemo analizo vzporednega izvajanja Viterbijevega deodirnia in pratični primer za dva miroprocesorja (Z80-4MHz), na aterih so dosegli hitrosti orog 40bitov/seundo. Avtorji slepajo, da je povečanje hitrosti sorazmerno s številom procesorjev. 6 Zaljuče V prispevu smo podali rate pregled neaterih vzporednih izvedb Viterbijevega algoritma, ter podrobneje opisali možnost uporabe splošnonamensih vzporednih procesorjev za povečanje njegove propustnosti. Hitrost deodiranja laho z vzporednim procesorsim sistemom teoretso povečamo za S = pnm/e, pri čemer je pn število procesorjev, E dolžina deodiranega bloa in M E dolžina enolično deodiranih podatov v blou. Ob upoštevanju današnjih zmogljivosti DSP-procesorjev bi bila dosegljiva hitrost deodiranja s 6 procesorji orog 0Mbitov/seundo. 7 Literatura [] A. J. Viterbi, Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm, IEEE Trans. Inform. Theory, Vol. IT-3, pp , April 967. [] B. Slar, Digital Communications, Fundamentals and Applications, Prentice-Hall, 988. [3] G. D. Forney JR., The Viterbi Algorithm, Proceedings of the IEEE, March 973. [4] J. Berto, S. Tomažič, Sevenčno deodiranje onvolucijsih od, ELVEA, 58(99)5. [5] D. Šuligoj, Paralelizacije Viterbijevega algoritma, Diplomso delo, FRI, 999. [6] G. Fettweis, H. Meyr, High-Speed Parallel Viterbi Decoding: Algorithm and VLSI-Architecture, IEEE Communications Magazine, May 99. [7] G. Fettweis, H. Meyr, Feedforward Architectures for Parallel Viterbi Decoding, Parallel Processing on VLSI Arrays, Kluwer Academic Publishers, 99. [8] F. T. Leighton, Introduction to Parallel Algorithms and Architectures: Arrays, Trees, Hypercubes, Morgan Kaufmann, 99. [9] L. Thiele, G. Fettweis, Algorithm Transformations for Unlimited Parallelism, Elect. and Commun. (AEU), pp. 83-9, April 990. [0] P. G. Gula, T. Kailath, Locally Connected VLSI Architectures for the Viterbi Algorithm, IEEE Journal on Selected Areas in Communications, Vol. 6, No. 3, April 988. [] G. Feygin, P. G. Gula, P. Chow, A Multiprocessor Architecture for Viterbi Decoders with Linear Speedup, IEEE Transactions on Signal Processing, Vol. 4, No. 9, September 993. [] J. Conan, An F8 Microprocessor-Based Breadboard for the Simulation of Communication Lins Using Rate / Convolutional Codes and Viterbi Decoding, IEEE Transactions on Communications, Vol. Com-3, No., February 983. [3] S. M. Said, K. R. Dimond, Realtime implementation of the Viterbi decoding algorithm on a high-performance microprocessor, Microprocessors and Microsystems, Vol. 0, No., January/February 986. [4] H. Zhato,. Yuan, T. Sato, I. Kimura, Parallel Viterbi Decoding Implementation by Multi-Microprocessors, IE- ICE Transactions on Communications, Vol. E76-B, No. 6, June 993. Domen Šuligoj je diplomiral leta 999 na Faulteti za računalništvo in informatio Univerze v Ljubljani, smer logia in sistemi. V času študija se je uvarjal s programirljivimi vezji. Diplomso nalogo, s tematio vzporedne izvedbe Viterbijevega algoritma, je izdelal na Faulteti za računalništvo in informatio ter na Institutu Jožef Stefan. Po zaljuču študija se je zaposlil pri Bani VIPA d.d., sedanja Abana, jer dela v oddelu razvoja, načrtovanja in implementacije bančnih apliacij na VMS operacijsem sistemu pretežno s programsima jezioma COBOL in C ter na podatovni bazi ORACLE. Trenutno prilagaja informacijsi sistem in eletronso bančništvo bivše bane VIPA na informacijsi sistem Abane. Roman Trobec je diplomiral 976 na Faulteti za eletrotehnio Univerze v Ljubljani. Magistrsi in dotorsi študij je nadaljeval na isti faulteti, jer je leta 988 opravil dotorso disertacijo z naslovom Diagnostia paralelnih sistemov. Za to delo je postal sodobitni nagrade slada Borisa Kidriča. Po študiju se je zaposlil na Institutu Jožef Stefan, odse za računalništvo in informatio, jer dela ot razisovalec na projetih povezanih z vzporednimi računalnii, računalnišimi simulacijami v medicini in prenosom ter obdelavo digitalnih signalov. Vodil je več apliativnih projetov za industrijo ter sodeloval na neaj mednarodnih projetih. Na univerzi v Salzburgu predava poglavja iz omenjene tematie ot gostujoči profesor. Objavil je orog sto znanstvenih publiacij. Borut Robič je leta 993 dotoriral s področja računalniših znanosti na Univerzi v Ljubljani. V letih je bil sodelavec inštituta Jožef Stefan v Ljubljani, sedaj pa je izredni profesor na Faulteti za računalništvo in informatio Univerze v Ljubljani, jer predava na dodiplomsem in podiplomsem študiju. Kot dobitni Partridgeve štipendije je gostoval na Fitzwilliam Collegeu Univerze v Cambridgeu v Velii Britaniji. Je soavtor monografije Processor Architecture (Springer-Verlag, 999), souredni zborniov onferenc Parallel and Distributed Computing Techniques and Applications (Las Vegas, 000) in Parallel Numerics (Gozd Martulje, 996) ter avtor ali soavtor prispevov v raznih mednarodnih in domačih revijah in zborniih onferenc. Področja, za atera se razisovalno zanima, zajemajo algoritme, zahtevnost računanja in vzporedno računanje.