You are on page 1of 9

Wstęp do teorii Informacji i kodowania

Wstęp do teorii Informacji i kodowania
Paweł Przybyłowicz

14 maja 2008

Streszczenie
W artykule przybliżamy czytelnikowi podstawowe pojęcia z dziedziny Teorii Informacji,
takie jak, subiektywne i obiektywne podejścia do informacji, model źródła informacji czy
też entropia. Ponadto, omawiamy kodowanie Huffmana, które jest jednym z najczęściej
wykorzystywanych narzędzi przy konstruowaniu algorytmów kompresji dźwięku i obrazu.

Słowa kluczowe: teoria informacji, kodowanie, entropia, kod Huffmana, twierdzenie Shan-
nona

1 Wstęp do teorii informacji
Tak jak nie ma jednej prostej definicji życia mimo, że jego istota wydaje się intuicyjnie jasna,
tak nie ma jednej definicji informacji. Przyjmuje się, że informacja jest pojęciem pierwotnym,
tak jak w aksjomatyce teoriomnogościowej pojęciem pierwotnym jest zbiór. Oznacza to, że
ścisłe jej zdefiniowanie za pomocą pojęć prostszych nie jest możliwe. Sens pojęcia informacji
wyjaśnia się na poziomie odpowiadającym naszej intuicji. Mianowicie, istnieją dwa podstawowe
punkty widzenia informacji:

• obiektywny - jest to podejście matematyczne, które opiera się na pojęciu entropii. W
tym przypadku informacja oznacza pewną własność fizyczną lub strukturalną obiektów.

• subiektywny - informacja ma charakter względny i jest tym, co umysł jest w stanie
przetworzyć i wykorzystać do własnych celów.

Rozwiniemy teraz szerzej te dwa wątki [1].

Centrum Modelowania Matematycznego Sigma 1

W praktycznych zastosowaniach wykorzystuje się głównie pojęcie informacji ze zbiorem dyskretnym. takie jak na przy- kład rozkład prawdopodobieństwa szeregu czasowego. że odbiorca nie ma pewności.1. informacja jest mierzona jako prawdopodobieństwo zajścia zdarzenia. Jeśli po przesunięciu okienka okaże się.1 Podejście obiektywne Definicja obiektywna informacji polega na przyjęciu określonych modeli źródeł informacji oraz ustaleniu obliczeniowej miary jej ilości. 2 Procesem stochastycznym nazywamy rodzinę zmiennych losowych {Xt }t∈T . α. że informacja jest realizacją pewnej zmiennej losowej (dokładniej . że dobrze przewidzieliśmy. np. Przykład 1 Przykładem alfabetu może być zbiór dwuelementowy A = {α. W takim przypadku informację stanowią tylko te sym- bole. że in- formację już posiadamy i nic nowego się nie dowiemy. który w sposób probabilistyczny generuje sukcesyw- nie symbole. W praktyce. że artysta który go stworzył nie był zbyt ekscentryczny. β. ze skończoną liczbą symboli. 1] wtedy mówimy o procesie stochastycznym z czasem ciągłym.szeregu czasowego)2 . Zdarzenia mniej prawdopodobne dają więcej informacji. co jest przekazywane. Kolejność pojawiania się tych ciągów jest istotą obiektywnego pojęcia informacji. przewidywać kolejne kolory jakie się będą pojawiać przy powolnym przesuwaniu okienka. β}. β. Na przykład. W tym przypadku określa się tak zwany alfabet.  1. zazwyczaj interpretowanym jako czas.. tzn.1 Modele źródeł informacji Matematyczny model obiektu fizycznego. Natomiast jeśli będziemy zaskoczeni kolejnymi kolorami. czyli zbiór informacji elementarnych. że oglądamy pewien rysunek poprzez niewielkie okienko. nazywamy źródłem informacji i oznaczamy przez S. jako poziom niepewności odbiorcy związanej z tym. β. nie znamy dokładnie wartości prawdopodobieństw występowania określonych symboli w ciągu informa- cji. w teorii informacji Shannona. które możemy przesuwać wzdłuż i wszerz obrazu. Jeśli zbiór T jest nieprzeliczalny. wówczas model ten nazywamy modelem z pełną informacją statystyczną. Wydaje się to intuicyjnie jasne.: T = [0.. które są nieokreślone w tym sensie. zazwyczaj. Zawiera on wszystkie podstawowe symbole wyrażające informację. opisującego informację. Na jego podstawie definiuje się ciągi informacji. Prawdopodobieństwa te przybliża się przyjmując za estymator liczbę wystąpień danego 1 Przy założeniu. Jeśli dodatkowo znane są własności statystyczne. W danym momencie obserwujemy jedynie niewielki jego fragment. oraz ciągłym – nieprzeliczalnym. których w danym momen- cie nie widzimy. Takie zdefiniowanie źródła informacji oznacza założenie. Informację można więc zdefiniować.). Centrum Modelowania Matematycznego Sigma 2 . Wstęp do teorii Informacji i kodowania 1. natomiast przykładowym ciągiem informacji nad alfabetem A jest ciąg s(A) = (α. Jeśli T jest zbiorem dyskretnym. . co dokładnie otrzyma. wówczas mówimy o szeregu czasowym. Wyobraźmy sobie zatem. gdzie T jest zbiorem indeksów. w pew- nym bardzo ograniczonym zakresie. wówczas zysk informacyjny będzie znaczny. wówczas płynąca z tego informacja będzie niewielka. Zatem na podstawie danego zbioru pikseli możemy szacować prawdopodobieństwo wystąpienia określonych sąsiadujących pikseli. Wyróżnia się informację ze zbiorem dyskretnym. możemy 1 jednak. Jeśli bowiem wiemy jaki symbol otrzymamy to znaczy.

estymujemy za pomocą wzoru 3 N (ai . to pi ≥ 0 oraz ni=1 P ({ai }) = 1. Centrum Modelowania Matematycznego Sigma 3 . Kontekst wystąpienia symbolu st+1 jest to podzbiór. można na podstawie przeszłości (czyli st ) prze- widywać postać kolejnego symbolu. bj ) P ({ai }|{bj }) = . a9 . natomiast N (bj ) jest liczbą wystąpień kontekstu bj . Aby odróżnić go od modelu DMS nazywa się go także modelem z pamięcią. Oczywiście szczególnym przypadkiem modelu CSM jest DMS oraz omówiony w kolejnym podpunkcie model źródła Markowa. Predykcja ta jest możliwa poprzez określenie rozkładu warunkowego P (·|st ). W praktyce.. W szczególnym przypadku.. prawdopodobieństwo warunkowe. j = 1. warunkowego modelu źródła. Losowy model źródła informacji odpowiada wspomnianej wyżej niepewności otrzymywania kolejnych symboli.. Z niezależności emisji kolejnych symboli wynika na przykład.. Ponieważ liczby pi mają być rozkłademP prawdopodobieństwa pewnej zmiennej losowej s o wartościach w zbiorze AS . CSM – Conditional Source Model Nietrudno się domyśleć.. zbioru wszystkich dostępnych z przeszłości danych st . po wcześniejszym odebraniu ze źródła sekwencji symboli st = (s1 . że prawdopodobieństwo wystąpienia łańcucha informacji (a2 . gdy dla pewnego j.. W celu lepszego opisania rzeczywistej informacji zawartej w zbiorze danych używa się tzw. . . określające szansę wystąpienia symbolu ai w kontekście bj (który wystąpił w momencie czasowym j). że ktoś generował je celowo w sposób całkowicie losowy. Na przykład w obrazach sąsiednie piksele wykazują dużą wzajemną korelację chyba. Źródło DMS jest całkowicie określone przez alfabet AS = {a1 . bj ) oznacza łączną liczbę wystąpień symbolu ai i kontekstu bj . a9 . DMS – Discrete Memoryless Source Dyskretne źródło bez pamięci jest najprostszą formą źródła informacji S. st ). a3 . że symbole emitowane przez źródło są wzajemnie statystycznie niezależne. zazwyczaj skończony. n. a2 . i = 1. Zatem pamięć źródła informacji ma wpływ na prawdopodobieństwo wy- stąpienia określonego symbolu w momencie t + 1. Brak pamięci oznacza. a4 }) = P ({a2 })P ({a9 })P ({a3 })P ({a4 }). N (bj ) = 3 Postać tego estymatora wynika ze wzoru na prawdopodobieństwo warunkowe.. Wstęp do teorii Informacji i kodowania symbolu w ogóle podzieloną przez liczbę wystąpień wszystkich symboli. k. a3 .. an } oraz wartości prawdopodobieństw pi = P ({ai }) wystąpienia poszczególnych elementów ze zbioru AS . Jak już wspomnieliśmy wcześniej.. W modelu CSM w każdej konkretnej chwili czasowej t. . której realizacją jest informacja.. a4 ) wynosi P ({a2 .. . że założenie statystycznej niezależności emisji kolejnych symboli jest nadmiernym uproszczeniem w stosunku do rzeczywistości i jest rzadko spełnione w praktyce. N (bj ) gdzie N (ai .. rzadko kiedy znamy rozkład prawdopodobieństwa zmiennej losowej.

niż zajście zda- rzenia o dużym prawdopodobieństwie. W porównaniu do modelu CSM. 4 Nazwa ta pochodzi od procesów Markowa.. 1]. technikę Bayesowską. n. 1. 1] → R jest odwzorowaniem ciągłym. tylko zapominamy jej część. że zdarzenie o prawdopodobieństwie p niesie ilość informacji. • Zajście zdarzenia mniej prawdopodobnego dostarcza więcej informacji. t ∈ T i z ∈ R.. Niech spełnia ona powyższe założenia. Wówczas: • Funkcja I : (0. którego rozkład prawdopodobieństwa w danej chwili t nie zależy od całej historii procesu. że dany kontekst jeszcze się nie pojawił. • Addytywność miary ilości dostarczonej informacji – informacja związana z wystąpieniem dwóch niezależnych zdarzeń jest równa sumie informacji zawartej w każdym z tych zda- rzeń.. co oznacza... Wstęp do teorii Informacji i kodowania 0.. Dodatkowo zakłada się. . MSM – Markov Source Model Model źródła Markowa4 jest to model w którym prawdopodobieństwo wystąpienia symbolu ai z alfabetu źródła zależy jedynie od m symboli. która prawdopodobieństwu zajścia zdarzenia A przypisuje pewną liczbę rzeczywistą. W teorii informacji wymaga się od miary ilościowej. Proces Markowa jest to taki proces stochastyczny {Xt }t∈T .2 Entropia – ilościowa miara informacji Omówiliśmy najczęściej wykorzystywane. lecz jedynie od jego zachowania w momencie bliskim chwili t. polegającą na założeniu z góry pewnego rozkładu dla źródła informacji. która niewiele różni się od ilości informacji uzyskanej przez zajście zdarzenia o prawdopodobieństwie p + ǫ. i. na którą składają się kolejne symbole pojawiające się w kolejnych chwilach czasowych. wtedy za P ({ai }|{bj }) przyjmuje się dowolną wartość z przedziału [0. aby spełniała trzy założenia: • Ilość informacji zawarta w wiadomości o wystąpieniu zdarzenia A powinna zależeć jedynie od prawdopodobieństwa zajścia tego zdarzenia. probabilistyczne źródła informacji. . Wartość tej funkcji będziemy interpretować jako ilość uzyskanej informacji. Matematycznym wyrazem tej własności jest P (Xt ≤ z|{Xr : 0 ≤ r ≤ s}) = P (Xt ≤ z|Xs ).. aby ta zależność była ciągła. jakie się już bezpośrednio przed nim pojawiły. Nieformalnie oznacza to. ajm }). Pojawia się teraz pytanie jak ilościowo mierzyć informacje w tych modelach. P ({ai }|{bj }) = P ({ai }|{aj1 .. j1 . s. . gdzie ǫ > 0 jest dowolnie małą liczbą. w modelu Markowa nie korzystamy z całej historii. Centrum Modelowania Matematycznego Sigma 4 . dla dowolnego s ≤ t.. Oznaczmy przez I funkcję. W tym przypadku można zastosować tzw. jm = 1.

nazywana jest informacją własną. p→0 więc zajście zdarzenia o którym sądzimy. Zajście zdarzenia {X = αi } daje nam ilość informacji równą I(pi ) = − log2 pi .. aby zanikła wszelka niepewność z sekwencji tych symboli. Interpretuje się ją jako średnią ilość informacji przypadającą na generowany symbol. Szukamy więc funkcji rzeczywistej. gdzie αi mogą być liczbami rzeczywistymi lub ciągami informacji nad pewnym alfabetem. gdzie A jest zdarzeniem o prawdopodobieństwie p. Wstęp do teorii Informacji i kodowania • Jeżeli pA ≤ pB oznaczają odpowiednio prawdopodobieństwa zdarzeń A i B. · pAk ) = I(pA1 ) + I(pA2 ) + . p ∈ (0. która spełnia równanie funkcyjne (1). to I(pA ) ≥ I(pB ). 6 Funkcja ta jest wyznaczona przez powyższe postulaty z dokładnością do stałej. . że jest bardzo mało prawdopodobne ogromnie wzbo- gaca naszą wiedzę. k. pisać I(A). i = 1. 5 Zauważmy. 1}.. (2) i=1 i=1 Wielkość ta nosi nazwę entropii zmiennej X. że warunek (1) możemy indukcyjnie uogólnić na dowolną skończoną ilość zdarzeń niezależnych {Ai }ki=1 o prawdopodobieństwach {pAi }ki=1 .. 1}. Z teorii równań funkcyjnych wynika. p Zauważmy. W ich przypadku lim I(p) = +∞. że taką funkcją jest 6 7   1 I(p) = log2 .. ponad to co już wiemy. Odwrotnie jest ze zdarzeniami o prawdopodobieństwie bliskim 0. to średnia ilość informacji z obserwacji zmiennej losowej X wynosi k X k X H(X) = pi I(pi ) = − pi log2 (pi ). ciągłej. k ∈ N \ {0. k ∈ N \ {0. Niech dana będzie zmienna losowa X o rozkładzie dyskretnym pi = P (X = αi ). związana z prawdopodo- bieństwem wystąpienia pojedynczego symbolu ai . Mianowicie. którą należy dostarczyć. Ponieważ każde ze zdarzeń {X = αi } zachodzi z prawdopodobieństwem pi . W teorii informacji wielkość I({ai }) = − log2 pi . nierosnącej. jeśli funkcja I spełnia (1) to spełnia również: I(pA1 · pA2 · .. 7 Będziemy też czasem. Centrum Modelowania Matematycznego Sigma 5 . • Funkcja I spełnia warunek 5 I(pA · pB ) = I(pA ) + I(pB ). 1].. że I(1) = 0 – zajście zdarzenia o prawdopodobieństwie 1 nie daje żadnej dodatkowej informacji. zamiast I(p). (1) gdzie pA i pB są prawdopodobieństwami zdarzeń niezależnych A i B.. + I(pAk ).

Twierdzenie 1 (Zasada Landauera) Wymazanie jednego bitu informacji w otoczeniu o tem- peraturze T wymaga straty energii (wydzielenia ciepła) o wartości co najmniej kT ln 2. co można użyć do efektywniej- szego wyboru działań prowadzących do określonego celu [1]. że nie prowadzi się rozważań dotyczących prawdziwości czy znaczenia tego. że w wyniku rzutu sześcienną symetryczną kostką do gry wypadła parzysta liczba oczek. Okazuje się. gdzie k . gdy zachodzi jedna z dwóch alternatywnych możliwości 8 . W takich przypadkach podejście subiektywne stanowi pewne uzupełnienie podejścia obiektywnego. Informację można też zdefiniować poprzez jej użyteczność dla konkretnego odbiorcy.3 Podejście subiektywne Z subiektywnego punktu widzenia informacją jest to wszystko. Tak więc jeden bit to ilość informacji jaką uzyskujemy. czy też zdjęć satelitarnych jest na tyle ważna. 1. Oznacza to. 8 W informatyce jeden bit oznacza ilość informacji potrzebną do zakodowania. Centrum Modelowania Matematycznego Sigma 6 . które z dwóch równie praw- dopodobnych alternatywnych zdarzeń zaszło. (3) i=1 gdzie n oznacza liczbę symboli ai alfabetu AS . że średnią ilość informacji wyrażamy w bitach na sym- bol. w modelu źródła S bez pamięci DMS entropia wynosi: n X HDM S (S) = P ({ai })I({ai }). Na przykład poznany wynik rzutu monetą niesie jeden bit informacji. jakie niesie komunikat. Z tych względów w kodowaniu wykorzystuje się podejście obiektywne do informacji.stała Boltzmanna i k = 1. Zauważmy. Mówi o tym Zasada Landauera. Oczywiście takie po- dejście wiąże się z dużą niejednoznacznością i problemami w definiowaniu miar ilości informacji. Również dla zdarzenia przeciwnego A′ mamy P (A′ ) = 1 − P (A) = 12 oraz I(A′ ) = 1. natomiast dla osoby. co informacja ze sobą niesie. że powinna zostać uwzględniona w procesie optymalizacji algorytmów kompresji.  Obiektywny punkt widzenia informacji pomija znaczenie. gdy ktoś oznajmia. Na przykład wiadomość o wygranej w Toto-Lotku dla posiadacza szczęśliwego losu stanowi informację wprost bezcenną. która w takie gry w ogóle nie gra wynik loso- wania nie stanowi żadnej informacji. semantyka obrazów medycznych. że dla zdarzenia A o prawdopodobieństwie P (A) = 12 informacja I(A) = 1. Semantyka informacji ma znaczenie w podejściu subiektywnym do definicji informacji. a skupia się jedynie na jego składni. Podstawa równa 2 oznacza.38 × 10−23 J/K. która określa jednostkę uzyskanej informacji. że informacja jest wielkością fizyczną.  We wzorze (2) można przyjąć inną podstawę logarytmu. z jego punktu widzenia. Również jeden bit informacji zyskujemy. Przykładowo. Jednak nie zawsze można całkowicie pominąć aspekt znaczeniowy. Wstęp do teorii Informacji i kodowania Przykład 2 Przykładowo.

. s1t ) = K(s21 . 1}. w zbiór A∗{0.. wszystkich niepustych i skończonych ciągów informacji nad alfabetem A{0. W przypadku kodowania binarnego. Surjektywność K oznacza. Definicja 1 Funkcją kodującą nazywamy odwzorowanie K : AnS → A∗{0.. w przeciwieństwie do np. metod szyfrowania. s2r ). . . s2r ) =⇒ (t = r ∧ s1i = s2i . Pytamy więc o graniczną. Twierdzenie 2 (C... Shannon) Średnia ilość bitów przypadająca na jeden zakodowany symbol LS jest nie mniejsza od entropii H(S) źródła. i = 1. które go wygenerowało H(S) ≤ LS . Implikacja ta wyraża jednoznaczność dekodowania.. wszystkich niepustych i skończonych ciągów informacji nad alfabetem AS o n sym- bolach.. 2. s22 .  Z powyższych definicji wynika. Zakładamy więc bijektywność funkcji K.  Centrum Modelowania Matematycznego Sigma 7 .1} . ... s1t ) i (s21 . .1} = {0. aby reprezentacja kodowa była jednoznacznie dekodowalna.. t). Tak więc wymaga się. spełniona jest implikacja: K(s11 . że koduje się jedynie skończone ciągi symboli. Koderem nazywamy natomiast konkretną realizację algorytmu kodowania.1} przekształcające zbiór AnS . Jest to oczy- wiście podyktowane względami praktycznymi... że dla dwóch dowolnych ciągów symboli wyjścio- wych (s11 . że w przypadku ko- dowania wymaga się aby na podstawie reprezentacji kodowej. Injektywność odwzorowania K oznacza. Należy również zaznaczyć..1 Teoretyczne podstawy kodowania Niech S będzie pewnym probabilistycznym źródłem informacji o alfabecie AS . chcemy aby reprezentacja binarna była możliwie jak najkrótsza i aby oczywiście zachowywała całą informację dostarczoną przez źródło. że dla każdej reprezentacji kodowej istnieje pewien wyjściowy ciąg informacji (każdy kod można odkodować).  Definicja 2 Algorytm kodowania jest to sposób w jaki funkcja kodująca przekształca wejściowy ciąg informacji w wyjściową bitową sekwencję kodową. efektywność kodowania. sekwencji danych uzyskanego ze źródła informacji S. Wstęp do teorii Informacji i kodowania 2 Kodowanie Huffmana Przed przystąpieniem do omawiania kodowania Huffmana przytoczymy podstawowe definicje i zasady kodowania [1]. nad alfabetem AS . możliwą do uzyskania. s22 . zwaną reprezentacją kodową. s12 .. uzyskanej z kodera realizującego algorytm opisany funkcją kodującą K.. E.. Poniższe twierdzenie Shannona mówi o minimalnej wartości średniej bitowej reprezentacji kodowej. s12 . można było jednoznacznie odtworzyć oryginalny zbiór symboli wejściowych.

sn } będzie zbiorem symboli. . Prawdopodobieństwo nowego wierzchołka ustalamy jako sumę praw- dopodobieństw dzieci. 5. Zakła- 5 damy. 18 6 3 4 pB = 36 . których prawdopodobieństwa wystąpienia wynoszą odpowiednio p1 . 3. W kodzie Huffmana częściej występującym symbolom będą przypisane krótsze słowa kodowe. Jedna z wersji twierdzenia Shannona mówi. tworzymy odczytując binarne etykiety kolejnych gałęzi przy przejściu od korzenia do tego liścia. Słowa te. Z listy usuwamy dwa ostatnie wierzchołki. a na ich miejsce wpisujemy nowo utworzony węzeł rodzica. Przykła- dowo. Wierz- chołki te będą łączone w nowe poddrzewa z węzłem rodzica umieszczonym na wyższym poziomie drzewa. Wstęp do teorii Informacji i kodowania Metoda bezstratnego kodowania jest więc tym lepsza im użyta przez nią średnia ilość bitów na zakodowany symbol jest bliższa entropii źródła. Posortowana według wartości prawdopodobieństw lista wierzchołków Centrum Modelowania Matematycznego Sigma 8 . E}. dwa symbole występujące najrzadziej będą miały słowa kodowe o tej samej długości. B. 2. . 2. Ponadto. Przykład 3 Dany niech będzie ciąg symboli s nad alfabetem AS = {A. D. pD = 36 i pE = 36 . 6. Postępujemy teraz zgodnie z punktami 2 – 5 opi- sanego wyżej algorytmu. dla danego liścia. W ostatnim kroku odczytujemy ze struktury otrzymanego drzewa słowa kodowe kolejnych liści. której wymagana średnia liczba bitów na symbol źródła jest dowolnie bliska. natomiast rzadziej występującym dłuższe. . 7. że każde źródło danych może być bezstratnie zakodowane przy użyciu bijektywnej funkcji kodującej. Wybierz dwa wierzchołki wolne z końca listy i połącz je z tworzonym węzłem rodzica w nowe poddrzewo. pC = 36 . . 4. Kodowanie Huffmana zbioru symboli S przebiega według następującego algorytmu ([1]): 1. Sortuj listę wierzchołków wolnych w porządku nierosnącym ze względu na wartość praw- dopodobieństwa. .2 Kod Huffmana Niech S = {s1 . 0 dla gałęzi prowadzącej do węzła z końca listy. pn . Przypisz gałęziom prowadzącym od rodzica do węzłów-dzieci etykiety: 0 i 1. ale nie mniejsza niż entropia źródła S. . Symbole ze zbioru S wraz z prawdopodobieństwami przypisz liściom konstruowanej struk- tury drzewa binarnego. C. Stanowią one początkowy zbiór wierzchołków wolnych. że symbole tego alfabetu występują odpowiednio z prawdopodobieństwami pA = 36 . . . Optymalną metodą kodującą jest metoda Huffmana. Kroki 2 – 5 powtarzaj tak długo aż na liście wierzchołków wolnych pozostanie tylko jeden węzeł (korzeń drzewa).

pD pE  Literatura [1] Artur Przelaskowski. [3] Jacek Jakubowski. D}. [2] Grzegorz Kraszewski. Matematyczne podstawy kompresji JPEG. Kodery obrazów. (C + A) + (D + E)}.wykłady. Lista składa się teraz już tylko z dwóch elementów {B. Następ- nie łączymy C + A i D + E z węzłem rodzica (C + A) + (D + E) o prawdopodobieństwie pC+A + pD+E = p(C+A)+(D+E) = 18 36 . Wierzchołki D i E łączymy z tworzonym węzłem ro- 7 dzica oznaczonym E + D. Kompresja danych . Jego prawdopodobieństwo wynosi pC + pA = pC+A = 11 36 . D + E}. B → 1. Wstęp do teorii prawdopodobieństwa. 37059. C + A. BTC. Prawdopodobieństwo nowego węzła wynosi pD + pE = pE+D = 36 . a pozostałe symbole kodowane są na 3 bitach. Średnia ilość bitów przypadająca na jeden zakodowany symbol wynosi: LS = 3 · pA + 1 · pB + 3 · pC + 3 · pD + 3 · pE = 2. E + D. Wstęp do teorii Informacji i kodowania wolnych ma postać: {B. Warszawa 2001. Centrum Modelowania Matematycznego Sigma 9 . Ponieważ lista zawiera już tylko jeden wierzchołek (korzeń drzewa). W kolejnym kroku łączymy wierzchołki C i A z węzłem rodzica oznaczonym C + A. A}. C. SCRIPT. A. 2007. Uaktualniona lista wierzchołków ma teraz postać {B. C → 011. Posortowana lista ma teraz postać: {B. C. CMM Sigma. Warszawa 2005. Systemy multimedialne . Metody bezstratne. [4] Paweł Przybyłowicz. Rafał Sztencel. więc możemy odczytać odpowiednie słowa kodowe dla symboli alfabetu: A → 010. Tak więc na zakodowanie symbolu B potrzeba 1 bitu.Podstawy. W ostatnim kroku łączymy wierzchołki B i (C + A) + (D + E) z węzłem rodzica oznaczonym przez B + ((C + A) + (D + E)). D → 000 oraz E → 001. E. tymczasem entropia źródła       1 1 1 H(S) = pA log2 + pB log2 + pC log2 + pA pB pC     1 1 pD log2 + pE log2 = 1.