Wstęp do teorii Informacji i kodowania

Wstęp do teorii Informacji i kodowania
Paweł Przybyłowicz
14 maja 2008

Streszczenie W artykule przybliżamy czytelnikowi podstawowe pojęcia z dziedziny Teorii Informacji, takie jak, subiektywne i obiektywne podejścia do informacji, model źródła informacji czy też entropia. Ponadto, omawiamy kodowanie Huffmana, które jest jednym z najczęściej wykorzystywanych narzędzi przy konstruowaniu algorytmów kompresji dźwięku i obrazu. Słowa kluczowe: teoria informacji, kodowanie, entropia, kod Huffmana, twierdzenie Shannona

1

Wstęp do teorii informacji

Tak jak nie ma jednej prostej definicji życia mimo, że jego istota wydaje się intuicyjnie jasna, tak nie ma jednej definicji informacji. Przyjmuje się, że informacja jest pojęciem pierwotnym, tak jak w aksjomatyce teoriomnogościowej pojęciem pierwotnym jest zbiór. Oznacza to, że ścisłe jej zdefiniowanie za pomocą pojęć prostszych nie jest możliwe. Sens pojęcia informacji wyjaśnia się na poziomie odpowiadającym naszej intuicji. Mianowicie, istnieją dwa podstawowe punkty widzenia informacji: • obiektywny - jest to podejście matematyczne, które opiera się na pojęciu entropii. W tym przypadku informacja oznacza pewną własność fizyczną lub strukturalną obiektów. • subiektywny - informacja ma charakter względny i jest tym, co umysł jest w stanie przetworzyć i wykorzystać do własnych celów. Rozwiniemy teraz szerzej te dwa wątki [1].

Centrum Modelowania Matematycznego Sigma

1

Wstęp do teorii Informacji i kodowania 1. 2 1 Centrum Modelowania Matematycznego Sigma 2 . Na jego podstawie definiuje się ciągi informacji. W praktycznych zastosowaniach wykorzystuje się głównie pojęcie informacji ze zbiorem dyskretnym. β.. wówczas model ten nazywamy modelem z pełną informacją statystyczną. Wyróżnia się informację ze zbiorem dyskretnym. Zdarzenia mniej prawdopodobne dają więcej informacji. β}.szeregu czasowego)2 . Prawdopodobieństwa te przybliża się przyjmując za estymator liczbę wystąpień danego Przy założeniu. Jeśli po przesunięciu okienka okaże się. zazwyczaj interpretowanym jako czas. co dokładnie otrzyma. w pewnym bardzo ograniczonym zakresie. wówczas płynąca z tego informacja będzie niewielka. gdzie T jest zbiorem indeksów. Procesem stochastycznym nazywamy rodzinę zmiennych losowych {Xt }t∈T . wówczas zysk informacyjny będzie znaczny.1. nazywamy źródłem informacji i oznaczamy przez S. Wyobraźmy sobie zatem. Zatem na podstawie danego zbioru pikseli możemy szacować prawdopodobieństwo wystąpienia określonych sąsiadujących pikseli. w teorii informacji Shannona. β. których w danym momencie nie widzimy. oraz ciągłym – nieprzeliczalnym. natomiast przykładowym ciągiem informacji nad alfabetem A jest ciąg s(A) = (α. Informację można więc zdefiniować. Jeśli bowiem wiemy jaki symbol otrzymamy to znaczy. że oglądamy pewien rysunek poprzez niewielkie okienko. który w sposób probabilistyczny generuje sukcesywnie symbole. β. W tym przypadku określa się tak zwany alfabet. W danym momencie obserwujemy jedynie niewielki jego fragment. Na przykład. np. Natomiast jeśli będziemy zaskoczeni kolejnymi kolorami. 1] wtedy mówimy o procesie stochastycznym z czasem ciągłym. że informacja jest realizacją pewnej zmiennej losowej (dokładniej . takie jak na przykład rozkład prawdopodobieństwa szeregu czasowego. W praktyce. wówczas mówimy o szeregu czasowym.). że informację już posiadamy i nic nowego się nie dowiemy. . możemy 1 jednak. α. Jeśli T jest zbiorem dyskretnym. Jeśli dodatkowo znane są własności statystyczne. że dobrze przewidzieliśmy. że odbiorca nie ma pewności. Wydaje się to intuicyjnie jasne.: T = [0. Przykład 1 Przykładem alfabetu może być zbiór dwuelementowy A = {α. Jeśli zbiór T jest nieprzeliczalny. tzn. że artysta który go stworzył nie był zbyt ekscentryczny. 1. Zawiera on wszystkie podstawowe symbole wyrażające informację. co jest przekazywane. opisującego informację.. które możemy przesuwać wzdłuż i wszerz obrazu. ze skończoną liczbą symboli. które są nieokreślone w tym sensie. Kolejność pojawiania się tych ciągów jest istotą obiektywnego pojęcia informacji. przewidywać kolejne kolory jakie się będą pojawiać przy powolnym przesuwaniu okienka. W takim przypadku informację stanowią tylko te symbole.1 Podejście obiektywne Definicja obiektywna informacji polega na przyjęciu określonych modeli źródeł informacji oraz ustaleniu obliczeniowej miary jej ilości. informacja jest mierzona jako prawdopodobieństwo zajścia zdarzenia. czyli zbiór informacji elementarnych. nie znamy dokładnie wartości prawdopodobieństw występowania określonych symboli w ciągu informacji.1 Modele źródeł informacji Matematyczny model obiektu fizycznego. zazwyczaj. jako poziom niepewności odbiorcy związanej z tym. Takie zdefiniowanie źródła informacji oznacza założenie.

st ). Na przykład w obrazach sąsiednie piksele wykazują dużą wzajemną korelację chyba. k. . warunkowego modelu źródła. a9 . a4 }) = P ({a2 })P ({a9 })P ({a3 })P ({a4 }). N (bj ) i = 1. Jak już wspomnieliśmy wcześniej. Kontekst wystąpienia symbolu st+1 jest to podzbiór. zazwyczaj skończony. a4 ) wynosi P ({a2 .Wstęp do teorii Informacji i kodowania symbolu w ogóle podzieloną przez liczbę wystąpień wszystkich symboli. a9 . j = 1. Centrum Modelowania Matematycznego Sigma 3 ... natomiast N (bj ) jest liczbą wystąpień kontekstu bj . . DMS – Discrete Memoryless Source Dyskretne źródło bez pamięci jest najprostszą formą źródła informacji S. bj ) . W praktyce... Zatem pamięć źródła informacji ma wpływ na prawdopodobieństwo wystąpienia określonego symbolu w momencie t + 1. gdy dla pewnego j... prawdopodobieństwo warunkowe. rzadko kiedy znamy rozkład prawdopodobieństwa zmiennej losowej. W celu lepszego opisania rzeczywistej informacji zawartej w zbiorze danych używa się tzw. N (bj ) = 3 Postać tego estymatora wynika ze wzoru na prawdopodobieństwo warunkowe. estymujemy za pomocą wzoru 3 P ({ai }|{bj }) = N (ai . W modelu CSM w każdej konkretnej chwili czasowej t. a3 . a3 . a2 . której realizacją jest informacja. zbioru wszystkich dostępnych z przeszłości danych st .. Z niezależności emisji kolejnych symboli wynika na przykład.. po wcześniejszym odebraniu ze źródła sekwencji symboli st = (s1 . Aby odróżnić go od modelu DMS nazywa się go także modelem z pamięcią.. Predykcja ta jest możliwa poprzez określenie rozkładu warunkowego P (·|st ). CSM – Conditional Source Model Nietrudno się domyśleć. że ktoś generował je celowo w sposób całkowicie losowy. to pi ≥ 0 oraz n P ({ai }) = 1. . Oczywiście szczególnym przypadkiem modelu CSM jest DMS oraz omówiony w kolejnym podpunkcie model źródła Markowa. Brak pamięci oznacza. an } oraz wartości prawdopodobieństw pi = P ({ai }) wystąpienia poszczególnych elementów ze zbioru AS . że symbole emitowane przez źródło są wzajemnie statystycznie niezależne. można na podstawie przeszłości (czyli st ) przewidywać postać kolejnego symbolu. n. gdzie N (ai . określające szansę wystąpienia symbolu ai w kontekście bj (który wystąpił w momencie czasowym j). Ponieważ liczby pi mają być rozkładem prawdopodobieństwa pewnej zmiennej losowej s o wartościach w zbiorze AS .. ... że założenie statystycznej niezależności emisji kolejnych symboli jest nadmiernym uproszczeniem w stosunku do rzeczywistości i jest rzadko spełnione w praktyce. bj ) oznacza łączną liczbę wystąpień symbolu ai i kontekstu bj . Źródło DMS jest całkowicie określone przez alfabet AS = {a1 . Losowy model źródła informacji odpowiada wspomnianej wyżej niepewności otrzymywania kolejnych symboli. i=1 że prawdopodobieństwo wystąpienia łańcucha informacji (a2 . W szczególnym przypadku.

Pojawia się teraz pytanie jak ilościowo mierzyć informacje w tych modelach. Nazwa ta pochodzi od procesów Markowa.. Oznaczmy przez I funkcję. Nieformalnie oznacza to. jm = 1. W porównaniu do modelu CSM. W teorii informacji wymaga się od miary ilościowej. P ({ai }|{bj }) = P ({ai }|{aj1 . która niewiele różni się od ilości informacji uzyskanej przez zajście zdarzenia o prawdopodobieństwie p + ǫ. że dany kontekst jeszcze się nie pojawił. 1] → R jest odwzorowaniem ciągłym. że zdarzenie o prawdopodobieństwie p niesie ilość informacji.. niż zajście zdarzenia o dużym prawdopodobieństwie. aby spełniała trzy założenia: • Ilość informacji zawarta w wiadomości o wystąpieniu zdarzenia A powinna zależeć jedynie od prawdopodobieństwa zajścia tego zdarzenia. . . co oznacza. ajm }). tylko zapominamy jej część. lecz jedynie od jego zachowania w momencie bliskim chwili t. 1]. s. dla dowolnego s ≤ t. probabilistyczne źródła informacji. na którą składają się kolejne symbole pojawiające się w kolejnych chwilach czasowych. Wartość tej funkcji będziemy interpretować jako ilość uzyskanej informacji. Proces Markowa jest to taki proces stochastyczny {Xt }t∈T . MSM – Markov Source Model Model źródła Markowa4 jest to model w którym prawdopodobieństwo wystąpienia symbolu ai z alfabetu źródła zależy jedynie od m symboli. n. Wówczas: • Funkcja I : (0.. • Zajście zdarzenia mniej prawdopodobnego dostarcza więcej informacji. wtedy za P ({ai }|{bj }) przyjmuje się dowolną wartość z przedziału [0.. która prawdopodobieństwu zajścia zdarzenia A przypisuje pewną liczbę rzeczywistą. Dodatkowo zakłada się. • Addytywność miary ilości dostarczonej informacji – informacja związana z wystąpieniem dwóch niezależnych zdarzeń jest równa sumie informacji zawartej w każdym z tych zdarzeń. 4 Centrum Modelowania Matematycznego Sigma 4 . w modelu Markowa nie korzystamy z całej historii. Niech spełnia ona powyższe założenia.. j1 .Wstęp do teorii Informacji i kodowania 0. technikę Bayesowską. .. aby ta zależność była ciągła. 1. którego rozkład prawdopodobieństwa w danej chwili t nie zależy od całej historii procesu. W tym przypadku można zastosować tzw. jakie się już bezpośrednio przed nim pojawiły. i. t ∈ T i z ∈ R. polegającą na założeniu z góry pewnego rozkładu dla źródła informacji.. gdzie ǫ > 0 jest dowolnie małą liczbą... Matematycznym wyrazem tej własności jest P (Xt ≤ z|{Xr : 0 ≤ r ≤ s}) = P (Xt ≤ z|Xs ).2 Entropia – ilościowa miara informacji Omówiliśmy najczęściej wykorzystywane.

gdzie A jest zdarzeniem o prawdopodobieństwie p. p ∈ (0. Zauważmy.Wstęp do teorii Informacji i kodowania • Jeżeli pA ≤ pB oznaczają odpowiednio prawdopodobieństwa zdarzeń A i B.. Zauważmy.. (2) Wielkość ta nosi nazwę entropii zmiennej X. 1}. • Funkcja I spełnia warunek 5 I(pA · pB ) = I(pA ) + I(pB ). Mianowicie. + I(pAk ). ciągłej. k. aby zanikła wszelka niepewność z sekwencji tych symboli. 6 7 5 Funkcja ta jest wyznaczona przez powyższe postulaty z dokładnością do stałej. . którą należy dostarczyć. 1}. że warunek (1) możemy indukcyjnie uogólnić na dowolną skończoną ilość zdarzeń niezależnych {Ai }k o prawdopodobieństwach {pAi }k . Odwrotnie jest ze zdarzeniami o prawdopodobieństwie bliskim 0. zamiast I(p).. W ich przypadku lim I(p) = +∞. p→0 więc zajście zdarzenia o którym sądzimy. Ponieważ każde ze zdarzeń {X = αi } zachodzi z prawdopodobieństwem pi . Zajście zdarzenia {X = αi } daje nam ilość informacji równą I(pi ) = − log2 pi . i = 1. która spełnia równanie funkcyjne (1). Będziemy też czasem. pisać I(A). to średnia ilość informacji z obserwacji zmiennej losowej X wynosi k k H(X) = i=1 pi I(pi ) = − i=1 pi log2 (pi ). W teorii informacji wielkość I({ai }) = − log2 pi . Niech dana będzie zmienna losowa X o rozkładzie dyskretnym pi = P (X = αi ). k ∈ N \ {0.. gdzie pA i pB są prawdopodobieństwami zdarzeń niezależnych A i B. że I(1) = 0 – zajście zdarzenia o prawdopodobieństwie 1 nie daje żadnej dodatkowej informacji. to I(pA ) ≥ I(pB ). Centrum Modelowania Matematycznego Sigma 5 . 1]. jeśli funkcja I spełnia (1) to spełnia i=1 i=1 również: I(pA1 · pA2 · . · pAk ) = I(pA1 ) + I(pA2 ) + . ponad to co już wiemy. Z teorii równań funkcyjnych wynika. że jest bardzo mało prawdopodobne ogromnie wzbogaca naszą wiedzę.. (1) Szukamy więc funkcji rzeczywistej.. że taką funkcją jest 6 7 I(p) = log2 1 p . nierosnącej. związana z prawdopodobieństwem wystąpienia pojedynczego symbolu ai . k ∈ N \ {0.. gdzie αi mogą być liczbami rzeczywistymi lub ciągami informacji nad pewnym alfabetem. nazywana jest informacją własną. Interpretuje się ją jako średnią ilość informacji przypadającą na generowany symbol.

stała Boltzmanna i k = 1. natomiast dla osoby. Przykładowo. że średnią ilość informacji wyrażamy w bitach na symbol. że informacja jest wielkością fizyczną. 1. Zauważmy. że nie prowadzi się rozważań dotyczących prawdziwości czy znaczenia tego. Obiektywny punkt widzenia informacji pomija znaczenie. która w takie gry w ogóle nie gra wynik losowania nie stanowi żadnej informacji. w modelu źródła S bez pamięci DMS entropia wynosi: n HDM S (S) = i=1 P ({ai })I({ai }).38 × 10−23 J/K. które z dwóch równie prawdopodobnych alternatywnych zdarzeń zaszło. że dla zdarzenia A o prawdopodobieństwie P (A) = 1 informacja I(A) = 1. że powinna zostać uwzględniona w procesie optymalizacji algorytmów kompresji. 2 Również dla zdarzenia przeciwnego A′ mamy P (A′ ) = 1 − P (A) = 1 oraz I(A′ ) = 1. gdy ktoś oznajmia. że w wyniku rzutu sześcienną symetryczną kostką do gry wypadła parzysta liczba oczek. Oznacza to. co informacja ze sobą niesie. Również jeden bit informacji zyskujemy. gdzie k . Na przykład poznany wynik rzutu monetą niesie jeden bit informacji. W takich przypadkach podejście subiektywne stanowi pewne uzupełnienie podejścia obiektywnego.3 Podejście subiektywne Z subiektywnego punktu widzenia informacją jest to wszystko. czy też zdjęć satelitarnych jest na tyle ważna. jakie niesie komunikat. Informację można też zdefiniować poprzez jej użyteczność dla konkretnego odbiorcy.Wstęp do teorii Informacji i kodowania Przykład 2 Przykładowo. Mówi o tym Zasada Landauera. Tak 2 więc jeden bit to ilość informacji jaką uzyskujemy. Oczywiście takie podejście wiąże się z dużą niejednoznacznością i problemami w definiowaniu miar ilości informacji. Okazuje się. a skupia się jedynie na jego składni. z jego punktu widzenia. semantyka obrazów medycznych. Semantyka informacji ma znaczenie w podejściu subiektywnym do definicji informacji. Z tych względów w kodowaniu wykorzystuje się podejście obiektywne do informacji. Na przykład wiadomość o wygranej w Toto-Lotku dla posiadacza szczęśliwego losu stanowi informację wprost bezcenną. co można użyć do efektywniejszego wyboru działań prowadzących do określonego celu [1]. (3) gdzie n oznacza liczbę symboli ai alfabetu AS . Jednak nie zawsze można całkowicie pominąć aspekt znaczeniowy. W informatyce jeden bit oznacza ilość informacji potrzebną do zakodowania. Podstawa równa 2 oznacza. Twierdzenie 1 (Zasada Landauera) Wymazanie jednego bitu informacji w otoczeniu o temperaturze T wymaga straty energii (wydzielenia ciepła) o wartości co najmniej kT ln 2. We wzorze (2) można przyjąć inną podstawę logarytmu. gdy zachodzi jedna z dwóch alternatywnych możliwości 8 . która określa jednostkę uzyskanej informacji. 8 Centrum Modelowania Matematycznego Sigma 6 .

Twierdzenie 2 (C. s2 .. sekwencji danych uzyskanego ze źródła informacji S.. s1 . Tak więc wymaga się.1 Teoretyczne podstawy kodowania Niech S będzie pewnym probabilistycznym źródłem informacji o alfabecie AS . efektywność kodowania. s2 . . Shannon) Średnia ilość bitów przypadająca na jeden zakodowany symbol LS jest nie mniejsza od entropii H(S) źródła. nad alfabetem AS . . Definicja 2 Algorytm kodowania jest to sposób w jaki funkcja kodująca przekształca wejściowy ciąg informacji w wyjściową bitową sekwencję kodową.1} = {0. można było jednoznacznie odtworzyć oryginalny zbiór symboli wejściowych. aby reprezentacja kodowa była jednoznacznie dekodowalna. s2 ) =⇒ (t = r ∧ s1 = s2 . możliwą do uzyskania. zwaną reprezentacją kodową. Jest to oczywiście podyktowane względami praktycznymi. Injektywność odwzorowania K oznacza. że dla dwóch dowolnych ciągów symboli wyjściowych (s1 . wszystkich niepustych i skończonych ciągów informacji nad alfabetem {0. ..Wstęp do teorii Informacji i kodowania 2 Kodowanie Huffmana Przed przystąpieniem do omawiania kodowania Huffmana przytoczymy podstawowe definicje i zasady kodowania [1]. W przypadku kodowania binarnego...1} A{0. w przeciwieństwie do np.. w zbiór A∗ . t). spełniona jest implikacja: r t 1 2 1 2 K(s1 . 2. Pytamy więc o graniczną. Koderem nazywamy natomiast konkretną realizację algorytmu kodowania. 1}.. 1 2 t 1 2 r i i Implikacja ta wyraża jednoznaczność dekodowania... E. s1 ) = K(s2 .1} przekształcające n . Poniższe twierdzenie Shannona mówi o minimalnej wartości średniej bitowej reprezentacji kodowej. Zakładamy więc bijektywność funkcji K. i = 1. że koduje się jedynie skończone ciągi symboli. Z powyższych definicji wynika.. chcemy aby reprezentacja binarna była możliwie jak najkrótsza i aby oczywiście zachowywała całą informację dostarczoną przez źródło. Należy również zaznaczyć. uzyskanej z kodera realizującego algorytm opisany funkcją kodującą K. . które go wygenerowało H(S) ≤ LS . s1 ) i (s2 .. wszystkich niepustych i skończonych ciągów informacji nad alfabetem A o n symzbiór AS S bolach... Definicja 1 Funkcją kodującą nazywamy odwzorowanie K : An → A∗ S {0. że w przypadku kodowania wymaga się aby na podstawie reprezentacji kodowej.. s2 ). Surjektywność K oznacza. s1 .. metod szyfrowania. . Centrum Modelowania Matematycznego Sigma 7 . że dla każdej reprezentacji kodowej istnieje pewien wyjściowy ciąg informacji (każdy kod można odkodować).

. pD = 36 i pE = 36 . . C. Ponadto. 0 dla gałęzi prowadzącej do węzła z końca listy. W kodzie Huffmana częściej występującym symbolom będą przypisane krótsze słowa kodowe. Wybierz dwa wierzchołki wolne z końca listy i połącz je z tworzonym węzłem rodzica w nowe poddrzewo. Słowa te. dla danego liścia. ale nie mniejsza niż entropia źródła S. B. Kodowanie Huffmana zbioru symboli S przebiega według następującego algorytmu ([1]): 1.2 Kod Huffmana Niech S = {s1 . Postępujemy teraz zgodnie z punktami 2 – 5 opisanego wyżej algorytmu. 6. . . D. której wymagana średnia liczba bitów na symbol źródła jest dowolnie bliska. 6 3 4 18 pB = 36 . E}. Przykład 3 Dany niech będzie ciąg symboli s nad alfabetem AS = {A. Zakła5 damy. Przypisz gałęziom prowadzącym od rodzica do węzłów-dzieci etykiety: 0 i 1. pn . tworzymy odczytując binarne etykiety kolejnych gałęzi przy przejściu od korzenia do tego liścia. . 7. 5. Przykładowo. 2. Optymalną metodą kodującą jest metoda Huffmana. . Sortuj listę wierzchołków wolnych w porządku nierosnącym ze względu na wartość prawdopodobieństwa. Jedna z wersji twierdzenia Shannona mówi. 4.Wstęp do teorii Informacji i kodowania Metoda bezstratnego kodowania jest więc tym lepsza im użyta przez nią średnia ilość bitów na zakodowany symbol jest bliższa entropii źródła. sn } będzie zbiorem symboli. a na ich miejsce wpisujemy nowo utworzony węzeł rodzica. Stanowią one początkowy zbiór wierzchołków wolnych. Prawdopodobieństwo nowego wierzchołka ustalamy jako sumę prawdopodobieństw dzieci. 2. Wierzchołki te będą łączone w nowe poddrzewa z węzłem rodzica umieszczonym na wyższym poziomie drzewa. Z listy usuwamy dwa ostatnie wierzchołki. Symbole ze zbioru S wraz z prawdopodobieństwami przypisz liściom konstruowanej struktury drzewa binarnego. . Posortowana według wartości prawdopodobieństw lista wierzchołków Centrum Modelowania Matematycznego Sigma 8 . pC = 36 . dwa symbole występujące najrzadziej będą miały słowa kodowe o tej samej długości. że symbole tego alfabetu występują odpowiednio z prawdopodobieństwami pA = 36 . . natomiast rzadziej występującym dłuższe. których prawdopodobieństwa wystąpienia wynoszą odpowiednio p1 . W ostatnim kroku odczytujemy ze struktury otrzymanego drzewa słowa kodowe kolejnych liści. Kroki 2 – 5 powtarzaj tak długo aż na liście wierzchołków wolnych pozostanie tylko jeden węzeł (korzeń drzewa). 3. że każde źródło danych może być bezstratnie zakodowane przy użyciu bijektywnej funkcji kodującej.

C → 011. Średnia ilość bitów przypadająca na jeden zakodowany symbol wynosi: LS = 3 · pA + 1 · pB + 3 · pC + 3 · pD + 3 · pE = 2.wykłady. Uaktualniona lista wierzchołków ma teraz postać {B. Matematyczne podstawy kompresji JPEG. Systemy multimedialne . D}. Wierzchołki D i E łączymy z tworzonym węzłem ro7 dzica oznaczonym E + D. Jego prawdopodobieństwo wynosi pC + pA = pC+A = 11 . Wstęp do teorii prawdopodobieństwa. Warszawa 2001. A}. Prawdopodobieństwo nowego węzła wynosi pD + pE = pE+D = 36 . C. Rafał Sztencel. A. Metody bezstratne. E. 2007. Posortowana lista ma teraz postać: {B. [4] Paweł Przybyłowicz. C + A. CMM Sigma. C. W kolejnym kroku łączymy wierzchołki C i A z węzłem rodzica oznaczonym C + A. tymczasem entropia źródła H(S) = pA log2 pD log2 1 pA 1 pD + pB log2 + pE log2 1 pB 1 pE + pC log2 = 1. 1 pC + Literatura [1] Artur Przelaskowski. E + D. (C + A) + (D + E)}. więc możemy odczytać odpowiednie słowa kodowe dla symboli alfabetu: A → 010. 37059.Podstawy. BTC. Tak więc na zakodowanie symbolu B potrzeba 1 bitu. Centrum Modelowania Matematycznego Sigma 9 .Wstęp do teorii Informacji i kodowania wolnych ma postać: {B. Ponieważ lista zawiera już tylko jeden wierzchołek (korzeń drzewa). Warszawa 2005. [2] Grzegorz Kraszewski. a pozostałe symbole kodowane są na 3 bitach. B → 1. Kodery obrazów. SCRIPT. D + E}. D → 000 oraz E → 001. W ostatnim kroku łączymy wierzchołki B i (C + A) + (D + E) z węzłem rodzica oznaczonym przez B + ((C + A) + (D + E)). Kompresja danych . [3] Jacek Jakubowski. Lista składa się teraz już tylko z dwóch elementów 36 {B. Następ36 nie łączymy C + A i D + E z węzłem rodzica (C + A) + (D + E) o prawdopodobieństwie pC+A + pD+E = p(C+A)+(D+E) = 18 .