Wstęp do teorii Informacji i kodowania

Wstęp do teorii Informacji i kodowania
Paweł Przybyłowicz
14 maja 2008

Streszczenie W artykule przybliżamy czytelnikowi podstawowe pojęcia z dziedziny Teorii Informacji, takie jak, subiektywne i obiektywne podejścia do informacji, model źródła informacji czy też entropia. Ponadto, omawiamy kodowanie Huffmana, które jest jednym z najczęściej wykorzystywanych narzędzi przy konstruowaniu algorytmów kompresji dźwięku i obrazu. Słowa kluczowe: teoria informacji, kodowanie, entropia, kod Huffmana, twierdzenie Shannona

1

Wstęp do teorii informacji

Tak jak nie ma jednej prostej definicji życia mimo, że jego istota wydaje się intuicyjnie jasna, tak nie ma jednej definicji informacji. Przyjmuje się, że informacja jest pojęciem pierwotnym, tak jak w aksjomatyce teoriomnogościowej pojęciem pierwotnym jest zbiór. Oznacza to, że ścisłe jej zdefiniowanie za pomocą pojęć prostszych nie jest możliwe. Sens pojęcia informacji wyjaśnia się na poziomie odpowiadającym naszej intuicji. Mianowicie, istnieją dwa podstawowe punkty widzenia informacji: • obiektywny - jest to podejście matematyczne, które opiera się na pojęciu entropii. W tym przypadku informacja oznacza pewną własność fizyczną lub strukturalną obiektów. • subiektywny - informacja ma charakter względny i jest tym, co umysł jest w stanie przetworzyć i wykorzystać do własnych celów. Rozwiniemy teraz szerzej te dwa wątki [1].

Centrum Modelowania Matematycznego Sigma

1

1] wtedy mówimy o procesie stochastycznym z czasem ciągłym. Wyróżnia się informację ze zbiorem dyskretnym.. Jeśli T jest zbiorem dyskretnym. natomiast przykładowym ciągiem informacji nad alfabetem A jest ciąg s(A) = (α.1 Podejście obiektywne Definicja obiektywna informacji polega na przyjęciu określonych modeli źródeł informacji oraz ustaleniu obliczeniowej miary jej ilości. tzn. W praktycznych zastosowaniach wykorzystuje się głównie pojęcie informacji ze zbiorem dyskretnym. których w danym momencie nie widzimy. Jeśli po przesunięciu okienka okaże się. zazwyczaj interpretowanym jako czas. nazywamy źródłem informacji i oznaczamy przez S. w teorii informacji Shannona. które są nieokreślone w tym sensie. wówczas zysk informacyjny będzie znaczny. informacja jest mierzona jako prawdopodobieństwo zajścia zdarzenia. Procesem stochastycznym nazywamy rodzinę zmiennych losowych {Xt }t∈T . Na jego podstawie definiuje się ciągi informacji. W danym momencie obserwujemy jedynie niewielki jego fragment.. β. β}. że dobrze przewidzieliśmy. co jest przekazywane. nie znamy dokładnie wartości prawdopodobieństw występowania określonych symboli w ciągu informacji. α. Jeśli zbiór T jest nieprzeliczalny. że oglądamy pewien rysunek poprzez niewielkie okienko. Jeśli bowiem wiemy jaki symbol otrzymamy to znaczy. że odbiorca nie ma pewności. przewidywać kolejne kolory jakie się będą pojawiać przy powolnym przesuwaniu okienka. Wyobraźmy sobie zatem. wówczas płynąca z tego informacja będzie niewielka. Informację można więc zdefiniować. Prawdopodobieństwa te przybliża się przyjmując za estymator liczbę wystąpień danego Przy założeniu. jako poziom niepewności odbiorcy związanej z tym. Jeśli dodatkowo znane są własności statystyczne. które możemy przesuwać wzdłuż i wszerz obrazu. np. że informacja jest realizacją pewnej zmiennej losowej (dokładniej .1 Modele źródeł informacji Matematyczny model obiektu fizycznego.szeregu czasowego)2 . Przykład 1 Przykładem alfabetu może być zbiór dwuelementowy A = {α. wówczas model ten nazywamy modelem z pełną informacją statystyczną. Natomiast jeśli będziemy zaskoczeni kolejnymi kolorami. co dokładnie otrzyma. gdzie T jest zbiorem indeksów.Wstęp do teorii Informacji i kodowania 1. W praktyce. Kolejność pojawiania się tych ciągów jest istotą obiektywnego pojęcia informacji. opisującego informację. W tym przypadku określa się tak zwany alfabet. W takim przypadku informację stanowią tylko te symbole. Na przykład. zazwyczaj. .1. β. wówczas mówimy o szeregu czasowym.: T = [0. który w sposób probabilistyczny generuje sukcesywnie symbole. β. możemy 1 jednak. Wydaje się to intuicyjnie jasne. w pewnym bardzo ograniczonym zakresie. takie jak na przykład rozkład prawdopodobieństwa szeregu czasowego. Zawiera on wszystkie podstawowe symbole wyrażające informację. Takie zdefiniowanie źródła informacji oznacza założenie. że informację już posiadamy i nic nowego się nie dowiemy. Zatem na podstawie danego zbioru pikseli możemy szacować prawdopodobieństwo wystąpienia określonych sąsiadujących pikseli. Zdarzenia mniej prawdopodobne dają więcej informacji. 2 1 Centrum Modelowania Matematycznego Sigma 2 . oraz ciągłym – nieprzeliczalnym. czyli zbiór informacji elementarnych. ze skończoną liczbą symboli.). 1. że artysta który go stworzył nie był zbyt ekscentryczny.

rzadko kiedy znamy rozkład prawdopodobieństwa zmiennej losowej... n. an } oraz wartości prawdopodobieństw pi = P ({ai }) wystąpienia poszczególnych elementów ze zbioru AS . Ponieważ liczby pi mają być rozkładem prawdopodobieństwa pewnej zmiennej losowej s o wartościach w zbiorze AS . N (bj ) = 3 Postać tego estymatora wynika ze wzoru na prawdopodobieństwo warunkowe... Centrum Modelowania Matematycznego Sigma 3 . W praktyce. W celu lepszego opisania rzeczywistej informacji zawartej w zbiorze danych używa się tzw.. . k. Na przykład w obrazach sąsiednie piksele wykazują dużą wzajemną korelację chyba. gdzie N (ai .. W szczególnym przypadku. Losowy model źródła informacji odpowiada wspomnianej wyżej niepewności otrzymywania kolejnych symboli. . że założenie statystycznej niezależności emisji kolejnych symboli jest nadmiernym uproszczeniem w stosunku do rzeczywistości i jest rzadko spełnione w praktyce. estymujemy za pomocą wzoru 3 P ({ai }|{bj }) = N (ai . prawdopodobieństwo warunkowe. można na podstawie przeszłości (czyli st ) przewidywać postać kolejnego symbolu. j = 1. W modelu CSM w każdej konkretnej chwili czasowej t. Źródło DMS jest całkowicie określone przez alfabet AS = {a1 . bj ) . CSM – Conditional Source Model Nietrudno się domyśleć. Jak już wspomnieliśmy wcześniej.Wstęp do teorii Informacji i kodowania symbolu w ogóle podzieloną przez liczbę wystąpień wszystkich symboli. a3 . a9 . a2 .. Brak pamięci oznacza. Oczywiście szczególnym przypadkiem modelu CSM jest DMS oraz omówiony w kolejnym podpunkcie model źródła Markowa. to pi ≥ 0 oraz n P ({ai }) = 1. a4 }) = P ({a2 })P ({a9 })P ({a3 })P ({a4 }). bj ) oznacza łączną liczbę wystąpień symbolu ai i kontekstu bj . .. a9 . warunkowego modelu źródła. której realizacją jest informacja. zazwyczaj skończony.. natomiast N (bj ) jest liczbą wystąpień kontekstu bj . N (bj ) i = 1. Predykcja ta jest możliwa poprzez określenie rozkładu warunkowego P (·|st ). po wcześniejszym odebraniu ze źródła sekwencji symboli st = (s1 . gdy dla pewnego j. że symbole emitowane przez źródło są wzajemnie statystycznie niezależne. a3 .. . że ktoś generował je celowo w sposób całkowicie losowy. Kontekst wystąpienia symbolu st+1 jest to podzbiór. a4 ) wynosi P ({a2 .. zbioru wszystkich dostępnych z przeszłości danych st .. określające szansę wystąpienia symbolu ai w kontekście bj (który wystąpił w momencie czasowym j). Aby odróżnić go od modelu DMS nazywa się go także modelem z pamięcią. Zatem pamięć źródła informacji ma wpływ na prawdopodobieństwo wystąpienia określonego symbolu w momencie t + 1. DMS – Discrete Memoryless Source Dyskretne źródło bez pamięci jest najprostszą formą źródła informacji S. st ). Z niezależności emisji kolejnych symboli wynika na przykład. i=1 że prawdopodobieństwo wystąpienia łańcucha informacji (a2 .

Wstęp do teorii Informacji i kodowania 0. probabilistyczne źródła informacji. MSM – Markov Source Model Model źródła Markowa4 jest to model w którym prawdopodobieństwo wystąpienia symbolu ai z alfabetu źródła zależy jedynie od m symboli. • Zajście zdarzenia mniej prawdopodobnego dostarcza więcej informacji. ajm }). w modelu Markowa nie korzystamy z całej historii. jakie się już bezpośrednio przed nim pojawiły.. W tym przypadku można zastosować tzw.. Wówczas: • Funkcja I : (0. W teorii informacji wymaga się od miary ilościowej. aby spełniała trzy założenia: • Ilość informacji zawarta w wiadomości o wystąpieniu zdarzenia A powinna zależeć jedynie od prawdopodobieństwa zajścia tego zdarzenia. aby ta zależność była ciągła. polegającą na założeniu z góry pewnego rozkładu dla źródła informacji. . gdzie ǫ > 0 jest dowolnie małą liczbą. 1. P ({ai }|{bj }) = P ({ai }|{aj1 . Nazwa ta pochodzi od procesów Markowa. Pojawia się teraz pytanie jak ilościowo mierzyć informacje w tych modelach. że dany kontekst jeszcze się nie pojawił. j1 . na którą składają się kolejne symbole pojawiające się w kolejnych chwilach czasowych. . Wartość tej funkcji będziemy interpretować jako ilość uzyskanej informacji. która niewiele różni się od ilości informacji uzyskanej przez zajście zdarzenia o prawdopodobieństwie p + ǫ. 1]. n.. technikę Bayesowską... wtedy za P ({ai }|{bj }) przyjmuje się dowolną wartość z przedziału [0. lecz jedynie od jego zachowania w momencie bliskim chwili t. Niech spełnia ona powyższe założenia. Matematycznym wyrazem tej własności jest P (Xt ≤ z|{Xr : 0 ≤ r ≤ s}) = P (Xt ≤ z|Xs ). Oznaczmy przez I funkcję. którego rozkład prawdopodobieństwa w danej chwili t nie zależy od całej historii procesu. t ∈ T i z ∈ R. . że zdarzenie o prawdopodobieństwie p niesie ilość informacji. Nieformalnie oznacza to. s. jm = 1. która prawdopodobieństwu zajścia zdarzenia A przypisuje pewną liczbę rzeczywistą. dla dowolnego s ≤ t. niż zajście zdarzenia o dużym prawdopodobieństwie.. i. Proces Markowa jest to taki proces stochastyczny {Xt }t∈T . • Addytywność miary ilości dostarczonej informacji – informacja związana z wystąpieniem dwóch niezależnych zdarzeń jest równa sumie informacji zawartej w każdym z tych zdarzeń.2 Entropia – ilościowa miara informacji Omówiliśmy najczęściej wykorzystywane.. co oznacza. W porównaniu do modelu CSM.. 1] → R jest odwzorowaniem ciągłym. 4 Centrum Modelowania Matematycznego Sigma 4 .. tylko zapominamy jej część. Dodatkowo zakłada się.

że jest bardzo mało prawdopodobne ogromnie wzbogaca naszą wiedzę.. p→0 więc zajście zdarzenia o którym sądzimy... Zauważmy. W teorii informacji wielkość I({ai }) = − log2 pi . . Będziemy też czasem. (1) Szukamy więc funkcji rzeczywistej. Zajście zdarzenia {X = αi } daje nam ilość informacji równą I(pi ) = − log2 pi . Ponieważ każde ze zdarzeń {X = αi } zachodzi z prawdopodobieństwem pi . nazywana jest informacją własną. którą należy dostarczyć. pisać I(A). Mianowicie. Interpretuje się ją jako średnią ilość informacji przypadającą na generowany symbol. i = 1. że I(1) = 0 – zajście zdarzenia o prawdopodobieństwie 1 nie daje żadnej dodatkowej informacji.Wstęp do teorii Informacji i kodowania • Jeżeli pA ≤ pB oznaczają odpowiednio prawdopodobieństwa zdarzeń A i B. · pAk ) = I(pA1 ) + I(pA2 ) + .. że warunek (1) możemy indukcyjnie uogólnić na dowolną skończoną ilość zdarzeń niezależnych {Ai }k o prawdopodobieństwach {pAi }k . gdzie A jest zdarzeniem o prawdopodobieństwie p. p ∈ (0.. Zauważmy. nierosnącej. zamiast I(p). ciągłej. to I(pA ) ≥ I(pB ). 1]. k ∈ N \ {0. Odwrotnie jest ze zdarzeniami o prawdopodobieństwie bliskim 0. ponad to co już wiemy. która spełnia równanie funkcyjne (1). związana z prawdopodobieństwem wystąpienia pojedynczego symbolu ai . W ich przypadku lim I(p) = +∞. że taką funkcją jest 6 7 I(p) = log2 1 p .. k. (2) Wielkość ta nosi nazwę entropii zmiennej X. • Funkcja I spełnia warunek 5 I(pA · pB ) = I(pA ) + I(pB ). gdzie αi mogą być liczbami rzeczywistymi lub ciągami informacji nad pewnym alfabetem. 1}. to średnia ilość informacji z obserwacji zmiennej losowej X wynosi k k H(X) = i=1 pi I(pi ) = − i=1 pi log2 (pi ). Centrum Modelowania Matematycznego Sigma 5 .. aby zanikła wszelka niepewność z sekwencji tych symboli. Niech dana będzie zmienna losowa X o rozkładzie dyskretnym pi = P (X = αi ). 1}. k ∈ N \ {0. 6 7 5 Funkcja ta jest wyznaczona przez powyższe postulaty z dokładnością do stałej. + I(pAk ). gdzie pA i pB są prawdopodobieństwami zdarzeń niezależnych A i B. Z teorii równań funkcyjnych wynika. jeśli funkcja I spełnia (1) to spełnia i=1 i=1 również: I(pA1 · pA2 · .

W takich przypadkach podejście subiektywne stanowi pewne uzupełnienie podejścia obiektywnego. które z dwóch równie prawdopodobnych alternatywnych zdarzeń zaszło. Twierdzenie 1 (Zasada Landauera) Wymazanie jednego bitu informacji w otoczeniu o temperaturze T wymaga straty energii (wydzielenia ciepła) o wartości co najmniej kT ln 2. W informatyce jeden bit oznacza ilość informacji potrzebną do zakodowania.38 × 10−23 J/K. że średnią ilość informacji wyrażamy w bitach na symbol.stała Boltzmanna i k = 1. gdzie k . a skupia się jedynie na jego składni. jakie niesie komunikat. Na przykład wiadomość o wygranej w Toto-Lotku dla posiadacza szczęśliwego losu stanowi informację wprost bezcenną. (3) gdzie n oznacza liczbę symboli ai alfabetu AS . 2 Również dla zdarzenia przeciwnego A′ mamy P (A′ ) = 1 − P (A) = 1 oraz I(A′ ) = 1. natomiast dla osoby. Jednak nie zawsze można całkowicie pominąć aspekt znaczeniowy. Okazuje się. Z tych względów w kodowaniu wykorzystuje się podejście obiektywne do informacji. co można użyć do efektywniejszego wyboru działań prowadzących do określonego celu [1]. Zauważmy. Oczywiście takie podejście wiąże się z dużą niejednoznacznością i problemami w definiowaniu miar ilości informacji. semantyka obrazów medycznych. że dla zdarzenia A o prawdopodobieństwie P (A) = 1 informacja I(A) = 1. że informacja jest wielkością fizyczną. że w wyniku rzutu sześcienną symetryczną kostką do gry wypadła parzysta liczba oczek. 1. 8 Centrum Modelowania Matematycznego Sigma 6 . Semantyka informacji ma znaczenie w podejściu subiektywnym do definicji informacji. Informację można też zdefiniować poprzez jej użyteczność dla konkretnego odbiorcy. gdy zachodzi jedna z dwóch alternatywnych możliwości 8 . Na przykład poznany wynik rzutu monetą niesie jeden bit informacji. Również jeden bit informacji zyskujemy. co informacja ze sobą niesie. We wzorze (2) można przyjąć inną podstawę logarytmu.Wstęp do teorii Informacji i kodowania Przykład 2 Przykładowo. Podstawa równa 2 oznacza. w modelu źródła S bez pamięci DMS entropia wynosi: n HDM S (S) = i=1 P ({ai })I({ai }). Przykładowo. Tak 2 więc jeden bit to ilość informacji jaką uzyskujemy. że nie prowadzi się rozważań dotyczących prawdziwości czy znaczenia tego. która określa jednostkę uzyskanej informacji. gdy ktoś oznajmia. z jego punktu widzenia. że powinna zostać uwzględniona w procesie optymalizacji algorytmów kompresji. Obiektywny punkt widzenia informacji pomija znaczenie. Mówi o tym Zasada Landauera. która w takie gry w ogóle nie gra wynik losowania nie stanowi żadnej informacji.3 Podejście subiektywne Z subiektywnego punktu widzenia informacją jest to wszystko. Oznacza to. czy też zdjęć satelitarnych jest na tyle ważna.

1} = {0. można było jednoznacznie odtworzyć oryginalny zbiór symboli wejściowych... chcemy aby reprezentacja binarna była możliwie jak najkrótsza i aby oczywiście zachowywała całą informację dostarczoną przez źródło. 1}. zwaną reprezentacją kodową. W przypadku kodowania binarnego. Centrum Modelowania Matematycznego Sigma 7 . s2 . efektywność kodowania. s2 . że koduje się jedynie skończone ciągi symboli. . Zakładamy więc bijektywność funkcji K. s2 ) =⇒ (t = r ∧ s1 = s2 . . aby reprezentacja kodowa była jednoznacznie dekodowalna.1} A{0. s1 ) i (s2 . w zbiór A∗ . spełniona jest implikacja: r t 1 2 1 2 K(s1 . Definicja 1 Funkcją kodującą nazywamy odwzorowanie K : An → A∗ S {0. t).. które go wygenerowało H(S) ≤ LS . Twierdzenie 2 (C. Surjektywność K oznacza. sekwencji danych uzyskanego ze źródła informacji S. metod szyfrowania. 2.... s1 . że dla każdej reprezentacji kodowej istnieje pewien wyjściowy ciąg informacji (każdy kod można odkodować).. Definicja 2 Algorytm kodowania jest to sposób w jaki funkcja kodująca przekształca wejściowy ciąg informacji w wyjściową bitową sekwencję kodową. że dla dwóch dowolnych ciągów symboli wyjściowych (s1 . nad alfabetem AS . Należy również zaznaczyć.. 1 2 t 1 2 r i i Implikacja ta wyraża jednoznaczność dekodowania. Shannon) Średnia ilość bitów przypadająca na jeden zakodowany symbol LS jest nie mniejsza od entropii H(S) źródła. Pytamy więc o graniczną. wszystkich niepustych i skończonych ciągów informacji nad alfabetem {0. Jest to oczywiście podyktowane względami praktycznymi.. . . możliwą do uzyskania. Koderem nazywamy natomiast konkretną realizację algorytmu kodowania. E.1} przekształcające n . w przeciwieństwie do np. .Wstęp do teorii Informacji i kodowania 2 Kodowanie Huffmana Przed przystąpieniem do omawiania kodowania Huffmana przytoczymy podstawowe definicje i zasady kodowania [1]..1 Teoretyczne podstawy kodowania Niech S będzie pewnym probabilistycznym źródłem informacji o alfabecie AS .. Z powyższych definicji wynika.. Poniższe twierdzenie Shannona mówi o minimalnej wartości średniej bitowej reprezentacji kodowej. wszystkich niepustych i skończonych ciągów informacji nad alfabetem A o n symzbiór AS S bolach. s1 ) = K(s2 . s1 . uzyskanej z kodera realizującego algorytm opisany funkcją kodującą K.. s2 ).. Injektywność odwzorowania K oznacza. że w przypadku kodowania wymaga się aby na podstawie reprezentacji kodowej. i = 1. Tak więc wymaga się..

. ale nie mniejsza niż entropia źródła S. Wybierz dwa wierzchołki wolne z końca listy i połącz je z tworzonym węzłem rodzica w nowe poddrzewo. Zakła5 damy. Optymalną metodą kodującą jest metoda Huffmana. Posortowana według wartości prawdopodobieństw lista wierzchołków Centrum Modelowania Matematycznego Sigma 8 . 4. W kodzie Huffmana częściej występującym symbolom będą przypisane krótsze słowa kodowe. Ponadto. Postępujemy teraz zgodnie z punktami 2 – 5 opisanego wyżej algorytmu. 0 dla gałęzi prowadzącej do węzła z końca listy. C. a na ich miejsce wpisujemy nowo utworzony węzeł rodzica. 3. Sortuj listę wierzchołków wolnych w porządku nierosnącym ze względu na wartość prawdopodobieństwa. Symbole ze zbioru S wraz z prawdopodobieństwami przypisz liściom konstruowanej struktury drzewa binarnego. . których prawdopodobieństwa wystąpienia wynoszą odpowiednio p1 . Prawdopodobieństwo nowego wierzchołka ustalamy jako sumę prawdopodobieństw dzieci. Stanowią one początkowy zbiór wierzchołków wolnych. W ostatnim kroku odczytujemy ze struktury otrzymanego drzewa słowa kodowe kolejnych liści. . Z listy usuwamy dwa ostatnie wierzchołki. Przykład 3 Dany niech będzie ciąg symboli s nad alfabetem AS = {A.Wstęp do teorii Informacji i kodowania Metoda bezstratnego kodowania jest więc tym lepsza im użyta przez nią średnia ilość bitów na zakodowany symbol jest bliższa entropii źródła. 5. dla danego liścia. 2. Kodowanie Huffmana zbioru symboli S przebiega według następującego algorytmu ([1]): 1. Przykładowo. E}. Jedna z wersji twierdzenia Shannona mówi. że każde źródło danych może być bezstratnie zakodowane przy użyciu bijektywnej funkcji kodującej. pD = 36 i pE = 36 . D. natomiast rzadziej występującym dłuższe. dwa symbole występujące najrzadziej będą miały słowa kodowe o tej samej długości. pC = 36 . B. Przypisz gałęziom prowadzącym od rodzica do węzłów-dzieci etykiety: 0 i 1. której wymagana średnia liczba bitów na symbol źródła jest dowolnie bliska.2 Kod Huffmana Niech S = {s1 . . Słowa te. . 6 3 4 18 pB = 36 . tworzymy odczytując binarne etykiety kolejnych gałęzi przy przejściu od korzenia do tego liścia. sn } będzie zbiorem symboli. . pn . że symbole tego alfabetu występują odpowiednio z prawdopodobieństwami pA = 36 . Wierzchołki te będą łączone w nowe poddrzewa z węzłem rodzica umieszczonym na wyższym poziomie drzewa. 2. 6. . Kroki 2 – 5 powtarzaj tak długo aż na liście wierzchołków wolnych pozostanie tylko jeden węzeł (korzeń drzewa). 7. .

D + E}. Metody bezstratne. Prawdopodobieństwo nowego węzła wynosi pD + pE = pE+D = 36 . Rafał Sztencel. Kompresja danych .wykłady. a pozostałe symbole kodowane są na 3 bitach. 37059. Tak więc na zakodowanie symbolu B potrzeba 1 bitu. C + A. Średnia ilość bitów przypadająca na jeden zakodowany symbol wynosi: LS = 3 · pA + 1 · pB + 3 · pC + 3 · pD + 3 · pE = 2. (C + A) + (D + E)}. Kodery obrazów. E + D. C → 011.Wstęp do teorii Informacji i kodowania wolnych ma postać: {B. 1 pC + Literatura [1] Artur Przelaskowski. Ponieważ lista zawiera już tylko jeden wierzchołek (korzeń drzewa). Posortowana lista ma teraz postać: {B. Warszawa 2001. D → 000 oraz E → 001. Wierzchołki D i E łączymy z tworzonym węzłem ro7 dzica oznaczonym E + D. Systemy multimedialne . D}. W kolejnym kroku łączymy wierzchołki C i A z węzłem rodzica oznaczonym C + A. Lista składa się teraz już tylko z dwóch elementów 36 {B. C. Następ36 nie łączymy C + A i D + E z węzłem rodzica (C + A) + (D + E) o prawdopodobieństwie pC+A + pD+E = p(C+A)+(D+E) = 18 .Podstawy. CMM Sigma. 2007. [2] Grzegorz Kraszewski. A}. [4] Paweł Przybyłowicz. BTC. C. B → 1. [3] Jacek Jakubowski. W ostatnim kroku łączymy wierzchołki B i (C + A) + (D + E) z węzłem rodzica oznaczonym przez B + ((C + A) + (D + E)). Warszawa 2005. Matematyczne podstawy kompresji JPEG. Wstęp do teorii prawdopodobieństwa. więc możemy odczytać odpowiednie słowa kodowe dla symboli alfabetu: A → 010. Uaktualniona lista wierzchołków ma teraz postać {B. A. Centrum Modelowania Matematycznego Sigma 9 . Jego prawdopodobieństwo wynosi pC + pA = pC+A = 11 . E. SCRIPT. tymczasem entropia źródła H(S) = pA log2 pD log2 1 pA 1 pD + pB log2 + pE log2 1 pB 1 pE + pC log2 = 1.

Sign up to vote on this title
UsefulNot useful