You are on page 1of 9

Wstęp do teorii Informacji i kodowania

Wstęp do teorii Informacji i kodowania
Paweł Przybyłowicz
14 maja 2008

Streszczenie W artykule przybliżamy czytelnikowi podstawowe pojęcia z dziedziny Teorii Informacji, takie jak, subiektywne i obiektywne podejścia do informacji, model źródła informacji czy też entropia. Ponadto, omawiamy kodowanie Huffmana, które jest jednym z najczęściej wykorzystywanych narzędzi przy konstruowaniu algorytmów kompresji dźwięku i obrazu. Słowa kluczowe: teoria informacji, kodowanie, entropia, kod Huffmana, twierdzenie Shannona

1

Wstęp do teorii informacji

Tak jak nie ma jednej prostej definicji życia mimo, że jego istota wydaje się intuicyjnie jasna, tak nie ma jednej definicji informacji. Przyjmuje się, że informacja jest pojęciem pierwotnym, tak jak w aksjomatyce teoriomnogościowej pojęciem pierwotnym jest zbiór. Oznacza to, że ścisłe jej zdefiniowanie za pomocą pojęć prostszych nie jest możliwe. Sens pojęcia informacji wyjaśnia się na poziomie odpowiadającym naszej intuicji. Mianowicie, istnieją dwa podstawowe punkty widzenia informacji: • obiektywny - jest to podejście matematyczne, które opiera się na pojęciu entropii. W tym przypadku informacja oznacza pewną własność fizyczną lub strukturalną obiektów. • subiektywny - informacja ma charakter względny i jest tym, co umysł jest w stanie przetworzyć i wykorzystać do własnych celów. Rozwiniemy teraz szerzej te dwa wątki [1].

Centrum Modelowania Matematycznego Sigma

1

Na jego podstawie definiuje się ciągi informacji. nie znamy dokładnie wartości prawdopodobieństw występowania określonych symboli w ciągu informacji. β.Wstęp do teorii Informacji i kodowania 1. Jeśli bowiem wiemy jaki symbol otrzymamy to znaczy. Wydaje się to intuicyjnie jasne. w pewnym bardzo ograniczonym zakresie. 2 1 Centrum Modelowania Matematycznego Sigma 2 . W praktycznych zastosowaniach wykorzystuje się głównie pojęcie informacji ze zbiorem dyskretnym. β. ze skończoną liczbą symboli. informacja jest mierzona jako prawdopodobieństwo zajścia zdarzenia. że informacja jest realizacją pewnej zmiennej losowej (dokładniej . co dokładnie otrzyma. które możemy przesuwać wzdłuż i wszerz obrazu. Jeśli T jest zbiorem dyskretnym. opisującego informację. Zawiera on wszystkie podstawowe symbole wyrażające informację. gdzie T jest zbiorem indeksów. β.. Natomiast jeśli będziemy zaskoczeni kolejnymi kolorami. w teorii informacji Shannona. wówczas mówimy o szeregu czasowym. jako poziom niepewności odbiorcy związanej z tym. Jeśli zbiór T jest nieprzeliczalny. że informację już posiadamy i nic nowego się nie dowiemy. α..1 Podejście obiektywne Definicja obiektywna informacji polega na przyjęciu określonych modeli źródeł informacji oraz ustaleniu obliczeniowej miary jej ilości. Procesem stochastycznym nazywamy rodzinę zmiennych losowych {Xt }t∈T .). tzn. wówczas model ten nazywamy modelem z pełną informacją statystyczną. Informację można więc zdefiniować. Prawdopodobieństwa te przybliża się przyjmując za estymator liczbę wystąpień danego Przy założeniu. Kolejność pojawiania się tych ciągów jest istotą obiektywnego pojęcia informacji. Wyobraźmy sobie zatem. że oglądamy pewien rysunek poprzez niewielkie okienko. nazywamy źródłem informacji i oznaczamy przez S. Zatem na podstawie danego zbioru pikseli możemy szacować prawdopodobieństwo wystąpienia określonych sąsiadujących pikseli. że artysta który go stworzył nie był zbyt ekscentryczny. które są nieokreślone w tym sensie.szeregu czasowego)2 .: T = [0. Jeśli po przesunięciu okienka okaże się. zazwyczaj interpretowanym jako czas. W praktyce. . Na przykład. W tym przypadku określa się tak zwany alfabet. takie jak na przykład rozkład prawdopodobieństwa szeregu czasowego. np. 1. Wyróżnia się informację ze zbiorem dyskretnym. wówczas płynąca z tego informacja będzie niewielka.1 Modele źródeł informacji Matematyczny model obiektu fizycznego. oraz ciągłym – nieprzeliczalnym. Zdarzenia mniej prawdopodobne dają więcej informacji. zazwyczaj. β}. że odbiorca nie ma pewności. Przykład 1 Przykładem alfabetu może być zbiór dwuelementowy A = {α. czyli zbiór informacji elementarnych. 1] wtedy mówimy o procesie stochastycznym z czasem ciągłym. których w danym momencie nie widzimy. że dobrze przewidzieliśmy. przewidywać kolejne kolory jakie się będą pojawiać przy powolnym przesuwaniu okienka. W takim przypadku informację stanowią tylko te symbole. wówczas zysk informacyjny będzie znaczny. możemy 1 jednak. co jest przekazywane. W danym momencie obserwujemy jedynie niewielki jego fragment. natomiast przykładowym ciągiem informacji nad alfabetem A jest ciąg s(A) = (α. który w sposób probabilistyczny generuje sukcesywnie symbole. Takie zdefiniowanie źródła informacji oznacza założenie. Jeśli dodatkowo znane są własności statystyczne.1.

. a3 . . i=1 że prawdopodobieństwo wystąpienia łańcucha informacji (a2 .. rzadko kiedy znamy rozkład prawdopodobieństwa zmiennej losowej. można na podstawie przeszłości (czyli st ) przewidywać postać kolejnego symbolu. a9 .Wstęp do teorii Informacji i kodowania symbolu w ogóle podzieloną przez liczbę wystąpień wszystkich symboli. W modelu CSM w każdej konkretnej chwili czasowej t. k. że założenie statystycznej niezależności emisji kolejnych symboli jest nadmiernym uproszczeniem w stosunku do rzeczywistości i jest rzadko spełnione w praktyce.. W szczególnym przypadku.. Oczywiście szczególnym przypadkiem modelu CSM jest DMS oraz omówiony w kolejnym podpunkcie model źródła Markowa.. gdzie N (ai . . st ). Centrum Modelowania Matematycznego Sigma 3 . Kontekst wystąpienia symbolu st+1 jest to podzbiór. Zatem pamięć źródła informacji ma wpływ na prawdopodobieństwo wystąpienia określonego symbolu w momencie t + 1. a4 ) wynosi P ({a2 . natomiast N (bj ) jest liczbą wystąpień kontekstu bj . zbioru wszystkich dostępnych z przeszłości danych st . warunkowego modelu źródła. W celu lepszego opisania rzeczywistej informacji zawartej w zbiorze danych używa się tzw. Predykcja ta jest możliwa poprzez określenie rozkładu warunkowego P (·|st ). określające szansę wystąpienia symbolu ai w kontekście bj (który wystąpił w momencie czasowym j). . n. bj ) oznacza łączną liczbę wystąpień symbolu ai i kontekstu bj . Z niezależności emisji kolejnych symboli wynika na przykład. Na przykład w obrazach sąsiednie piksele wykazują dużą wzajemną korelację chyba. której realizacją jest informacja. N (bj ) = 3 Postać tego estymatora wynika ze wzoru na prawdopodobieństwo warunkowe. prawdopodobieństwo warunkowe.. Jak już wspomnieliśmy wcześniej. po wcześniejszym odebraniu ze źródła sekwencji symboli st = (s1 . a2 . Brak pamięci oznacza.. estymujemy za pomocą wzoru 3 P ({ai }|{bj }) = N (ai . a9 .. że symbole emitowane przez źródło są wzajemnie statystycznie niezależne. N (bj ) i = 1. a3 . W praktyce.. to pi ≥ 0 oraz n P ({ai }) = 1. zazwyczaj skończony.. Ponieważ liczby pi mają być rozkładem prawdopodobieństwa pewnej zmiennej losowej s o wartościach w zbiorze AS . CSM – Conditional Source Model Nietrudno się domyśleć. Źródło DMS jest całkowicie określone przez alfabet AS = {a1 . Aby odróżnić go od modelu DMS nazywa się go także modelem z pamięcią.. . j = 1.. a4 }) = P ({a2 })P ({a9 })P ({a3 })P ({a4 }). że ktoś generował je celowo w sposób całkowicie losowy. bj ) . gdy dla pewnego j. DMS – Discrete Memoryless Source Dyskretne źródło bez pamięci jest najprostszą formą źródła informacji S. Losowy model źródła informacji odpowiada wspomnianej wyżej niepewności otrzymywania kolejnych symboli. an } oraz wartości prawdopodobieństw pi = P ({ai }) wystąpienia poszczególnych elementów ze zbioru AS .

1] → R jest odwzorowaniem ciągłym. P ({ai }|{bj }) = P ({ai }|{aj1 . . Matematycznym wyrazem tej własności jest P (Xt ≤ z|{Xr : 0 ≤ r ≤ s}) = P (Xt ≤ z|Xs ). Niech spełnia ona powyższe założenia. niż zajście zdarzenia o dużym prawdopodobieństwie..Wstęp do teorii Informacji i kodowania 0. jm = 1. n. że dany kontekst jeszcze się nie pojawił. Oznaczmy przez I funkcję. 4 Centrum Modelowania Matematycznego Sigma 4 . • Addytywność miary ilości dostarczonej informacji – informacja związana z wystąpieniem dwóch niezależnych zdarzeń jest równa sumie informacji zawartej w każdym z tych zdarzeń. Nazwa ta pochodzi od procesów Markowa. 1.. wtedy za P ({ai }|{bj }) przyjmuje się dowolną wartość z przedziału [0. aby spełniała trzy założenia: • Ilość informacji zawarta w wiadomości o wystąpieniu zdarzenia A powinna zależeć jedynie od prawdopodobieństwa zajścia tego zdarzenia..2 Entropia – ilościowa miara informacji Omówiliśmy najczęściej wykorzystywane. że zdarzenie o prawdopodobieństwie p niesie ilość informacji. probabilistyczne źródła informacji. W teorii informacji wymaga się od miary ilościowej. W tym przypadku można zastosować tzw. . Pojawia się teraz pytanie jak ilościowo mierzyć informacje w tych modelach. na którą składają się kolejne symbole pojawiające się w kolejnych chwilach czasowych. która niewiele różni się od ilości informacji uzyskanej przez zajście zdarzenia o prawdopodobieństwie p + ǫ.. Nieformalnie oznacza to.. technikę Bayesowską.. dla dowolnego s ≤ t.. W porównaniu do modelu CSM. która prawdopodobieństwu zajścia zdarzenia A przypisuje pewną liczbę rzeczywistą.. 1]. którego rozkład prawdopodobieństwa w danej chwili t nie zależy od całej historii procesu. t ∈ T i z ∈ R. j1 . co oznacza. gdzie ǫ > 0 jest dowolnie małą liczbą.. ajm }). Wartość tej funkcji będziemy interpretować jako ilość uzyskanej informacji. aby ta zależność była ciągła. Dodatkowo zakłada się. MSM – Markov Source Model Model źródła Markowa4 jest to model w którym prawdopodobieństwo wystąpienia symbolu ai z alfabetu źródła zależy jedynie od m symboli. . Wówczas: • Funkcja I : (0. polegającą na założeniu z góry pewnego rozkładu dla źródła informacji. Proces Markowa jest to taki proces stochastyczny {Xt }t∈T . • Zajście zdarzenia mniej prawdopodobnego dostarcza więcej informacji. s. tylko zapominamy jej część. w modelu Markowa nie korzystamy z całej historii. lecz jedynie od jego zachowania w momencie bliskim chwili t. i. jakie się już bezpośrednio przed nim pojawiły.

6 7 5 Funkcja ta jest wyznaczona przez powyższe postulaty z dokładnością do stałej. (2) Wielkość ta nosi nazwę entropii zmiennej X. Zauważmy. W teorii informacji wielkość I({ai }) = − log2 pi . to średnia ilość informacji z obserwacji zmiennej losowej X wynosi k k H(X) = i=1 pi I(pi ) = − i=1 pi log2 (pi ). Niech dana będzie zmienna losowa X o rozkładzie dyskretnym pi = P (X = αi ). Mianowicie. że jest bardzo mało prawdopodobne ogromnie wzbogaca naszą wiedzę. · pAk ) = I(pA1 ) + I(pA2 ) + .. (1) Szukamy więc funkcji rzeczywistej. ciągłej. że I(1) = 0 – zajście zdarzenia o prawdopodobieństwie 1 nie daje żadnej dodatkowej informacji. która spełnia równanie funkcyjne (1). k ∈ N \ {0. i = 1.. 1}. nazywana jest informacją własną. k. Interpretuje się ją jako średnią ilość informacji przypadającą na generowany symbol. p ∈ (0.Wstęp do teorii Informacji i kodowania • Jeżeli pA ≤ pB oznaczają odpowiednio prawdopodobieństwa zdarzeń A i B. p→0 więc zajście zdarzenia o którym sądzimy.. Zauważmy.. W ich przypadku lim I(p) = +∞. że warunek (1) możemy indukcyjnie uogólnić na dowolną skończoną ilość zdarzeń niezależnych {Ai }k o prawdopodobieństwach {pAi }k .. zamiast I(p). + I(pAk ). . gdzie αi mogą być liczbami rzeczywistymi lub ciągami informacji nad pewnym alfabetem.. aby zanikła wszelka niepewność z sekwencji tych symboli. nierosnącej. ponad to co już wiemy. Zajście zdarzenia {X = αi } daje nam ilość informacji równą I(pi ) = − log2 pi . Będziemy też czasem. Ponieważ każde ze zdarzeń {X = αi } zachodzi z prawdopodobieństwem pi . Odwrotnie jest ze zdarzeniami o prawdopodobieństwie bliskim 0. jeśli funkcja I spełnia (1) to spełnia i=1 i=1 również: I(pA1 · pA2 · . gdzie A jest zdarzeniem o prawdopodobieństwie p. k ∈ N \ {0.. że taką funkcją jest 6 7 I(p) = log2 1 p . którą należy dostarczyć. Z teorii równań funkcyjnych wynika. to I(pA ) ≥ I(pB ). pisać I(A). 1}. związana z prawdopodobieństwem wystąpienia pojedynczego symbolu ai . 1]. Centrum Modelowania Matematycznego Sigma 5 . • Funkcja I spełnia warunek 5 I(pA · pB ) = I(pA ) + I(pB ). gdzie pA i pB są prawdopodobieństwami zdarzeń niezależnych A i B.

Z tych względów w kodowaniu wykorzystuje się podejście obiektywne do informacji. w modelu źródła S bez pamięci DMS entropia wynosi: n HDM S (S) = i=1 P ({ai })I({ai }). co informacja ze sobą niesie. Okazuje się. Semantyka informacji ma znaczenie w podejściu subiektywnym do definicji informacji. 1. W informatyce jeden bit oznacza ilość informacji potrzebną do zakodowania. Informację można też zdefiniować poprzez jej użyteczność dla konkretnego odbiorcy. gdy ktoś oznajmia. Twierdzenie 1 (Zasada Landauera) Wymazanie jednego bitu informacji w otoczeniu o temperaturze T wymaga straty energii (wydzielenia ciepła) o wartości co najmniej kT ln 2. Oczywiście takie podejście wiąże się z dużą niejednoznacznością i problemami w definiowaniu miar ilości informacji. czy też zdjęć satelitarnych jest na tyle ważna. Na przykład wiadomość o wygranej w Toto-Lotku dla posiadacza szczęśliwego losu stanowi informację wprost bezcenną. Mówi o tym Zasada Landauera. 2 Również dla zdarzenia przeciwnego A′ mamy P (A′ ) = 1 − P (A) = 1 oraz I(A′ ) = 1. Również jeden bit informacji zyskujemy. że informacja jest wielkością fizyczną.stała Boltzmanna i k = 1. (3) gdzie n oznacza liczbę symboli ai alfabetu AS . a skupia się jedynie na jego składni. jakie niesie komunikat. co można użyć do efektywniejszego wyboru działań prowadzących do określonego celu [1].Wstęp do teorii Informacji i kodowania Przykład 2 Przykładowo. gdy zachodzi jedna z dwóch alternatywnych możliwości 8 . że dla zdarzenia A o prawdopodobieństwie P (A) = 1 informacja I(A) = 1. że powinna zostać uwzględniona w procesie optymalizacji algorytmów kompresji. Na przykład poznany wynik rzutu monetą niesie jeden bit informacji. że w wyniku rzutu sześcienną symetryczną kostką do gry wypadła parzysta liczba oczek. Obiektywny punkt widzenia informacji pomija znaczenie. Podstawa równa 2 oznacza. We wzorze (2) można przyjąć inną podstawę logarytmu.3 Podejście subiektywne Z subiektywnego punktu widzenia informacją jest to wszystko.38 × 10−23 J/K. W takich przypadkach podejście subiektywne stanowi pewne uzupełnienie podejścia obiektywnego. Zauważmy. Tak 2 więc jeden bit to ilość informacji jaką uzyskujemy. semantyka obrazów medycznych. Jednak nie zawsze można całkowicie pominąć aspekt znaczeniowy. natomiast dla osoby. 8 Centrum Modelowania Matematycznego Sigma 6 . która w takie gry w ogóle nie gra wynik losowania nie stanowi żadnej informacji. że średnią ilość informacji wyrażamy w bitach na symbol. że nie prowadzi się rozważań dotyczących prawdziwości czy znaczenia tego. Przykładowo. z jego punktu widzenia. które z dwóch równie prawdopodobnych alternatywnych zdarzeń zaszło. gdzie k . która określa jednostkę uzyskanej informacji. Oznacza to.

wszystkich niepustych i skończonych ciągów informacji nad alfabetem A o n symzbiór AS S bolach.1} przekształcające n . .. w przeciwieństwie do np.. zwaną reprezentacją kodową. Definicja 2 Algorytm kodowania jest to sposób w jaki funkcja kodująca przekształca wejściowy ciąg informacji w wyjściową bitową sekwencję kodową... Centrum Modelowania Matematycznego Sigma 7 . s2 ..1} A{0..Wstęp do teorii Informacji i kodowania 2 Kodowanie Huffmana Przed przystąpieniem do omawiania kodowania Huffmana przytoczymy podstawowe definicje i zasady kodowania [1]. t). Shannon) Średnia ilość bitów przypadająca na jeden zakodowany symbol LS jest nie mniejsza od entropii H(S) źródła. efektywność kodowania. E. Twierdzenie 2 (C. że koduje się jedynie skończone ciągi symboli. s1 ) = K(s2 . że dla każdej reprezentacji kodowej istnieje pewien wyjściowy ciąg informacji (każdy kod można odkodować). wszystkich niepustych i skończonych ciągów informacji nad alfabetem {0... Zakładamy więc bijektywność funkcji K. można było jednoznacznie odtworzyć oryginalny zbiór symboli wejściowych. s1 ) i (s2 . Injektywność odwzorowania K oznacza. s1 . s1 . 1 2 t 1 2 r i i Implikacja ta wyraża jednoznaczność dekodowania. aby reprezentacja kodowa była jednoznacznie dekodowalna. możliwą do uzyskania. że w przypadku kodowania wymaga się aby na podstawie reprezentacji kodowej. s2 ) =⇒ (t = r ∧ s1 = s2 . Surjektywność K oznacza.. s2 ). Jest to oczywiście podyktowane względami praktycznymi.. . metod szyfrowania. spełniona jest implikacja: r t 1 2 1 2 K(s1 . Poniższe twierdzenie Shannona mówi o minimalnej wartości średniej bitowej reprezentacji kodowej. w zbiór A∗ . Pytamy więc o graniczną. sekwencji danych uzyskanego ze źródła informacji S. które go wygenerowało H(S) ≤ LS .1 Teoretyczne podstawy kodowania Niech S będzie pewnym probabilistycznym źródłem informacji o alfabecie AS . nad alfabetem AS ... 1}. s2 . i = 1. . Należy również zaznaczyć.1} = {0. Z powyższych definicji wynika. Tak więc wymaga się. chcemy aby reprezentacja binarna była możliwie jak najkrótsza i aby oczywiście zachowywała całą informację dostarczoną przez źródło. 2.. . W przypadku kodowania binarnego. . Koderem nazywamy natomiast konkretną realizację algorytmu kodowania... że dla dwóch dowolnych ciągów symboli wyjściowych (s1 . Definicja 1 Funkcją kodującą nazywamy odwzorowanie K : An → A∗ S {0. uzyskanej z kodera realizującego algorytm opisany funkcją kodującą K.

Postępujemy teraz zgodnie z punktami 2 – 5 opisanego wyżej algorytmu. 5. Z listy usuwamy dwa ostatnie wierzchołki. D. Kodowanie Huffmana zbioru symboli S przebiega według następującego algorytmu ([1]): 1. C. Wybierz dwa wierzchołki wolne z końca listy i połącz je z tworzonym węzłem rodzica w nowe poddrzewo. Słowa te. 4. których prawdopodobieństwa wystąpienia wynoszą odpowiednio p1 . Wierzchołki te będą łączone w nowe poddrzewa z węzłem rodzica umieszczonym na wyższym poziomie drzewa. 6. dla danego liścia. B. .Wstęp do teorii Informacji i kodowania Metoda bezstratnego kodowania jest więc tym lepsza im użyta przez nią średnia ilość bitów na zakodowany symbol jest bliższa entropii źródła. Jedna z wersji twierdzenia Shannona mówi. ale nie mniejsza niż entropia źródła S. Kroki 2 – 5 powtarzaj tak długo aż na liście wierzchołków wolnych pozostanie tylko jeden węzeł (korzeń drzewa). . natomiast rzadziej występującym dłuższe. . . Optymalną metodą kodującą jest metoda Huffmana. Przykład 3 Dany niech będzie ciąg symboli s nad alfabetem AS = {A. pC = 36 .2 Kod Huffmana Niech S = {s1 . Przykładowo. Zakła5 damy. 0 dla gałęzi prowadzącej do węzła z końca listy. W ostatnim kroku odczytujemy ze struktury otrzymanego drzewa słowa kodowe kolejnych liści. że symbole tego alfabetu występują odpowiednio z prawdopodobieństwami pA = 36 . 2. 7. . że każde źródło danych może być bezstratnie zakodowane przy użyciu bijektywnej funkcji kodującej. Stanowią one początkowy zbiór wierzchołków wolnych. E}. Sortuj listę wierzchołków wolnych w porządku nierosnącym ze względu na wartość prawdopodobieństwa. pn . a na ich miejsce wpisujemy nowo utworzony węzeł rodzica. . Przypisz gałęziom prowadzącym od rodzica do węzłów-dzieci etykiety: 0 i 1. . Ponadto. której wymagana średnia liczba bitów na symbol źródła jest dowolnie bliska. 3. . 2. Posortowana według wartości prawdopodobieństw lista wierzchołków Centrum Modelowania Matematycznego Sigma 8 . pD = 36 i pE = 36 . Prawdopodobieństwo nowego wierzchołka ustalamy jako sumę prawdopodobieństw dzieci. Symbole ze zbioru S wraz z prawdopodobieństwami przypisz liściom konstruowanej struktury drzewa binarnego. W kodzie Huffmana częściej występującym symbolom będą przypisane krótsze słowa kodowe. tworzymy odczytując binarne etykiety kolejnych gałęzi przy przejściu od korzenia do tego liścia. dwa symbole występujące najrzadziej będą miały słowa kodowe o tej samej długości. sn } będzie zbiorem symboli. 6 3 4 18 pB = 36 .

Uaktualniona lista wierzchołków ma teraz postać {B. W ostatnim kroku łączymy wierzchołki B i (C + A) + (D + E) z węzłem rodzica oznaczonym przez B + ((C + A) + (D + E)). Warszawa 2001. C + A.wykłady. Średnia ilość bitów przypadająca na jeden zakodowany symbol wynosi: LS = 3 · pA + 1 · pB + 3 · pC + 3 · pD + 3 · pE = 2. Następ36 nie łączymy C + A i D + E z węzłem rodzica (C + A) + (D + E) o prawdopodobieństwie pC+A + pD+E = p(C+A)+(D+E) = 18 . a pozostałe symbole kodowane są na 3 bitach. D → 000 oraz E → 001. Kompresja danych . Matematyczne podstawy kompresji JPEG. Ponieważ lista zawiera już tylko jeden wierzchołek (korzeń drzewa).Wstęp do teorii Informacji i kodowania wolnych ma postać: {B. C. SCRIPT. A}. tymczasem entropia źródła H(S) = pA log2 pD log2 1 pA 1 pD + pB log2 + pE log2 1 pB 1 pE + pC log2 = 1. 2007. [2] Grzegorz Kraszewski. Rafał Sztencel. Wierzchołki D i E łączymy z tworzonym węzłem ro7 dzica oznaczonym E + D. E + D. Metody bezstratne. 1 pC + Literatura [1] Artur Przelaskowski. Centrum Modelowania Matematycznego Sigma 9 . D}. CMM Sigma. E. Warszawa 2005. 37059. [4] Paweł Przybyłowicz. więc możemy odczytać odpowiednie słowa kodowe dla symboli alfabetu: A → 010. A. (C + A) + (D + E)}. Tak więc na zakodowanie symbolu B potrzeba 1 bitu. Wstęp do teorii prawdopodobieństwa. Posortowana lista ma teraz postać: {B. W kolejnym kroku łączymy wierzchołki C i A z węzłem rodzica oznaczonym C + A. Systemy multimedialne . B → 1. [3] Jacek Jakubowski. BTC. C → 011. C. D + E}.Podstawy. Jego prawdopodobieństwo wynosi pC + pA = pC+A = 11 . Lista składa się teraz już tylko z dwóch elementów 36 {B. Kodery obrazów. Prawdopodobieństwo nowego węzła wynosi pD + pE = pE+D = 36 .