Wstęp

Opis formalny
Narzędzia
Ocena

Model probabilistyczny zadania rozpoznawania jako opis niepewnej

informacji

Grzegorz Mianowski

Sudium Podstawowych problemów Informatyki

3. rok

10 marca 2008

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Motto

”Wątpliwość nie jest przyjemnym stanem umysłu,

lecz pewność jest stanem śmiesznym”
Wolter

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Opisy niepewności

Model współczynnika pewności

Teoria ewidencji Dempstera-Schafera

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Opisy niepewności

Model współczynnika pewności

Teoria ewidencji Dempstera-Schafera

Model probabilistyczny
(statystyczny)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Zadanie rozpoznawania

ψ:X→M

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Zadanie rozpoznawania

ψ:X→M
x = (x (1) , x (2) , . . . , x (d) ) ∈ X

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Zadanie rozpoznawania

ψ:X→M
x = (x (1) , x (2) , . . . , x (d) ) ∈ X
i, j ∈ M

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Zadanie rozpoznawania

ψ:X→M
x = (x (1) , x (2) , . . . , x (d) ) ∈ X
i, j ∈ M
(X , J)-para zmiennych losowych

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Zadanie rozpoznawania

ψ:X→M
x = (x (1) , x (2) , . . . , x (d) ) ∈ X
i, j ∈ M
(X , J)-para zmiennych losowych
założenie ułatwiające: X ⊆ Rd
X ciągła

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Zadanie rozpoznawania

ψ:X→M
x = (x (1) , x (2) , . . . , x (d) ) ∈ X
i, j ∈ M
(X , J)-para zmiennych losowych
założenie ułatwiające: X ⊆ Rd
X ciągła
dlaczego ułatwiające?

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Ważne pojęcia

Prawdopodobieństwo a priori klas

P(J = j) = pj j ∈M

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Ważne pojęcia

Prawdopodobieństwo a priori klas

P(J = j) = pj j ∈M

Warunkowa gęstość cech w klasie

f (x/j) = fj (x), x ∈ X

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Ważne pojęcia

Prawdopodobieństwo a priori klas

P(J = j) = pj j ∈M

Warunkowa gęstość cech w klasie

f (x/j) = fj (x), x ∈ X

Bezwarunkowa gęstość prawdopodobieństwa zmiennej losowej X

X
f (x) = pj fj (x), x ∈ X
j∈M

∀x ∈ X f (x) > 0

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Funkcja strat (ang. loss function)

Założenie
0 ≤ L(i, j) < ∞ i, j ∈ M

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Funkcja strat (ang. loss function)

Założenie
0 ≤ L(i, j) < ∞ i, j ∈ M

Rada (tak się zazwyczaj przyjmuje)

∀j ∈ M L(j, j) = 0

Zerojedynkowa funkcja strat


0 dla i = j,
L(i, j) =
1 6 j.
dla i =

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Warunkowe prawdopodobieństwo klasyfikacji

Wynik rozpoznawania
I = ψ(X )

R
q(i, j) = P(I = i/J = j) = fj (x)dx, i, j ∈ M
(i)
Dx

Prawdopodobieństwo poprawnej klasyfikacji przez algorytm ψ (dla

danej klasy)
q(j, j)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Prawdopodobieństwa średnie

Średnie prawdopodobieństwo poprawnej klasyfikacji

X X Z
Pc[ψ] = f (x) = pj q(j, j) = f (x) = pj fj (x)dx
j∈M j∈M (j)
Dx

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Prawdopodobieństwa średnie

Średnie prawdopodobieństwo poprawnej klasyfikacji

X X Z
Pc[ψ] = f (x) = pj q(j, j) = f (x) = pj fj (x)dx
j∈M j∈M (j)
Dx

Średnie prawdopodobieństwo błędu

X X
Pe[ψ] = 1 − Pc[ψ] = pj q(i/j)
j∈M i∈M,i6=j

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Ryzyko

Średnie ryzyko

R[ψ] = EI ,J [L(I , J)] = EX ,J [L(ψ(X ), J)]

Ryzyka warunkowe
Z
rj = EX /j [L(ψ(X ), j)] = L(i, j)fj (x)dx
X

Średnie ryzyko
X
R[ψ] = pj rj
j∈M

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Prawdopodobieństwo a posteriori klasy j-ej

Dla pojedynczej klasy

pj fj (x)
pj (x) =
f (x)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

 Wstęp
Opis formalny
Narzędzia
Ocena

Dziękuję za uwagę.

Grzegorz Mianowski Rozpoznawanie - probabilistycznie