- 28 -

Processus Stochastiques
Definition. Caractrisation d'ordre N. Moments. Stationnarit. Ergodicit.
Processus Gaussiens. Processus Markoviens. Thorme de Mercer,
reprsentation de Karhunen-Love. Reprsentation spectrale. Processus blancs.
Modles paramtriques (AR, MA, ARMA). Modles d'tat. Dcomposition de
Wold.

1. Dfinition et proprits
1.1 Dfinition
Un processus alatoire (ou stochastique) (p.s.) peut tre dfini de deux faons:

une application de S -- l'espace des ralisations -- dans un espace de fonctions de variable

relle (temps)
x (t ): S F
x(t , ), t T
que, chaque vnement lmentaire fait correspondre une fonction du temps;
une collection de variables alatoires indexes
x(t ) x(t ), t T,
o x ( t ) est une variable alatoire pour chaque t.

Les deux dfinitions sont quivalentes, et on utilisera une et l'autre selon le problme en tude.

La figure suivante illustre ces deux dfinitions:

Exemple
Dans cet exemple on considre un processus alatoire dfini partir d'une seule variable alatoire
uniformment distribue en [0,1], de la faon suivante:
 - 29 -

s (1, ) ( )
s ( k 1, ) ( s ( k , ) ) 1 , k 2 , 3, 4 ,...
o ( a ) b est le rsultat de la division entire de a par b, et est un nombre irrationnel.
La figure suivante illustre une des ralisations possibles de ce processus.

Le caractre alatoire du processus est plus clairement mis en vidence par la figure suivante, o sont
reprsentes trois ralisations du processus, obtenues partir de trois conditions initiales diffrentes:

Exemple
Dans cet exemple, on prsente un processus qui est plus naturellement modlis comme un ensemble de
variables alatoires indexes.
Considrons le procssus alatoire discret s( k ), k 1,...
s (1) 0,
s ( k 1) s ( k ) ( k ), k 2 , 3,...
o les variables alatoires ( k ) sont iid, gaussiennes, de moyenne nulle et variance 2.
La figure suivante illustre quelques ralisations de ce processus.
 - 30 -

1.2 Caractrisation statistique

1.2.1 Caractrisation d'ordre N

La caractrisation d'ordre N d'un processus alatoire consiste spcifier la densit de
probabilit conjointe de tous les ensembles x ( t1 ), x ( t2 ),L , x ( t N ) , t1 , t2 ,L , t N T :
px ( t1 ) x ( t2 )x ( t N ) x (t1 ), x (t 2 ), , x (t N ).

Exercice: Dterminer la caractrisation d'ordre 1 des processus des exemples 1 et 2.

Dterminer la caractrisation d'ordre 2 du processus de l'exemple 2.

1.2.2 Caractrisation complte

La caractrisation complte d'un processus consiste spcifier sa caractrisation d'ordre N
pour toutes les valeurs de N finies ( N ).

1.2.3 Caractrisation partielle

Au lieu de spcifier une densit de probabilit, on dfini certaines caractristiques de la
densit conjointe. On utilisera surtout la caractrisation partielle d'ordre deux, qui fait
intervenir seulement deux variables alatoires, x ( t ) et x ( u ), t , u T .

1.3 Moments
Moment d'ordre 1 (moyenne)

mx (t ) E x (t ) xt p xt ( xt )dxt

On notera que la moyenne d'un processus alatoire, dfinie comme la valeur moyenne de
chacune des variables alatoires qui constituent le processus, est une fonction dterministe de
variable relle.

Moments d'ordre 2 (auto-corrlation et covariance)

La fonction d'auto-corrlation est le moment non-centr d'ordre deux du p.s.:

Rx (t , u) E x (t ) x (u) xt xu p xt xu ( xt , xu )dxt dxu

Proprits
1. Une fonction dauto-corrlation est dfinie non-ngative, cest dire,
 - 31 -

1 ... n , t1 ,..., t n , R(t i , t j ) 0

*
i j
i j
De la mme faon, si R(t,s) est une fonction dfinie non-ngative, on peut toujours trouver un processus dordre
deux (c.a.d, de valeur moments dordre deux finis), dont la fonction dauto-corrlation est R(t,s).
2. Une fonction dauto-corrlation est symtrique (pour variables relles) :
R (t , s ) R ( s, t )
Ceci dcoule directement de la dfinition.
3. Ingalit de Schwarz
R(t , s ) R(t , t ) R( s, s ) .

4. Fermeture
Si R(t,s) et P(t,s) sont des fonctions dauto-corrlation, alors
R(t,s)+P(t,s) est aussi une fonction dauto-corrlation
R(t,s)P(t,s) est aussi une fonction dauto-corrlation
Si a,b>0, alors aR(t,s)+bP(t,s) est encore une fonction dauto-corrlation
Formes bilinaires
Pour toute fonction f(t), R(t,s) =f(t)f(s) est une fonction dautocorrlation.

La fonction de covariance est le moment centr d'ordre deux:

K x (t , u) E x (t ) mx (t ) x (u) mx (u)
x mx (t ) xu mx (u) pxt xu ( xt , xu )dxt dxu

t

On dfini encore le coefficient de corrlation, qui est une mesure normalise de la corrlation
statistique entre les variables correspondantes aux deux instants du temps, t et u:
Kx (t , u)
Cx ( t , u )
Kx (t , t ) Kx (u, u)
Le module du coefficient de corrlation est toujours infrieur 1 (vrifier cette affirmation).

On remarque que les trois fonctions qu'on vient de dfinir sont des fonctions relles
(dterministes) de deux variables relles.

Exercice: Dterminer la caractrisation partielle d'ordre deux du procssus de l'exemple de la page 29.

1.3.1 Moments croiss de deux processus

De la mme faon qu'on a dfini la distribution conjointe deux variables alatoires, on peut
aussi considrer la distribution conjointe de deux processus. Les processus sont alors
caractriss par les distributions conjointes de leurs respectives variables alatoires. Soient
x ( t ) et y ( t ) deux processus conjointement distribus. Leur densit conjointe d'ordre N est
pxt xt yt yt ( xt1 ,, xt p , yt p1 ,, ytN ) .
1 p p 1 N

La corrlation croise des processus x ( t ) et y ( t ) est le moment crois (non-centr) d'un pair
de variables prises chacune dans un des processus alatoires:
Rxy ( t , u ) E x ( t ) y ( u )

De la mme faon, la covariance croise est le moment centr correspondant:

 - 32 -

K xy (t , u) E x(t ) mx (t ) y(u) my (u)
1.3.2 Processus Orthogonaux
On dit que deux processus sont orthogonaux quand leur fonction de corrlation est
identiquement nulle:
Rxy ( t , u ) 0, t , u T

On tabli par la suite l'analogie entre cette notion d'orthogonalit (statistique) et la notion gomtrique
d'orthogonalit de vecteurs dans un espace Euclidean de dimension finie. Soient x et y deux vecteurs en
Rn, et reprsentons leur produit scalaire (ou produit interne) par <x,y>. On dit que les vecteurs sont
orthogonaux (au sens gomtrique, c'est dire qu'ils forment entre eux un angle de 90o) si leur produit
interne est nul:
n
x , y x T y xi yi 0 .
i 1

Considrons maintenant la condition de orthogonalit statistique,

Rxy ( t , u ) E x ( t ) y ( u ) 0
Admettons, pour simplifier, qu'il sagit de deux processus qui prennent valeurs dans deux ensembles
finis,

x (t ) a1 , a2 ,..., a nx
y (u) b1 , b2 ,..., bny
et soit p ( ai , b j ) Pr( x ( t ) ai , y ( u) b j ), i 1,..., nx ; j 1,..., n y la probabilit
conjointe des deux processus. Alors la valeur moyenne de l'quation antrieure peut s'crire
nx n y
R xy ( t , u ) ai b j p ( ai , b j ) 0 .
i 1 j 1
Admettons que l'on fait N tirages au sort des variables alatoires x ( t ) et y ( u ) et construisons deux
vecteurs alatoires X et Y, de dimension N:
X x1L x N , Y y1L y N ,
o ( xi , yi ) est la paire de valeurs obtenues dans le i-imme tirage.
Selon la loi des grands nombres, on doit avoir x ( t ) ai et y ( u ) b j un nombre de fois gal
Np ( ai , b j ) . La somme de l'expression antrieure est donc gale a
N
Rxy ( t , u ) X T Y xi yi
i 1
qui est bien l'expression du produit interne des deux vecteurs, reliant ainsi les notions de orthogonalit
statistique et de orthogonalit gomtrique.

1.3.3 Processus non-correls

Deux processus sont non correls si leur fonction de covariance est identiquement nulle:
K xy ( t , u ) 0.

Notons que non-corrlation n'implique pas, en gnral, orthogonalit. On peut dmontrer que
K xy ( t , u ) Rxy ( t , u ) mx ( t ) my ( u ) .
On peut donc avoir corrlation nulle sans que les processus soient orthogonaux. Cependant, pour des
processus de moyenne zro, les deux conditions sont, videmment, quivalentes.

1.4 Processus indpendants

Deux processus alatoires sont indpendants si n'importe quel ensemble de variables
alatoires prises dans les deux processus sont indpendantes. Cela veut dire que,
 - 33 -

t1 ,..., t p , t p 1 ,..., t N T , la densit conjointe des variables alatoires x ( t1 ),... x ( t p ) de

x ( t ) , et y ( t p 1 ),..., y ( t N ) de y ( t ) , factorise de la faon suivante:
p x t ... x t y t ... y t ( xt1 ,..., xt p , yt p 1 ,..., yt N ) p x t ... x t ( xt1 ,..., xt p ) p y t ... y t ( yt p1 ,..., yt N )
1 p p 1 N 1 p p 1 N

1.5 Processus stationnaires

On dit qu'un processus est stationnaire si ses caractristiques ne varient pas avec la dfinition
de l'origine du temps, ou, encore, si ses caractristiques statistiques ne varient pas le long du
temps. On dfini plusieurs types de stationnarit.

Stationnarit au sens strict

Un processus est stationnaire au sens strict si pour toute valeur de N, sa caractrisation d'ordre
N est invariante par rapport une translation de l'axe des temps:
px ( t1 )x ( t N ) x(t1 ),, x(t N ) px ( t1 )x ( t N ) x(t1 ),, x(t N )

Exemple.
Considrer le processus dfini dans la page 28. Montrer qu'il s'agit d'un processus stationnaire.

Stationnarit au sens large (ou de deuxime ordre)

Un processus alatoire est stationnaire au sens large si sa moyenne est constante,
mx ( t ) mx ,
et sa fonction d'auto-covariance ne dpend pas de l'origine du temps. Comme Kx ( t , u) ne
dpend que de deux instants du temps, la condition prcdante est quivalente
Kx ( t , u) Kx ( t u) .

Processus conjointement stationnaires

Deux processus sont conjointement stationnaires si
a) chacun est stationnaire considr d'une faon isole, et
b) leur corrlation croise Rxy ( t , u ) dpend seulement de la diffrence t u :
Rxy ( t , u ) Rxy ( t u ) Rx ( )
On notera que dans ce cas, leur covariance croise dpend galement uniquement de la
diffrence des instants de temps considrs.

Processus cyclo-stationnaires
Un processus est cyclo-stationnaire au sens strict si ses statistiques sont des fonctions
priodiques du temps (de priode T).

Thorme
Si x ( t ) est un processus cyclo-stationnaire au sens strict et est une variable alatoire
uniforme en 0,T , alors x ( t ) x ( t ) est un processus stationnaire au sens strict.

Un processus est cyclo-stationnaire au sens large si ses moments d'ordre 1 et 2 sont des
fonctions priodiques :
mx ( t kT ) mx ( t )
R x ( t kT , u kT ) R x ( t , u )

Thorme
 - 34 -

Si x ( t ) est un processus cyclo-stationnaire au sens large et est une variable alatoire

uniforme en 0,T , alors x ( t ) x ( t ) est un processus stationnaire au sens large, et
1
mx (t ) mx mx (t ) dt
T T
1
Rx ( ) Rx (t , t ) dt
T T

1.6 Ergodicit
La proprit d'rgodicit lie les moyennes statistiques (effectues sur l'espace des ralisations
sous-jacent la dfinition des variables alatoires qui constituent le processus) et les
moyennes temporelles (effectues sur les fonctions du temps qui sont les ralisations du
processus).

Un processus alatoire est ergodique si ses moments peuvent tre obtenus comme des
moyennes partir d'une seule de ses ralisations. Ceci doit tre vrai en particulier pour
les moments d'ordre 1 et 2:
1
T T
x(t , )dt T m x (t )

1
T T
x(t , ) x(t , )dt T
R x (t , t )

Si l'on examine la premire quation, on se rend compte que le membre gauche ne

dpend pas du temps, et donc que pour que cette quation puisse tre vrifie, il faut
que le processus ait une moyenne constante. De la mme faon, pour que la deuxime
quation soit possible le procssus doit tre stationnaire au sens large, on aura alors
1
T T
x(t , )dt T m x

1
T T
x(t , ) x(t , )dt T
R x ( )

On peu donc affirmer que pour qu'un processus soit rgodique, il doit ncessairement
tre stationnaire:

ergodicit stationnarit
L'affirmation contraire est fausse, comme le montre l'exercice suivant.

Exercice. Soient X et Y deux processus stationnaires et ergodiques. A partir de ces deux processus on
construit un troisime processus de la faon suivante. On lance une pice et si le rsultat est face on
observe le processus X : z (k ) x( k ) ; en cas contraire on observe le processus Y: z (k ) y (k ) .
Montrer que le processus Z est stationnaire, mais pas ergodique.

Exercice. Montrer que le processus introduit dans l'exemple 1 est ergodique. Vrifier ceci en comparant
(utiliser Matlab) l'histogramme d'une ralisation x (1, 1 ), x ( 2, 1 ),L x ( N , 1 ) (utiliser plusieurs
valeurs de N) avec la densit d'ordre 1 obtenue thoriquement.

Exemple. Considrer le processus alatoire stationnaire x ( t ) de moyenne nulle et de fonction dauto-

covariance

K ( ) e
Soit T la moyenne temporelle de x ( t ) calcule sur l'intervalle [-T,T]:
 - 35 -

1 T
T
2T
T
x(t )dt .
On peut conclure facilement que la valeur moyenne de la variable alatoire T est aussi zro:
1 1
E T E Ex(t )dt 0
T T

2T
T
x / t )dt
2T T

Le calcul de la covariance de T peut tre fait partir de la dfinition de covariance:

T
2
E T E 4T1
2
2 T
T T

T

x / t )dt x(u )du

Ex(t ) x(u )dtdu
1 T T

4T 2 T T

1 T T

4T 2 T T
K (t u )dtdu
L'intgrale de l'quation prcdante peut tre simplifie. Si on dfinie t u , on voit que la fonction
qui est intgre est constante selon les lignes indiques sur la figure suivante:
u

t-u=0
T
-2T

-T T t

-T 2T

On effectue la transformation de variables suivante:

1
t u t ( )
2
t u u 1 ( )
2
dont le Jacobien est
1 1 1 1
J J
2 1 1 2
L'intgrale peut donc s'crire, d'une faon quivalente,
1 2 T 1 2 T 2 T 1
d K ( ) d
0
2
d K ( ) d
T
4T 2 2 T 2 T 2 0 2 T 2
1

2T
(2T ) K ( ) d
4T 2 2 T

Si on utilise maintenant la dfinition de K ( ) ,

(1 / 2T )
2T
2
(1 ( / T )) e d
T 2 T
1 e 2 T
(1 / T ) 2 2 T 2
La limite quand T de cette expression est 0, et donc la variable alatoire T -- la valeur moyenne
temporelle -- tend en probabilit vers la valeur moyenne statistique, ce qui montre que le processus est
ergodique pour la moyenne.
 - 36 -

Cet exemple montre que l'ergodicit pour la moyenne correspond une condition sur le moment d'ordre
deux du processus. On peut vrifier facilement que l'ergodicit pour l'auto-correlation conduit une
condition sur un moment d'ordre quatre du processus.

On vient d'introduire un ensemble de dfinitions qui caractrisent statistiquement un

processus stochastique. Dans le reste de ce cours, on utilisera souvent la fonction de
corrlation, la covariance croise, etc., et on aura occasion de faire rfrence des proprits
comme stationnarit ou ergodicit. Les caractrisations des signaux alatoires que l'on vient
de prsenter sont bien diffrentes de celles qui sont utilises pour les signaux dterministes, et
qui consistent, par exemple, donner une formule analytique qui dcrit sont volution,
spcifier leur spectre, o encore les dcrire comme la sortie d'un systme linaire. Comme
on discutera dans une section postrieure, des reprsentations quivalentes existent aussi pour
certains processus alatoires.

1.7 Processus Gaussiens

Il y a plusieurs faons de dfinir un processus Gaussien. On prsente ici deux de ces
dfinitions:

Un p.s. est Gaussien si toute combinaison linaire (de coefficients qui ne sont pas
identiquement nuls) est une variable alatoire gaussienne.

Un p.s. est Gaussien si ses densits d'ordre n sont conjointement gaussiennes, pour
toutes valeurs de n.

Exercice.
Un p.s. discret, x (1), x ( 2 ),... , est Gaussien, de moyenne nulle. Soit ij E x ( i ) x ( j ) . Montrer
que le processus est stationnaire ssi ij dpend uniquement de i j .

1.8 Processus de Markov

Les processus de Markov jouent un rle important dans la thorie du traitement du signal,
parce qu'ils conduisent, dans beaucoup de circonstances, des filtres de mmoire finie. On
prsente ici uniquement la dfinition pour des processus discrets (ensemble T dnombrable).

Dfinition.
Un processus x ( t ), t T est de Markov si
p( x(k 1) | x(k ) x(k 1) x(k 2) ) p( x(k 1) | x(k )) .

L'quation prcdente dcrit de faon formelle la proprit suivante: le futur et le pass sont
conditionnellement indpendants, tant donn le prsent.

Exemple
Soient Y1 , Y2 , des variables alatoires iid, et S le processus dfini par ses sommes partielles
k
S ( k ) y (i ) .
i 1
Montrer que S est un processus de Markov (noter que ce processus a t introduit dans l'exemple de la
page 29).

Quand les variables alatoires x (k ) sont discrtes, dfinies dans un mme ensemble
dnombrable , on appelle le processus de Markov une chaine de Markov. Le processus
 - 37 -

S n tudi dans lappendix du Chapitre 1 est un exemple dune chaine de Markov, qui prend
des valeurs dans les entiers. Ces processus sont compltement caractriss par
la distribution de leur valeur initiale
Prx(0) ai pi0 , ai
lensemble de probabilits conditionnelles
Prx(k ) ai | x(k 1) a j pij (k ), ai , a j
On doit avoir, videmment,
pi
0
i 1 pi
ij (k ) 1, j, k 1,2,...

Si les probabilits p ij ( k ) p ij ne dpedent pas de linstant k considr, on dira quil sagit

dune chaine de Markov de probabilit de transition stationnaire. Par la suite, on considere
uniquement ce type de chaines.

La probabilit pour que la chaine prenne la valeur x(k ) ai linstant k, sachant que sa
valeur linstant n est x ( n) a j est donne par
pij (k , m) Prx(k ) ai | x(n) a j piq (k , r ) p qj (r , n)
q

o r est un instant quelconque pris entre k et n. Cette formule est connue par le nom
dquation de Chapman Kolmogorov, et joue un rle fondamentale dans ltude des processus
Markov.
Pour des chaines avec des transitions stationnaires, la probabilit dpend uniquement de la
distance entre les deux instants considrs :
pij (k n) Prx(k ) ai | x(n) a j piq (k r ) p qj (r n)
q

En dfinissant m=k-r et s=r-n (et donc k-n=m+s), on obtient

pij (m s) piq (m) p qj ( s)
q

Considrons maintenant le cas o lensemble de valeurs prises par la chaine est fini, cest
dire # M . Soit P la matrice MxM dont les entres sont les valeurs de la probabilit de
transition de la chaine
p11 pM 1
P

p1M p MM
Alors, on peut montrer que la densit de transition en n steps, P (n ) , forme par les valeurs de
la probabilit de transition en n steps, est donne par le puissance n de la matrice P :
P (n) P n

Notons que les quations prcdantes permettent le calcul de la loi de probabilit pour
nimporte quel instant du temps :
pi( k ) Prx(k ) ai Pi( n ) p (j0)
et si on dfini p (k ) comme le vecteur
 - 38 -

p1( k )

p (k )
p M( k )

on a lquation
p ( k ) P ( k ) p ( 0) P n p ( 0)

1.8.1 Fermeture et ensembles ferms

On dit que ltat a i peut tre atteint partir de ltat a j sil existe un n 0 tel que pij( n ) 0 .

Dfinition
Un sous-ensemble C de lespace dtats est ferm si aucun tat en dehors de C peut tre
atteint partit dun tat dans C. Soit B un sous-ensemble arbitraire de . On appelle
fermeture de B le plus petit sous-ensemble de contenant B qui est ferm. Si la fermeture
dun lment a i de coincide avec a i , alors on dit que ltat a i est absorbant.
Une chaine de Markov est irrductible si le seul sous-ensemble ferm de est .

Il est vident que C est ferm si et seulement si pij 0, ai C, a j C . Dans ce cas, on peut
liminer toutes les lignes et colonnes correspondantes aux tats en dehors de C, et la matrice
rsultante est encore une probabilit de transition pour une chane rduite, qui a pour espace
dtats .

Exemple
Considrons une chane avec la matrice de transition suivante
0 0 0 .5 0 0 0 0 .7
0 .3 .3 0 .3 0 0 0 0

0 0 0 0 0 0 0 1. 0

1. 0 0 0 0 0 0 0 0
P 0 0 0 0 .7 0 0 0 0

0 .5 0 0 0 0 0 0 0
0 .2 0 0 0 1. 1. 0 0

0 0 .7 0 0 0 0 0 0
0 0 .3
0 0 .5 0 0 0
Remarquons dabord que ltat 7 ne peut conduire qu lui mme. Il sagit donc dun tat absorbant : si la
chane rentre dans cet tat, elle y restera toujours.
Ltat 6 peut conduire lui mme o a ltat 7. Donc, C1 e6 , e7 est un ensemble ferm.
On remarque aussi que ltat 1 ne peut conduire qu ltat 4, et que celui-ci ne peut conduire qu 1 de
nouveau ou 9. Finalement, ltat 9 peut de nouveau conduire 1 ou rester dans le mme tat.
Lensemble C 2 e1 , e4 , e9 constitue donc un ensemble ferm.
Ltat 2 ne peut conduire quaux tats 6 ou 7. C 3 e2 , e6 , e7 est donc aussi un ensemble ferm.
On reconnaitera facilement les autres ensembles ferms de cette chaine : C 4 e2 , e3 , e6 , e7 , e8 ,
C5 e2 , e5 , e6 , e7 .
Notez quune renumrotation des tats (6,7,2,5,3,8,1,4,9) permet dcrire la matrice de transition de cette
chane de la forme suivante :
 - 39 -

1. 1. .2 0 0 0 0 0 0
0 0 .5 0 0 0 0 0 0

0 0 .3 .3 .3 0 0 0 0

0 0 0 .7 0 0 0 0 0
P 0 0 0 0 0 1. 0 0 0

0 0 0 0 .7 0 0 0 0
0 0 0 0 0 0 0 .5 .7

0 0 0 0 0 0 1. 0 0
0 .3
0 0 0 0 0 0 .5

Comme lexemple pcdent montre, si une chane a un sous-ensemble ferm de dimension r,

alors on peut toujours re-ordonner les tats de faon crire sa matrice de transition dans la
forme
Q U
P
0 V
o la matrice Q est de dimension rxr et V est une matrice carre de dimension M-r. Dans ce
cas, on vrifie facilement que
Q n U n
P (n) n
0 V

Ceci indique quon peut tudier sparemment lvolution des tats dans un ensemble ferm et
dans son complment.

Dfinition
Un tat a i a priode t>1 si p ii( n ) 0, n kt , et t est le plus grand entier avec cette proprit.

Dfinitions
Soit f ij(n ) la probabilit pour que depuis ltat i le premier retour ltat j soit obtenu aprs n
steps. Par dfinition, f ij( 0) 0 . Alors, la probabilit pour que la chane retourne i aprs avoir
pass par j est donne par

f ij f ij( n )
n 1

et le nombre moyen de steps ncessaires (temps moyen de recurrence) pour y retourner est

ij nf ij( n )
n 1

Quand f ij =1, les f (n )

ij sont une loi de probabilit, et on lappelle la distribution du premier
temps de passage.

Dfinition
Un tat a i est persistant si f ij =1 et transitoire si f ij <1. Un tat persistant est dit nul si son
temps moyen de recurrence est infini. Un tat apriodique persistant et non-nul est dit
ergodique.
 - 40 -

2. Reprsentations de Processus Stochastiques

2.1 Thorme de Mercer. Reprsentation de Karhunen Love.

La premire reprsentation qu'on tudiera est troitement lie la fonction d'auto-covariance

du processus. Par la suite, et pour simplifier la notation, on considre que le processus a
moyenne nulle : t T , mx ( t ) 0.

Avant de prsenter cette reprsentation, on rappelle la notion d'ensemble complet ortho-norm

de fonctions.

Soit F un espace (vectoriel) de fonctions de dimension infinie F f (t ) . Une famille

dnombrable de fonctions de F (t )
i i 1,...
, i (t ) F , est un ensemble complet ortho-
norm si
i) elles sont orthogonales,
i ( t ) j ( t ), i j ,
et normes
i ( t ) 1, i
ii) toutes les fonctions de F peuvent tre crites comme une combinaison linaire
(ventuellement infinie) des fonctions i ( t ) :
f (t ) F, f i , i 1,2,...
f (t ) f (t ) .

i
i i

On rappelle encore que les coefficients f i sont donns par le produit interne
f i f (t )i (t ) dt .
T

La reprsentation de Karhunen Love est une reprsentation de ce type, mais o les fonctions
i ( t ) sont choisies de faon ce que les coefficients de la reprsentation soient des variables
alatoires non-correles.
Soit x ( t ) un processus de moyenne nulle et de fonction de corrlation Rx ( t , u) , et soit
i (t ) i 1,... un ensemble complet ortho-norm de fonctions. Dfinissons l'ensemble
dnombrable de variables alatoires que l'on obtient en faisant le produit interne de x(t) par
chacune des ces fonctions:

xi x(t )i (t ) dt .
T

La corrlation croise des variables xi est, par dfinition,

E xi x j E x(t ) (t ) dt x(s) (s) ds
T i T j

dt i (t )E x (t ) x ( s) j ( s) ds
T T

dt i (t ) Rx (t , s) j ( s) ds
T T

Soit j ( t ) le rsultat du deuxime intgral de l'expression prcdente de faon ce que :

 - 41 -

E xi x j dt i (t ) j (t )
T

j (t ) Rx (t , s) j ( s) ds
T

et exprimons j ( t ) en fonction de l'ensemble complet ortho-norm original:

k j ( t ) jp p ( t ).
p
La substitution de cette expression donne

E xi x j dt i (t ) jp p (t ) jp i (t ) p (t ) dt
T
p p
T

jpip ji
p

o ij est le symbole de Kroenecker:

1 i j
ij
0 i j

On cherche les fonctions de faon ce que

E xi x j i2 ij

ce qui implique donc

ji 2i ij j ( t ) 2i i ( t )
ou encore, d'aprs la dfinition de j ( t ) :

T
Rx (t , s)i ( s) ds i2i (t ) .

L'quation prcdente est l'quation aux valeurs et fonctions propres de la fonction Rx ( t , u) .

On peut donc maintenant identifier l'ensemble complet ortho-norm qui produit des
coefficients non-correls comme la famille de fonctions propres de la fonction de covariance
du processus.

Thorme (de Mercer)

Soit Kx ( t , u) la fonction de covariance du processus x ( t ) , et soient i ( t ) et 2i ses
fonctions et valeurs propres. Alors,
K x (t , u) 2i i (t ) i (u)
i

et la srie converge uniformment en T.

Le processus x ( t ) peut lui-mme tre reprsent l'aide des coefficients xi ainsi obtenus:
x(t ) l.i.m. xi i (t )
N i
o la convergence de la srie est prise au sens de la convergence en erreur quadratique
moyenne:
 - 42 -

N

x(t ) l.im.z N (t ) E x(t ) z N (t ) N 0

2

2.2 Spectre de Puissance de Signaux Stationnaires
Dans cette section on considre la caractrisation spectrale de processus stationnaires en sens
large. On commence par noncer quelques proprits des moments d'ordre 1 et 2 de processus
stationnaires rels.

La valeur moyenne est une constante:

E x ( t ) mx
et la fonction d'auto-correlation dpend uniquement de l'intervalle entre les deux instants
considrs:
E x(t ) x(t ) R( )

Proprits
1. R ( ) R ( )
2. z ( t ) x ( t ) y ( t ) Rz ( ) Rx ( ) Ry ( ) Rxy ( ) Ryx ( )
3. R ( ) R ( 0 )
Dm.:

E x (t ) x (t ) 0 2 R(0) R( ) 0 R( ) R(0)
2

E x (t ) x (t ) 0 2 R(0) R( ) 0 R( ) R(0)
2

et ces deux ingalits sont quivalentes l'ingalit nonce.

4. R xy 2 ( ) R x ( 0) R y ( 0)
Dm.: considrer la valeur quadratique moyenne de la somme x ( t ) ay( t ) , pour des valeurs
arbitraires de a.

Dfinition (Densit spectrale de puissance)

La densit spectrale de puissance d'un processus stationnaire, S ( ) , est la transforme de
Fourier de sa fonction dauto-corrlation:

S ( ) R( )e j d

La symtrie de la fonction dauto-corrlation implique que S ( ) est une fonction relle. Pour
des signaux alatoires rels, la densit spectrale (encore appele spectre) est aussi une
fonction paire.

De la formule d'inversion de la transforme de Fourier,

R( ) 1
2
S ( )e j d

Si on prend 0 dans cette quation,

S ( ) d E x 2 (t )

R(0) 1
2

c'est dire, la surface totale du spectre du signal est gale sa puissance moyenne ( part le
facteur 2 ).
 - 43 -

Des proprits gnrales de la transforme de Fourier dcoulent un certain nombre de

proprits de la densit spectrale d'un signal alatoire:

x(t ) R( ) S ( )
ax( t ) 2 2
a R( ) a S ( )
dx ( t )

d 2 R() 2 S ( )
dt
d 2
d n x(t )
( 1) n
d 2n R ( ) 2n S ( )
dt n d 2 n
x ( t ) e j i t R( )e j i S ( i )

Exemple
Soit n(t) le nombre d'vnements d'un processus de Poisson de paramtre dans l'intervalle 0,t , de
faon que
Prn(t ) k
e t ( t ) k
k! ,
et le nombre d'vnements observs dans des intervalles disjoints sont indpendants.
Bas sur n(t), on construit le processus x(t) de la faon suivante
1, si n(t ) est paire
x (t )
- 1, si n(t ) est impaire
La probabilit d'avoir un nombre paire d'vnements est
Pr x (t ) 1 e t 1 ( t ) 2
2!
( t ) 4
4!
e t cosh( t )
et, de la mme faon, on obtient,
Pr x (t ) 1 e t t ( t ) 3
3!
( t ) 5
5!
e t sinh( t )
On peut facilement, en ce moment, calculer le premier moment du processus x(t):
E x(t ) Pr x(t ) 1 Pr x(t ) 1 e t (cosh(t ) sinh(t )) e 2t .
La valeur moyenne n'est pas constante, et donc on peut dj conclure que x(t) n'est pas stationnaire.
On calcule maintenant sa fonction d'auto-corrlation:

R(t 1 , t 2 ) E x (t 1 ) x (t 2 )

1. Pr x (t1 ) 1, x (t 2 ) 1 Pr x (t1 ) 1, x (t 2 ) 1

1. Pr x (t1 ) 1, x (t 2 ) 1 Pr x (t1 ) 1, x (t 2 ) 1
Le calcul des probabilits conjointes (d'ordre 2) ncessaire pour dterminer la fonction d'auto-
corrlation est simple si on considre les probabilits conditionnelles correspondantes. Par exemple,
supposons que t1 t 2 t1 t 2 0 et calculons
Pr x (t 1 ) 1, x (t 2 ) 1 Pr x (t 1 ) 1| x (t 2 ) 1 Pr x (t 2 ) 1 .

Mais, Pr x (t 1 ) 1| x (t 2 ) 1 est la probabilit d'occurrence d'un nombre paire de points dans

l'intervalle t 2 , t 1 :

Pr x(t1 ) 1| x(t 2 ) 1 e cosh( )

et donc
Pr x(t1 ) 1, x(t 2 ) 1 e cosh( )e t2 cosh(t 2 ) .
De la mme manire, on obtient
 - 44 -

Pr x (t 1 ) 1, x (t 2 ) 1 e cosh( )e t2 sinh( t 2 )
Pr x (t 1 ) 1, x (t 2 ) 1 e sinh( )e t2 cosh( t 2 )
Pr x (t 1 ) 1, x (t 2 ) 1 e sinh( )e t2 sinh( t 2 )
et finalement
R ( t1 , t 2 ) e 2 ( t1 t 2 ) , t1 t 2.
Si on change les rles de t 1 et de t 2 , on obtient que lauto-corrlation de x(t) est
2 t1 t 2
R ( t1 , t 2 ) e .
Exemple
A partir du processus de l'exemple antrieur, on va construire un processus stationnaire, et dterminer
sa densit spectrale de puissance.
Soit a une variable alatoire, indpendante du processus x(t), et qui prend les valeurs 1 avec gale
probabilit:
Pr a 1 Pr a 1 0.5
On obtient facilement
E a 0 , E a 2 1.
Soit y(t) le processus dfini par
y ( t ) ax( t )
On a, avec gale probabilit, y ( t ) x ( t ) ou y ( t ) x ( t ) .
De l'indpendance statistique de a et x(t),
E y(t ) Eax(t ) Ea E x (t ) 0
R y ( t 1 , t 2 ) E a 2 x ( t 1 ) x ( t 2 ) R x ( t 1 , t 2 )
et que y(t) est stationnaire au sens large.
Sa densit spectrale de puissance est, par dfinition, la transforme de Fourier de sa fonction d'auto-
corrlation:

R y ( ) e S y ( ) e e j d 4
4 2 2

Thorme
Etant donne une densit spectrale de puissance (fonction positive, symtrique et relle) S ( ) ,
on peut toujours trouver un processus x(t) dont S ( ) est le spectre.
Dmonstration
Soit a la constante

a
1


S ( ) d
et une variable alatoire de densit de probabilit
f () S () .
a 2
Soit le processus
x ( t ) a cos( t )
o est une autre variable alatoire, indpendante de et uniforme en , . Alors, le spectre de
x(t) est S ( ) , comme on le dmontrera.
La moyenne de x(t) est
E a cos(t ) a E cos(t ) a E E cos(t )|
a E E cos(t ) cos( ) sin(t ) sin( )|

a E cos(t ) E cos( )| a E sin(t ) E sin( )|

a E cos(t ) E cos( ) a E sin(t ) E sin( )

o le passage de la troisime la quatrime ligne est justifi par l'indpendance statistique des deux
variables alatoires.
 - 45 -

On constate facilement que les deux moyennes sur sont nulles, et donc que
E x(t ) 0.
On dtermine la fonction dauto-corrlation,
R x (t , t ) E a 2 cos(t ) cos(t )
a2
2 E cos( ) cos(2t 2 )

E cos( )
2
a
2

f ( ) cos( ) d
2
a
2

Le spectre de x(t) est donn par la transforme de Fourier de la fonction d'auto-corrlation

S x ( ' )
R x ( ) e j ' d

a2
2 f ( ) cos( ) d e j ' d


a2
2
f ( ) cos( ) e j ' d d


f ( ) ( ' ) ( ' )d a 2 f ( ' ) a 2
S ( ')
a2
2 a 2
S ( ' )

o on a utilis la transforme de Fourier du cos(.) et la symtrie de la densit spectrale originale.

Exercice
Dire si les fonctions suivante sont dfinies non-ngatives
1 t s , t s 1
(a) R(t , s)
0, t s 1
t s
(b) R(t , s) e , t, s
t s
(c) R(t , s) e
1, t s 1
(d) R(t , s)
0, t s 1

Bruit Blanc

On appelle bruit blanc un processus qui a une densit spectrale de puissance constante, ou,
d'une faon quivalente, une fonction d'auto-corrlation qui est nulle en dehors de l'origine.
Sn ( ) n 2 Rn ( ) n 2 ( ) .
Cela veut dire que toutes les variables alatoires distinctes qui peuvent tre dfinies sont non-
correles.

2.3 Reprsentation Entre - Sortie

Un signal est souvent modlis comme la rponse d'un systme un autre signal, de
caractristiques plus simples:

u( k ) y( k )

Un modle dynamique discret gnral (linaire et invariant) peut tre dcrit par
 - 46 -

y ( k ) h(n)u( k n)
n
o y ( k ) est la sortie l'instant k, u ( k ) est l'entre l'instant k, et h ( k ) est la rponse
impulsionnelle du systme. Pour des systmes causaux, la sortie y ( k ) ne dpendent que des
valeurs de l'entre u ( n ) pour des instants de temps n k , c'est dire,
h( n) 0, n 0 .
Exercices.
Dmontrer les relations suivantes entre les moments du signal d'entre et de sortie:

(a) m y ( k ) h ( n ) mu ( k n )
n

(b) R y ( ) h ( n ) h ( m ) Ru ( n m )
n m
(c) S y ( ) S x ( ) H ( ) 2
o H ( ) est la fonction de transfer du systme, c.a.d., la transforme de Fourier de la rponse
impulsionelle

Soit q 1 l'oprateur de retard:

q 1u ( k ) u ( k 1) .
Alors, le systme antrieur peut aussi tre dcrit par l'quation
y ( k ) H ( q 1 ) u ( k ) ,
o on a dfini

H ( q 1 ) h( n) q n
n0 .
1 2
h ( 0) h (1) q h ( 2 ) q L
Si le systme une mmoire finie (rponse impulsionnelle finie), le polynme H ( q 1 ) est de
la forme
H ( q 1 ) B ( q 1 ) h ( 0) h (1) q 1 h ( 2 ) q 2 L h ( n ) q n
Ceci montre que, chaque instant, le signal y ( k ) est une moyenne pondre des chantillons
du signal d'entre. On appelle ce type de systmes (et des signaux de sortie correspondants)
Moyenne Rgressive, et on les reprsente par MA(n), o n indique l'ordre du modle.

Admettons maintenant que H ( q 1 ) peut est l'inverse d'un polynme d'ordre finie q:
b0
H ( q 1 ) .
1 a1q L a p q p
1

Ceci implique que chaque chantillon du signal y ( k ) peut tre exprim en fonction de l'entre
et des valeurs de y ( n ) pour n k :
y ( k ) a1x ( k 1) L a p x ( k p ) b0u ( k ) .
On dit dans ce cas qu'il s'agit d'un signal du type Auto-Regressive, et on reprsente cette classe
de signaux par AR(p), o p indique l'ordre de la rgression.

Plus gnralement, H ( q 1 ) est une fonction rationnelle, gale au quotient de deux

polynmes:
 - 47 -

B ( q 1 )
H ( q 1 )
A ( q 1 )
ce qui conduit une quation aux diffrences du type
y ( k ) a1x ( k 1) L a p x ( k p) b0u( k ) b1u( k 1) L bn u( k n ) .
Ce type de signaux est reprsent par ARMA( p,n).

Usuellement, le signal que l'on souhaite modliser est soumis des perturbations
(typiquement, un bruit). Pour modliser ces perturbations au modle nominal entre-sortie, on
ajoute l'quation un deuxime terme:
y ( k ) H ( q 1 ) u ( k ) v ( k )

2.4 Modles d'tat

Les modles d'tat sont une faon alternative de dcrire une relation entre un signal d'entre
u( k ) et un signal de sortie, y ( k ) . Ce type de modles utilise un signal auxiliaire, qui est l'tat
du systme (qui reprsente la mmoire du systme):
x ( k 1) F ( k ) x ( k ) G ( k ) u ( k )
y(k ) H (k ) x(k )

Cette classe de signaux est plus gnrale que la prcdante (elle dcrit des systmes que ne
sont pas invariants, ce qui est indiqu par la dpendance en k de F , G et H ) et est bien
adapte la modlisation de signaux non stationnaires.
On peut, de la mme faon que pour le modle entre-sortie, introduire des perturbations
alatoires:
x ( k 1) F ( k ) x ( k ) G ( k ) u ( k ) w( k )
y ( k ) H ( k ) x ( k ) e( k )

On appelle la perturbation alatoire de lquation qui dcrit l'volution de l'tat bruit du

processus, et la perturbation qui affecte directement le signal de sortie (le signal observ), le
bruit de mesure.
En gnral, ces bruits sont modliss comme des squences blanches et non-correles entre
elles. On reviendra sur ce modle quand on tudiera le Filtre de Kalman.

Controlabilit et Observabilit
Soit le modle dtat
x k 1 A x k B u k
y k C x k nk
o le vecteur dtat a dimension n .

Um modle dtat est contrlable partir de x 0 en si, pour tout x n il existe un t x,t0 t 0
et une sequence dentrs ui i x,tt00 qui menent ltat x en t x ,t0 .
t

Si le systme est contrlable partir de tout x 0 n , alors on dit quil est contrlable en t 0 ,
et sil est contrlable pour tout t 0 , on dit simplement qiil est contollable.
 - 48 -

Un modle dtat est observable en t 0 si pour tout pair de conditions initiales

x1 (t 0 ), x2 (t 0 ) n , legalit de la rponse du systme une squence dentr ui , i t 0 ,
implique x1 (t 0 ) x 2 (t 0 ) . Si ceci est vrai pour tout t 0 , on dit que le systme est observable.
Soient
C
CA


O C B AB A n B
n
CA

Le modle est observable ssi le rang de la matrice O est gal n. Le modle est contrlable
ssi le rang de C est gal n.
Ces deux proprits garantissent que le systme a un comportement normal . En particulier,
si le systme est observable, il existent des estimateurs consistents de ltat tant donnes les
observations de sa sortie.1
En fait, on peut crire les sorties jusqu linstant k en fonction dun sous-bloc de la matrice
dobservabilit O, et de la valeur initiale de ltat
y0 C H 0 0 0 0 u 0 n 0
y CA H H0 0 0 u1 n1
Yk 1 x0 1 Ok x 0 N k
0
k
y k CA H k H k 1 H 0 u k nk
o H i CA i B et la dfinition du vecteur N k qui ne dpend que des u k et des n k est vidente.
On verra par la suite que pour des modles dobservation de cette forme, on peut dfinir des
estimateurs consistents, non-biaiss et efficaces du vecteur x 0 tant donnes les observations
Yk , ssi loprateur dobservation Ok a un rang gal la dimension du vecteur estimer. Donc,
si le systme est observable, on pourra toujours trouver des estimateurs consistents de ltat.

Si un systme est contrlable, pour tout point de n , on peut toujours trouver une squence
dentres qui mne ltat dans ce point. En particulier, cela veut dire que les ensembles de
probabilit nulle de lespace dtats ont une mesure (de Lebesgue) nulle.
Ceci est facilement vrifi partir de lquation
u1

k

x k A x0 A B AB B
k 1
u k 1

Ak x C U
0 k k

uk
o les dfinitions de C k et de U k sont videntes.
On peut donc voir que le si C k nest pas de rang complet, il peuvent toujours exister des
valeurs de ltat qui ne seront pas atteints.

1
Note : Comme on le verra dans un Chapitre ultrieur, on dit quun estimateur est consistent sil converge (avec
probabilit un) vers la vraie valeur du paramtre estim quand le nombre dobservations tend vers .
 - 49 -

Ces deux proprits ensemble garantissent la minimalit de la representation dtat : il

nexiste pas de systme quivalent avec un vecteur dtat de dimension infrieure n.

2.5 Relation entre modles entre-sortie et modles d'tat

Un modle d'tat stationnaire (o les paramtres du modle ne sont pas fonction du temps)
peut facilement tre mis sous la forme d'un modle entre sortie.
Si on utilise la dfinition de l'oprateur de retard dans l'quation d'tat, on obtient
qx( k ) Fx( k ) Gu( k ) w( k ) x( k ) q 1 I q 1 F Gu( k ) q 1 I q 1 F w( k )
1 1

Si on utilise ce rsultat dans l'quation de sortie,

y (k ) q 1 H I q 1 F Gu(k ) q H I q F
1 1 1 1
w(k ) e(k )
H I q F Gu (k ) w(k ) e(k )
1 1 1
q
H * (q 1 )u ' (k ) e(k )
qui est une description entre-sortie, qui donne le signal y ( k ) comme rponse au signal
d'entre
u'( k ) Gu( k ) w( k ).

Le passage d'un modle entre sortie la forme d'un modle d'tat peut tre fait de plusieurs
manires (il n'existe pas un modle d'tat unique qui correspond un modle entre-sortie
donn). Une des reprsentations possibles est connue par la forme canonique observable, et
fait correspondre un modle entre-sortie
A(q 1 ) y(k ) B(q 1 )u (k ) e(k )
l'quation d'tat suivante:
a1 1 0 0
a 0 1 0 b1

x ( k 1) x ( k ) u( k )
2

bn

n a 0 0 0

y ( k ) 1 0 0 x ( k ) e( k )
Dans cette quation, les paramtres ai et bi sont les coefficients des polynmes qui
dfinissent le modle entre-sortie:
A ( q 1 ) 1 a1q 1 L a n q .n
B ( q 1 ) b1q 1 L bn q n

Le nom de ce modle est d au fait que le signal observ est la premire composante du
vecteur d'tat.
Exemple
Cet exemple illustre le fait que la reprsentation dtat nest pas unique.
Considrons le model AR(2)
y k 1.2 y k 1 0.35 y k 2 u k
Etudions sa conversion en modle dtat.
Soit
y
k k 1
yk
On peut vrifier que le modle
 - 50 -

0
k 1 A k u k 1
1
yk 0 1 k
o la matrice A est dfinie comme
0 1
A
0.35 1.2
est quivalent au modle original.

Le choix
y k 1
k
y k u
conduit un modle o la dfinition de la matrice A est la mme, mais
1
k 1 A k u k 1
5
yk 0 1 k u k
2.6 Dcomposition de Wold : innovations

Dans cette section, on reprend la formulation despace de Hilbert de variables alatoires,

prsente la fin du Chapitre prcdant.

2.6.1 Espace de Hilbert engendr par un processus. Projection orthogonale

Soit x xt , t T un processus stochastique dfini dans lespace de probabilit (, B,P ) , et

considrons lespace H de toutes les combinaison linaires de coficients rels
N

x
i 1
i ti

de valeur quadratique moyenne finie :

2
N
E i x ti
i 1
H est un espace pr-Hibertien, avec produit interne
a, b H E(ab)
Mais, comme on la vu la fin du Chapitre 1, lespace des variables alatoires de valeur
quadratique moyenne est complet, cest dire, les limites de ces squences existent en
L2 (, B,P ) . On appelle lespace obtenu en compltant H avec les limites de ces sommes,
lespace de Hilbert engendr par le processus x, et on le reprsente par H x .

Exemple
Soit x n le processus dfini par
xn xn 1 en , n 1,2,....
en est une squence blanche stationnaire, Een 2
2
o
Alors

x n i e n i
i 0
 - 51 -

Soit
N
x n i e n i H
N

i 0
Pour tout M<N
2 2 ( M 1)
N N
2
E i en i 2 2i
M 2
xn xn
N

i M 1 i M 1 1 2
et est donc une squence de Cauchy, qui converge vers la variable alatoire x n H .
x

Soit H nx lespace engendr par {x s , s t , t T } et u<t. Alors, H ux H tx H x L2 (, B,P ) .

Soit H lespace engendr par un ensembe de variables alatoires, v en lment de H, et
M H un sous-espace de H. On reprsente par (v | M ) la projection orthogonale de v en M,
qui est dfinie par la proprit suivante :
inf v m v (v | M)
mM

Exercice
Soit x un processus stationnaire au sens large de moyenne nulle, et {H n , n Z } la squence emboite de
x

sous-espaces de H nx associe. Montrer que {( xn | H nx1 ), n Z} est aussi un processus stationnaire au

sens large.
Suggestion
Soit {x n k , p , p Z} la projection orthogonale de xnk dans lespace engedr par

{xnk p ,...., xnk 2 , xnk 1} . Montrer que {x n k , p } converge vers ( x n k | H nx k 1 ) quand p .

Alors, par la stationnarit de la squence initiale, et la continuit du produit interne,
( xnk | H nxk 1 ), ( xn | H nx 1 ) ( xn | H nxk 1 ), ( xn | H nx1 )

2.6.2 Dcomposition de Wold

Un des rsultats fondamentaux de la thorie des processus stationnaires au sens large est la
dcomposition de Wold, qui permet dinterprter nimporte quel processus purement alatoire
comme la rponse dun systme linaire un bruit blanc.

Lide de base est la suivante. Admettons que x n appartient lespace H nx et quil nest pas
contenu dans un sous-epace propre H nx 1 de H nx . Soit x n 1 ( x n | H nx 1 ) . Alors,
xn x n1 e nx , x n1 H nx 1 , e nx H nx 1
La mme procdure peut tre applique x n 1 par projection dans H nx 2 H nx 1 , pour obtenir
xn x n2 enx1 enx , x n2 H nx2 , enx enx1H nx2 .

Par application rpte de cette procdure on crit x n comme la somme de variables alatoires
{enx p , p Z } non-correls (squence blanche).

Soit H n Sp{..., xn1 , xn } , et H H n , H H n .On dit que x est un processus

nZ nZ

purement dterministe ssi x n H nx 1 , n Z . Si x nest pas purement dterministe, on dit

quil est non-dterministe. Si H {0} on dit que x est purement alatoire.
 - 52 -

On nonce quelques proprits des espaces de Hilbert qui nous seront utiles par la suite.
1. Si M M n o les M n forment une famille emboite de sous-espaces,
nZ

M n 1 M n , n , alors, h H
(h | M ) lim (h | M n ) .
n

2. Soit M M n . Alors
nZ

(h | M ) lim(h | M n )
n

3. Soit {ek , k Z } une squence stationnaire au sens large, blanche, dans lespace de Hilbert
H et soit E n Sp{e0 ,...., en1 , en }, E E n . Soit h une autre variable dans H. Alors,
nz

(h | E ) Ak ek
k 0

o Ak satisfait
Ak ek h, ek
La reprsentation est unique si
E (e n2 ) 0 .

Dfinition
Le processus dfini par
en xn ( xn | H n1 ), n Z
est appel les innovations (linaires) du processus x. Si Een 0, n , on dit que le processus
2

est de rang complet.

Relation avec estimation derreur quadratique moyenne minimale

Remarquons que ( xn | H n1 ) est la variable alatoire qui peut sexprimer comme combinaison
linaires des valeurs prcdantes du processus et qui minimize la valeur quadratique de la
diffrence par rapport la valeur du processus (par dfinition de norme en L2 (, B,P ) ).
Pour cette raison, on appelle aussi en lerreur de prdiction. Notons cependant, que cette
projection est lestimateur optimal uniquement si on se restreint des estimateurs linaires.

Soit N n Sp{ek , k n} , cest dire, lespace de Hilbert engendr par les innovations jusqu
linstant n. Alors
1. H n H m Sp{em1 ,..., en }, n m
2. H m Sp{em1 ,..., en }, n m
3. H n H N n , H N , N {0}

Thorme de Wold
Soit x un processus stationnaire au sens large, et en son processus dinnovations. Alors,
(i) xn u n vn o u n ( xn | N n ), vn ( xn | H ) et u n v n , n .
(ii) le processus u est stationnaire au sens large et a la reprsentation
 - 53 -

u n Ak ek
k 0

o e est le processus dinnovations de x

E (ek e j ) kj
Et

0 Ak Ax , E x0 ek E u 0 ek Ak ek

A0 A0
Si le processus x a range complet, alors la squence A est unique, et A0 1.
(iii) v est un processus purement dterministe stationnaire et H Sp...., vn1 , vn .

En conclusion, ce thorme nous permet de crire un processus stationnaire au sens large dans
la forme

x n Ak en k v n
k 0

o e est un processus stationnaire blanc et orthogonal au processus dterministe v. Si x est

purement alatoire, alors v n 0, n , et on a simplement

x n Ak en k
k 0

Soit x un processus de rangomplet et 1 / 2 une racine carre symtrique de . Dfinissons

~
Ak Ak 1 / 2 , et n 1 / 2 en , on peut vrifier facilement quune reprsentation quivalente est

x n Ak n k v n , E k p kp
~
k 0

On appelle cette reprsentation la dcomposition de Wold normalise.

 - 54 -

Exercices
1. Soit w une variable alatoire uniforme en [0,1], et X(t) le signal alatoire dfini par
X t ( w) tw, 0 t 1
(a) Dterminer les charactrisations dordre 1 et 2 de ce processus.
(b) Dterminer la moyenne et la fonction de covariance de ce processus.

2. L'intgrale d'un processus alatoire dans un intervalle fini :

s x (t ) dt
b

est une variable alatoire, et sa valeur dans une exprience particulire est la surface sous la
courbe x ( t ) dans l'intervalle a , b . Dterminer la moyenne et la variance de s.

3. Dterminer la fonction d'auto-corrlation du processsus

xt ( t ) r cos( t ) ,
o r et sont des variables alatoires indpendantes et est uniformment distribue en
, .

4. Soit x(t) un processus stationnaire de moyenne nulle et fonction d'auto-corrlation R ( ) .

Dterminer la fonction d'auto-correlation de
y(t ) x(t ) f (t )
o f(t) est une fonction dterministe (connue).

5. Dmontrer les deux thormes sur les procssus cyclo-stationnaires nonces dans ce
chapitre.

Thorme
Si x ( t ) est un processus cyclostationnaire au sens strict et est une variable alatoire
uniforme en 0,T , alors x ( t ) x ( t ) est un processus stationnaire au sens strict.

Thore
Si x ( t ) est un processus cyclo-stationnaire au sens large et est une variable alatoire
uniforme en 0,T , alors x ( t ) x ( t ) est un processus stationnaire au sens large, et
1
mx (t ) mx mx (t ) dt
T T
1
Rx ( ) Rx (t , t ) dt
T T

6. Admettre qu'un processus prend avec gale probabilit les valeurs 1 dans chaque
intervalle ( n 1) T , nT de longueur T, et que ses valeurs dans des intervalles disjoints sont
indpendantes.
i) dterminer la fonction d'auto-corrlation de x ( t ) .
ii) dterminer l'auto-corrlation du processus dcal x ( t ) o est une variable alatoire
uniformment distribue en T / 2 , T / 2 . Dterminer son spectre.

7. Monter que si x ( t ) est strictement stationnaire et est une variable alatoire indpendante
de x ( t ) alors x ( t ) est strictement stationnaire.
 - 55 -

8. Montrer que si l'entre d'un systme causal est blanche, de spectre S ( ) , la valeur
quadratique moyenne de la sortie est
E y 2 (t ) h 2 (t ) dt

o h(t) est la rponse impusionnelle du systme.

9. Considerer un processus dfini dans lintervalle [0,T] avec fonction de covariance

R (t , s ) min(t , s )
Montrer que les fonctions propres de R(t,s) et les valeurs propres, cest dire, les solutions de
lquation intgrale
T

0
R(t , s ) ( s ), ds (t ), 0 t T
sont donnes par
T2
n , n=0,1,2,.
1 2 2
(n )
2
1
(t ) A sin t , t [0, T ]
n

10. Soit
1 t s , 0 t s 1
R(t , s)
0, t s 1
Dterminer les valeurs propres et un ensemble ortho-norm de fonctions pour
1/ 2

0
R(t , s) ( s) ds (t ), 0 t 1 / 2
2 R(t , s)
Sugestion : 2 (t s), 0 t , s 1 / 2
t 2

11. Un systme de communications numrique (binaire) utilise un codage PAM (Pulse

Amplitude Modulation). Le signal transmit pendant la priode de symbole T
x(t ) an cos(wo t ), t T ,
o a n est le n-me symbole transmit :
A, avec probabilite p
an
0, avec probabilite 1 p
Considrez le vecteur obtenu par chantillonnage de x(t) pendant lintervalle
correpondant un mme symbole :
x(t1 )
r
x(t N )
(i) Montrez que le vecteur alatoire r peut scrire comme
r a n m,
o m est un vecteur dterministe.
 - 56 -

(ii) Quelle est la dimension de lespace de Hilbert engendr par r, H r , comme sous-
ensemble de L2 (, B,P ) ?
(iii) Considrez que lon observe la superposition de r avec un bruit blanc :
z rn
o n est un vecteur alatoire indpendant de r. Quelle est la dimension de H z ,
lensemble de toutes les statistiques linaires scalaires de z ?
s h T z, h N
(iv) Admettez que lon ne connait pas le modle du signal de transmission, sachant
uniquement quil sagit dune modulation PAM, et que lon observe M symboles
(observations bruites). Sans rien savoir de plus, comment peut-on reconstruire la
squence transmise ?
(v) Simulez le comportement de lalina prcdante, en considrant du bruit blanc.