Processi stocastici, stazionarietà ed ergodicità e densità spettrale di potenza

lezione
Processi stocastici, stazionarietà ed ergodicità e densità spettrale di potenza
Tipo di risorsa Tipo: lezione
Materia di appartenenza Materia: Teoria dei segnali e dei fenomeni aleatori

Un processo casuale potrebbe essere, per esempio, quando si acquisisce un segnale con un oscilloscopio collegato ad un generatore di forme d'onda; la sinusoide generata sarà , dove è una variabile casuale.

Processi casualiModifica

Un processo casuale   è una collezione di variabili casuali indicizzate dal tempo  . Quindi,   è una variabile casuale definita nello spazio di probabilità  . Fissato l'istante temporale  , si ha una funzione misurabile

 

che parte dallo spazio   per giungere allo spazio  . È possibile indicare un processo stocastico anche con la notazione

 

dove   è misurabile rispetto ad  .

Se  , il processo si dice a tempo continuo; al contrario, se  , allora il processo si dice a tempo discreto.

 

 

Se fissiamo  , allora   è una funzione del tempo, altrimenti detta realizzazione.


Esempio:
Sia  , con   una variabile casuale con
 

 

Osservazione: fissato un qualunque  , la variabile casuale resta sempre la stessa

 



Esercizio:
Sia   una variabile casuale con  , disegnare il grafico come per l'esempio precedente.



Esempio:
Sia   la variabile casuale
 

tale che

  •   è costante;
  •  
File:TFA processo a tempo continuo esempio sinusoide.jpg


Caratterizzazione statistica del processoModifica


Esempio:
Sia   definito su
 

definito come

 


RealizzazioniModifica

Fissato   a scelta, disegnamo una realizzazione del processo nel tempo.

 

Variabili casualiModifica

Fissato il tempo, si ha una variabile casuale osservando varie realizzazioni del processo, in quel preciso istante temporale.


Esempio:
Nell'esempio, si ha
 
 
 
 
 
 
Osservazione: notare che la probabilità di   tende a zero per  , mentre la probabilità di   tende a   per  .


Densità di probabilitàModifica


Esempio:
Al prim'ordine, si ha
 


Per il calcolo della densità congiunta del second'ordine, è necessario fissare due istanti temporali  .


Esempio:
Abbiamo tre casi da studiare:
1.  
In questo caso, si ha
 
2.  
In questo caso, si ha
 
3.  
In questo caso, si ha
 

Da qui si ottiene che la densità di probabilità congiunta risulta

 



Esercizio:
Calcolare   a partire dalla funzione di densità di probabilità congiunta  


Caratterizzazione statistica di un processoModifica

Si prendano diversi istanti di tempo  . Si definisce la quantità

 

come la probabilità finito-dimensionale del processo  . Dato che   è una variabile casuale, la quantità appena definita è pari alla probabilità congiunta di un vettore n-dimensionale di variabili casuali, con  .

In modo equivalente ai vettori di variabili casuali, un processo è caratterizzato dalla densità di probabilità congiunta, che si indica con

 

Dalla congiunta è sempre possibile ottenere le marginali, che possono essere pensate come delle congiunte di ordine inferiore.


Esempio:
Si ha il processo
 

con   costante e con una qualsiasi  . Si vogliono calcolare tutte le quantità definite finora. Si ha

 
Le diverse realizzazioni sono sinusoidi alla stessa frequenza, ma di diversa ampiezza.



Esercizio:
Siano le variabili casuali   e  , entrambe distribuite come  . Studiare la variabile casuale data dalla relazione
 


Ergodicità dei processi casualiModifica

Supponendo di avere un processo stocastico   stazionario (in senso lato), andiamo a cercare di dedurre qualcosa dalla sua densità di probabilità   generando una realizzazione nel tempo. Vedremo che se il processo è ergodico, medie d'insieme e temporali coincidono.

Consideriamo un processo  , con   definito sullo spazio di probabilità  . Fissato l'esito  , otteniamo una realizzazione  . Vogliamo capire se (e sotto quali condizioni) è possibile determinare delle caratteristiche di  , osservando un'unica realizzazione.

Se il processo è stazionario in senso lato, allora

 

Consideriamo la realizzazione   in una finestra  .

File:TFA realizzazione per ergodicita processi.jpg


Definizione: Stimatore del valor medio temporale
Si dice stimatore del valor medio temporale della realizzazione   la grandezza
 
che è la media temporale della realizzazione, sul periodo  . In generale,   è una funzione dell'esito  , quindi può essere considerata a sua volta una variabile casuale.


La grandezza   è una stima, si riferisce ad una particolare realizzazione  .


Definizione: Stimatore non polarizzato
Lo stimatore   è non polarizzato se
 

ossia se

 
Il valor medio delle medie temporali coincide con il valor medio di insieme.



Definizione: Stimatore consistente
Uno stimatore   è detto consistente se
  •   è non polarizzato
  • la varianza   tende ad annullarsi all'aumentare del tempo di osservazione
 
Questo equivale a dire che   tende, in maniera quadratica, al valor medio del processo, con un tempo di osservazione infinito si può ottenere il valore certo, senza incertezza.



Definizione: Processo ergodico
Se   è uno stimatore consistente di  , allora il processo  è ergodico.



Teorema: Teorema di Slutsky
Dato un processo   WSS (del second'ordine), allora
 
dove   indica la convergenza in norma quadratica e   è la funzione di autocovarianza del processo.


Il teorema di Slutsky permette di facilitare il compito di verifica dell'ergodicità di un dato processo. Una condizione sufficiente (ma non necessaria) affinché   sia ergodico è che

 


Esempio:
Sia un processo  , con   una variabile casuale stazionaria in senso lato. Si ha
 

Dal teorema di Slutsky, si ha

 
quindi, il processo non è ergodico.



Esempio:
Si ha il processo
 

con   e   costanti, mentre   e   sono variabili casuali incorrelate tra loro ed a media nulla. Si ha

 
 

Applicando la consizione sufficiente appena vista, si ha

 

Questo fatto non vuol dire che il processo non possa ancora essere ergodico (la condizione è sufficiente, ma non è necessaria). Nel caso in cui, invece,  , allora grazie al teorema di Slutky si ottiene

 
Da questo, si ottiene che il nuovo processo con   è ergodico (rispetto al valor medio).


In modo alternativo, si può definire l'ergodicità del processo   nel seguente modo:

  • se   è WSS di prim'ordine, allora
 
Di conseguenza, si ha che   è un processo ergodico rispetto al valor medio se è verificato
 
Questa si dice convergenza in probabilità, o convergenza qox (per quasi ogni  ). Se   è continuo, possono esistere alcuni   per cui non è verificata l'equazione, ma se questi punti sono isolati (concetto di qox), allora si ha comunque la convergenza cercata. La probabilità di un particolare  , infatti, è infinitesima (nel caso di processi a tempo continuo, lo stesso non vale per processi a tempo discreto).
  •   WSS del second'ordine è ergodico rispetto alla sua funzione di autocorrelazione se vale
 
Anche questa è una convergenza in probabilità, con
 
che è l'autocorrelazione temporale del processo. In termini pratici, questo equivale a dire che
 

dove   è la solita stima della funzione di autocorrelazione e   è l'autocorrelazione d'insieme, che viene a coincidere con l'autocorrelazione temporale  .

Densità spettrale di potenzaModifica

Consideriamo il processo  . Fissato   otteniamo una realizzazione che in generale rappresenta un segnale di potenza non periodico, quindi non è possibile dare una caratterizzazione frequenziale attraverso la trasformata di Fourier (in modo diretto). È tuttavia possibile caratterizzare i processi casuali almeno in termini di spettro di potenza. A questo proposito, consideriamo il processo

 

 

Limitatamente al periodo  , il segnale diventa ad energia finita,

 

quindi si ha anche lo spettro di potenza finito,

 


Definizione: Densità spettrale di potenza
Di definisce densità spettrale di potenza del processo   la grandezza
 

dove   è una variabile casuale ottenuta da

 
che è la trasformata di Fourier della variabile casuale  .


Proprietà della densità spettrale di potenzaModifica

1.  
2.   è detto periodogramma del processo
3. Teorema di Wiener-Kinchine; se un processo stocastico è stazionario in senso lato (del second'ordine), allora si ha
 
4. Se   è a valori reali, allora   è pari, di conseguenza si ha che
 
5.   che è la potenza del processo
6.  


Esempio:
Sia un processo stocastico   con   una variabile casuale con   qualsiasi. Si ha:
  •  
  •  
cioè, l'autocorrelazione   è costante, quindi la densità spettrale di potenza del processo è una   nell'origine.



Esempio:
Si ha il processo stocastico
 

con   e   definiti, con   e   variabili casuali incorrelate e a media nulla. Allora, si ha

  •  
  •  
  •  


Descrizione congiunta dei processi stocasticiModifica

Consideriamo   e   due processi definiti sullo stesso spazio di probabilità  . Se volessimo caratterizzare congiuntamente i due processi, dovremmo fare

 

e questo dovrebbe valere:

  •  
  •  
  •  

Questa è la densità congiunta finito-dimensionale; passando invece alle descrizioni sintetiche, si possono identificare:

  • i valori medi
 
 
  • le funzioni di autocorrelazione
 
 
  • le funzioni di covarianza
 
 
  • le funzioni di crosscorrelazione
 
 
  • le funzioni di crosscovarianza
 
 


Definizione: Indipendenza dei processi
Due processi   e   definiti sullo stesso spazio di probabilità   sono indipendenti se
 

e questo deve valere:

  •  
  •  
  •  



Definizione: Processi incorrelati
Due processi   e   definiti sullo stesso spazio di probabilità   sono incorrelati se
 


Nel caso particolare in cui i processi siano delle variabili casuali gaussiane, allora si ha che

 

mentre i tutti gli altri casi si ha

 


Definizione: Processi congiuntamente gaussiani
Un processo   è congiuntamente gaussiano se tutte le densità di probabilità finito-dimensionali sono congiuntamente gaussiane.



Definizione: Processi congiuntamente stazionari in senso stretto
Due processi   e   si dicono congiuntamente stazionari in senso stretto (SSS) se la densità di probabilità congiunta è invariante alla traslazione temporale.



Definizione: Processi congiuntamente stazionari in senso lato
Due processi   e   si dicono congiuntamente stazionari in senso lato (WSS) se:
  1.  
  2.  
cioè, anche la crosscorrelazione deve essere funzione della sola distanza tra istanti temporali.


Nel caso di processi congiuntamente stazionari in senso lato (WSS), si ha

 

e vale

 

Inoltre, vale

 


Esempio:
Se   e   sono congiuntamente WSS, l'autocorrelazione di   vale
 
 



Esempio:
Se   e   sono congiuntamente WSS e indipendenti, l'autocorrelazione di   vale