Distribuzione e densità condizionata

esercitazione
Distribuzione e densità condizionata
Tipo di risorsa Tipo: esercitazione
Materia di appartenenza Materia: Teoria dei segnali e dei fenomeni aleatori

Distribuzione condizionataModifica


Definizione: Distribuzione condizionata
Data una variabile casuale   definita su   con   e con  , si dice distribuzione di   condizionata all'evento   la funzione
 

definita come

 

dove

 


Nota:   può essere vista come la funzione di distribuzione definita su   con  .


Definizione: Funzione di densità di probabilità condizionata
Sia   una variabile casuale su   con   e  . Se esiste la funzione
 

tale che

 
allora si dice che   ammette densità e   è la funzione di densità di probabilità condizionata di   dato l'evento  .



Teorema: Teorema della probabilità totale
Sia   una variabile casuale su   con
 

con gli   disgiunti a coppie. Allora, la probabilità dell'evento

 

è data da

 

ossia

 


Se poi la variabile casuale   ammette densità, allora si ha

 



Esempio:
Sia   una variabile casuale con funzione di densità di probabilità   definita su  . Siano gli   una partizione dell'insieme  . Data
 

si ha

 



Esercizio: Calcolo della densità di probabilità dell'errore di quantizzazione
Sia   una variabile casuale con funzione di densità di probabilità   . Sia   la variabile casuale errore, calcolare la sua   con
 

dove

 
 


In generale, per determinare la   si deve conoscere lo spazio di probabilità   su cui è definita la variabile casuale  , dal momento che bisogna calcolare la probabilità

 

con  . Se però   è espresso in funzione di  , per esempio

 

allora la   può essere calcolata a partire da  .


Esempio:
Sia   una variabile casuale con distribuzione di probabilità   e sia
 

Allora, si ha

 

 

Si ha

 

Se la   ammette anche densità, allora

 



Esercizio:
Sia   una variabile casuale con   e  . Calcolare la   e la  .


Valore atteso condizionato ad un eventoModifica

Siano   con   e con  . Data la variabile casuale   definita su   che ammette densità condizionata  , allora

 

Se esiste una funzione   per cui  , con   funzione di Borel, allora si ha

 


Teorema: Teorema di Bayes
Sia data una variabile casuale   definita su uno spazio di probabilità  , con   e con  . Allora, si ha
 



Esempio:
Sia   una variabile casuale con distribuzione   definita su  , con  . Si ha
 


Vediamo ora come è possibile calcolare la probabilità di un evento, condizionata ad una variabile casuale. Se si ha   come variabile casuale discreta, si ha

 

con  . Se   è una variabile casuale continua, al contrario, si ha che  ; osserviamo che vale

 

La probabilità di un evento   condizionata a   è definita come quella funzione

 

tale per cui

 

La grandezza   può essere calcolata da

 


Teorema: Teorema della probabilità totale
Data una variabile casuale   definita su  , con   e con funzione di densità di probabilità  , allora si ha che
 


Dimostrazione:
Dalla definizione precedente, si ha
 

Se l'evento   è tutto  , allora si ha

 



Teorema: Teorema di Bayes per funzioni di densità di probabilità
Si ha lo spazio di probabilità  , con   come  -algebra, e con  . Si ha una variabile casuale   con funzione di densità di probabilità  . Allora, vale
 


Dimostrazione:
È lasciata allo studente...


Densità condizionata di variabile casuale, data un'altra variabile casualeModifica

Sappiamo calcolare la probabilità

 

come un caso particolare di  . In altri termini, si ha

 


Definizione: Distribuzione di   condizionata a  
Data la variabile casuale   con funzione di probabilità  , si ha
 

Questa è la funzione di distribuzione (se  ) perché la funzione

 

definita da

 

è una misura di probabilità se esiste la funzione di densità di probabilità   tale per cui

 
da cui si ha che la   è una densità.



Proposizione:
 

Questo risultato assomiglia alla probabilità condizionata di un evento, che è

 
cioè, la dentistà di probabilità congiunta non è altro che l'intersezione delle due variabili casuali di partenza.



Teorema:
Si ha
 

con   dato dalla proposizione precedente.


Dimostrazione:
Per definizione,
 

Si ha

 


Osservazioni:

  •   è la sezione di   con il piano  ;
  • se   e   sono variabili casuali indipendenti, allora si ha
 
Infatti, se le due variabili sono indipendenti, la conoscenza di   non è in alcun mondo influenzata dalla conoscenza di  .

Valore atteso condizionatoModifica


Definizione: Valore atteso condizionato
Date due variabili casuali   e  , con funzione di densità di probabilità  , si definisce il valore atteso di   condizionato da   la quantità
 


Anche qui, vale il teorema del valore atteso che dice che, data una variabile casuale  , si ha

 


Proprietà: Proprietà del valore atteso condizionato:
  • Se le variabili casuali   e   sono indipendenti, allora  , da cui si ha
 
  • Se  , allora si ha dipendenza totale e vale
 
Questo è abbastanza intuitivo: se si ha dipendenza completa  , allora vale
 
cioè, si ha una   quando  , non si ha alcuna incertezza sul risultato.
  •  
Se poi   è separabile, cioè
 
allora si ha
 


Consideriamo il solito spazio di probabilità   con le variabili casuali   e con un'altra variabile casuale   tale che

 

La variabile casuale   ha un valore atteso condizionato; in generale, la variabile casuale   rappresenta il valore atteso condizionato

 


Teorema:
Si ha
 


Dimostrazione:
Si ha
 

Applicando il teorema del valore atteso, si ha

 


Stima con la massima probabilità a posteriori (MPP) e con la massima verosimiglianza (MV)Modifica

Dato lo spazio di probabilità   con   e  , si definisce la variabile casuale

 

Quello che vogliamo fare è, dato  , capire a quale delle due popolazioni   oppure   appartiene. Se si prende l'esempio delle molecole di gas, la funzione di densità di probabilità dell'energia è una combinazione lineare di altre funzioni di densità di probabilità; qui è la stessa cosa, si vuole calcolare la densità di uscita come mixture di altre densità.


Esempio: Canale discreto gaussiano
Si ha un canale discreto con rumore gaussiano.

 

I simboli di partenza possono essere   oppure  , il rumore è di tipo gaussiano   e la variabile casuale di interesse è la   di uscita. Se si trasmette il segnale  , la funzione di densità di probabilità sarà la  ; al contrario, se si trasmette  , allora la densità sarà  .

 

 

Si ha

  •  
  •  
Da qui, si ha che la   sarà una combinazione lineare di   e  . In questo esempio, la somma sarà pesata con le probabilità dei due simboli,   e  . Lo scopo finale di questo lavoro è osservare il risultato della variabile casuale   per capire se è stato trasmesso   o  



Esempio:
Data un'altezza umana, si tratta dell'altezza di un uomo o di una donna?


Massima probabilità a posterioriModifica

La massima probabilità a posteriori è definita come

 

Se vale  , allora decidiamo che è stato trasmesso   e non  .

Il criterio a massima probabilità a posteriori, quindi, è

 

Massima verosimiglianzaModifica

Nel caso in cui  , il criterio di massima probabilità a posteriori diventa un criterio di massima verosimiglianza.

 

Il criterio a massima verosimiglianza è meno potente di quello a massima probabilità a posteriori, perché quest'ultimo sfrutta la conoscenza della probabilità dei simboli prima di essere trasmessi, mentre il secondo metodo si limita ad osservare il risultato finale e la funzione di densità di probabilità, considerando tutti i simboli equiprobabili. Quindi, il criterio a massima verosimiglianza è meno potente, perché sfrutta meno informazioni.


Esercizio al calcolatore:
Stimare la MPP e la MV del sistema dell'esempio, con sorgente   e rumore