Esempio del sistema di comunicazione binario simmetrico

Questo è un esempio di applicazione della probabilità condizionata.

Si ha un sistema di comunicazione binario simmetrico

dove $m$ sono i simboli emessi dalla sorgente, ${\hat {m}}$ i simboli ricevuti dal destinatario. Nel caso ideale, $m={\hat {m}}$; nel caso reale, abbiamo che il messaggio originale $m$ che transita sul canale è, in generale, alterato a causa di diversi fattori quali la presenza di rumore termico, interferenze con altri sistemi di trasmissione, non idealità del canale. Consideriamo il caso in cui il canale può assumere solo due valori: $m=0$ ed $m=1$ (sorgente binaria).

Lo spazio di probabilità ha come insieme degli esiti

$F={(0,0),(0,1),(1,0),(1,1)}$

Come al solito, la $\sigma$-algebra è l'insieme delle parti, $|F|=2^{\Omega }$. Si definiscono gli eventi

• $A_{0}={(0,0),(0,1)}\Rightarrow m=0$
• $B_{0}={(1,0),(1,1)}\Rightarrow m=1$

Le probabilità a priori sono

• $P(m=0)=q$
• $P(m=1)=p$

dove $q+p=1$.

Ipotizziamo che il canale sia simmetrico, cioè la probabilità di crossover è

$P({\hat {m}}=1|m=0)=P({\hat {m}}=0|m=1)=\epsilon$

Si ha

• $P({(1,0)}|A_{0})=P({(1,1)}|A_{0})=0$
• $P({(0,1)}|A_{0})=\epsilon$
• $P({(0,0)}|A_{0})=1-\epsilon$ è la probabilità che non vi siano errori, data la trasmissione $m=0$
• $P({(0,1)}|A_{1})=P({(0,0)}|A_{1})=0$
• $P({(1,0)}|A_{1})=\epsilon$
• $P({(1,1)}|A_{1})=1-\epsilon$

A questo punto, possiamo ridisegnare il canale usando il modello con le probabilità di transizione

Dal teorema della probabilità totale segue che

$P({(0,0)})=P({(0,0)}|A_{0})\cdot P(A_{0})+P({(0,0)}|A_{1})\cdot P(A_{1})$

da cui

• $P({(0,0)})=(1-\epsilon )\cdot q$
• $P({(0,1)})=\epsilon \cdot q$
• $P({(1,0)})=\epsilon \cdot p$
• $P({(1,1)})=(1-\epsilon )\cdot p$

Calcoliamo la prob di ricevere “0” e “1”; in termini elementari

• ${\hat {m}}=0\rightarrow B_{0}={(0,0),(1,0)}$
• ${\hat {m}}=1\rightarrow B_{1}={(0,1),(1,1)}$

Allora, calcoliamo

• $P(B_{0})=P({(0,0)})+P({(1,0)})=1-\epsilon \cdot q+\epsilon \cdot p$ (perché i due eventi sono disgiunti)
• $P(B_{1})=P({(1,0)})+P({(1,1)})=\epsilon \cdot q-1-\epsilon \cdot q$

La probabilità di errore è data dall'evento errore $E={(0,1),(1,0)}$ è

$P(E)=P(\{(0,1)\})+P(\{(1,0)\})=\epsilon \cdot (p+q)=\epsilon$

Quindi, in termini di probabilità di errore rispetto alla probabilità dei singoli, per un canale binario simmetrico, l'errore è indipendente dalla distribuzione di probabilità degli ingressi.

$P(E|{\hat {m}}=1)$

Definiamo l'evento

$C={(0,1),(1,1)}={{\hat {m}}=1}=B_{1}$

che indica che abbiamo ricevuto $1$. Allora

$P(E|C)={\frac {P(E\cap C)}{P(C)}}={\frac {P({(0,1)})}{P(C)}}={\frac {\epsilon \cdot q}{\epsilon \cdot q+(1-\epsilon )\cdot p}}$

Casi limite:

• $q=1$, allora $P(E|C)=1$
• $q=0$, allora $P(E|C)=0$
• $p=q={\frac {1}{2}}$, allora $P(E|C)=\epsilon$

Probabilità a posteriori

Dato ${\hat {m}}=1$, qual è la probabilità di $m=0$ e $m=1$?

• $P_{01}=P(m=0|{\hat {m}}=1)={\frac {P(m=0\cap {\hat {m}}=1)}{P({\hat {m}}=1)}}={\frac {P({(0,1)})}{P({(0,1),(1,1)})}}={\frac {\epsilon \cdot q}{\epsilon \cdot q+(1-\epsilon )\cdot p}}$
• $P_{11}=P(m=1|{\hat {m}}=1)={\frac {P(m=1\cap {\hat {m}}=1)}{P({\hat {m}}=1)}}={\frac {(1-\epsilon )\cdot q}{\epsilon \cdot q+(1-\epsilon )\cdot p}}$
• $P_{00}=\cdots$
• $P_{10}=\cdots$

Se $\epsilon \ll 1/2$ (canale affidabile), allora

$P_{11}\simeq {\frac {p}{\epsilon \cdot q+p}}$ e $P_{01}\simeq {\frac {p}{\epsilon \cdot q}}$

Questo implica che $P_{11}\gg P_{01}$, cioè osservare ${\hat {m}}=1$ aumenta significativamente la probabilità che $m=1$. Notate che per $\epsilon$ molto piccolo,

$P_{11}\rightarrow 1$

dove

$P_{11}>P\left({\text{ probabilita a priori }}\right)$

cioè la probabilità a posteriori è molto maggiore rispetto alla probabilità a priori. Questo è intuitivo: se così non fosse, allora non servirebbe avere il canale: potremmo dedurre tranquillamente il risultato della trasmissione, meglio che osservando la trasmissione stessa.

La condizione di massima incertezza si ha quando $\epsilon =1/2$, cioè

$\left\{{\begin{matrix}P_{01}=P_{11}&\rightarrow &\epsilon q=(1-\epsilon )q&\rightarrow &\epsilon =p\\P_{10}=P_{00}&\rightarrow &\epsilon p=(1-\epsilon )p&\rightarrow &\epsilon =q\end{matrix}}\right.$

In questo particolare caso è inutile l'osservazione della trasmissione sul canale: basta tirare a caso e si ottiene la stessa probabilità di sbagliare.

Dipendenza sorgente e ricevitore

In termini di indipendenza statistica, in un canale ideale c'è dipendenza totale tra la sorgente ed il ricevitore. Ad una data realizzazione della sorgente corrisponde una sola realizzazione del ricevitore, che coincide con quella della sorgente. Nel caso di massima incertezza, al contrario, sorgente e ricevitore sono statisticamente indipendenti tra loro; infatti, guardando il risultato del ricevitore non posso dire assolutamente nulla sulla sorgente, e viceversa.