Si ha un sistema di comunicazione binario simmetrico
dove sono i simboli emessi dalla sorgente, i simboli ricevuti dal destinatario. Nel caso ideale, ; nel caso reale, abbiamo che il messaggio originale che transita sul canale è, in generale, alterato a causa di diversi fattori quali la presenza di rumore termico, interferenze con altri sistemi di trasmissione, non idealità[1] del canale.
Consideriamo il caso in cui il canale può assumere solo due valori: ed (sorgente binaria).
Lo spazio di probabilità ha come insieme degli esiti
Come al solito, la -algebra è l'insieme delle parti, . Si definiscono gli eventi
Le probabilità a priori sono
dove .
Ipotizziamo che il canale sia simmetrico, cioè la probabilità di crossover[2] è
Si ha
è la probabilità che non vi siano errori, data la trasmissione
A questo punto, possiamo ridisegnare il canale usando il modello con le probabilità di transizione
Dal teorema della probabilità totale segue che
da cui
Calcoliamo la prob di ricevere “0” e “1”; in termini elementari
Allora, calcoliamo
(perché i due eventi sono disgiunti)
La probabilità di errore è data dall'evento errore è
Quindi, in termini di probabilità di errore rispetto alla probabilità dei singoli, per un canale binario simmetrico, l'errore è indipendente dalla distribuzione di probabilità degli ingressi.
Questo implica che , cioè osservare aumenta significativamente la probabilità che . Notate che per molto piccolo,
dove
cioè la probabilità a posteriori è molto maggiore rispetto alla probabilità a priori. Questo è intuitivo: se così non fosse, allora non servirebbe avere il canale: potremmo dedurre tranquillamente il risultato della trasmissione, meglio che osservando la trasmissione stessa.
La condizione di massima incertezza si ha quando , cioè
In questo particolare caso è inutile l'osservazione della trasmissione sul canale: basta tirare a caso e si ottiene la stessa probabilità di sbagliare.
In termini di indipendenza statistica, in un canale ideale c'è dipendenza totale tra la sorgente ed il ricevitore. Ad una data realizzazione della sorgente corrisponde una sola realizzazione del ricevitore, che coincide con quella della sorgente. Nel caso di massima incertezza, al contrario, sorgente e ricevitore sono statisticamente indipendenti tra loro; infatti, guardando il risultato del ricevitore non posso dire assolutamente nulla sulla sorgente, e viceversa.
↑La definizione di canale ideale è un sistema con guadagno in banda passante e a fase lineare, quindi introduce un piccolo ritardo ed eventualmente un'attenuazione.
↑La probabilità di crossover è la probabilità di sbagliare nel canale binario simmetrico.