Capitolo 8 - Introduzione alla probabilità

Transcript

1 Appunti di Teoria dei Segnali Capitolo 8 - Introduzione alla probabilità Concetti preliminari di probabilità... Introduzione alla probabilità... Deinizione di spazio degli eventi... Deinizione di evento... 3 Esempio... 3 Metodi di combinazione degli eventi... 4 La unzione probabilità... 4 Deinizione... 4 Proprietà ondamentali della unzione probabilità... 5 Le probabilità condizionate... 5 Esempio... 6 Osservazione: probabilità condizionate per eventi disgiunti... 6 Eventi indipendenti... 7 Esempio: dipendenza causale tra due eventi... 7 Partizione di uno spazio di eventi S... 8 Teorema sulle probabilità totali... 9 Esempio... 0 Teorema di Bayes... 0 Processo di Bernoulli... Deinizione... Sistema di trasmissione binaria... 3 Introduzione: canale binario simmetrico... 3 Metodi di prevenzione e correzione degli errori... 5 Codice a ripetizione... 5 Codice a controllo di parità... 8 Modello uniorme di probabilità in spazi campione initi... Esempio... Variabili aleatorie... 3 Deinizione... 3 Variabile aleatoria discreta... 4 Continuità di una variabile aleatoria e unzione densità... 5 Il signiicato matematico della densità... 5 Osservazione: peso nullo dei singoli punti... 6 Densità di una variabile aleatoria continua distribuita uniormemente su un intervallo 7 Distribuzione cumulativa di una variabile aleatoria continua... 7 Esempio: variabile aleatoria continua... 9 Esempio: distribuzione uniorme su un intervallo Esempio: distribuzione esponenziale Funzioni di variabili aleatorie... 3 Esempio: distribuzione cumulativa di con generica... 3 Esempio: distribuzione cumulativa di con distribuita uniormemente 34 Teorema: calcolo di F nell ipotesi di invertibilità di H()... 34

2 Appunti di Teoria dei Segnali - Capitolo 8 Esempio: H() Aspettazione di una variabile aleatoria Deinizione Proprietà della media di una variabile aleatoria Teorema Varianza e deviazione standard di una variabile aleatoria Deinizione Proprietà della varianza di una variabile aleatoria Cenni sulle variabili aleatorie bidimensionali Funzione caratteristica di una variabile aleatoria... 4 Deinizione nel caso continuo... 4 Applicazione... 4 Proprietà: momento del ordine... 4 Esempio: distribuzione esponenziale Funzione caratteristica di una variabile aleatoria discreta Densità di probabilità condizionata Variabili aleatorie con distribuzione gaussiana Deinizione di distribuzione gaussiana Funzione caratteristica Funzione densità di probabilità congiunta Indipendenza di due variabili aleatorie con distribuzione gaussiana Funzione densità di probabilità condizionata Combinazione lineare di variabili aleatorie con distribuzione gaussiana Conseguenza Esempio Concetti preliminari di probabilità INTRODUZIONE ALLA PROBABILITÀ E esperienza comune che vi sono molti enomeni empirici la cui osservazione, anche se eettuata nelle stesse condizioni, porta a risultati dierenti: per esempio, quando si osserva il lancio di un dado, si nota che può presentarsi, in modo del tutto imprevedibile, una qualunque delle 6 acce. Siamo allora indotti a ricercare un modello matematico adatto allo studio di quei enomeni che non maniestano una regolarità deterministica, in quanto la loro osservazione, relativamente ad un dato insieme di circostanze, non porta sempre allo stesso risultato: il modello che cerchiamo è il cosiddetto modello probabilistico. Deinizione di spazio degli eventi Supponiamo di osservare un certo enomeno quale può essere il lancio di una moneta, il lancio di un dado, l estrazione di una pallina da un urna e cose di questo tipo. Deiniamo spazio degli eventi

3 Introduzione alla probabilità o anche spazio dei campioni, indicandolo con S, l insieme di tutti i possibili risultati (o, meglio, i possibili eventi) osservati per il dato enomeno. Per esempio, considerato il enomeno del lancio di una moneta, lo spazio dei campioni non è altro che S { testa, croce}, in quanto gli unici possibili risultati del lancio possono essere che esca testa o che esca croce. In modo del tutto analogo, dato il enomeno del lancio di un classico dado a 6 acce, lo spazio degli eventi sarà S {,, 3, 4, 5, 6}. Quando si ha a che are con lo spazio degli eventi relativi ad un dato enomeno, è molto importante conoscere il numero degli eventi che appartengono a tale spazio; trattandosi di un insieme, esso può essere di tre tipi diversi: può essere inito, per cui noi conosciamo esattamente il numero degli eventi che gli appartengono; può essere ininito ma numerabile, cioè... può essere ininito e non numerabile, ossia... Consideriamo ad esempio il enomeno consistente nell estrarre una carta da un mazzo di 5 carte. Lo spazio campione è costituito da 3 punti, tanti quanti sono i VALORI che la carta estratta può assumere; siamo perciò in presenza di uno spazio campione inito. Al contrario, se il enomeno consiste nella scelta di un numero intero maggiore di 00, lo spazio campione è { 0, 0, 03,... } ed è perciò ininito numerabile. Inine, se la scelta del numero può essere atta nel campo dei numerici reali, allora lo spazio campione è ininito non numerabile. Deinizione di evento C è da chiarire bene cosa intendiamo per evento. Dato un certo spazio di eventi S relativo ad un dato enomeno, un evento A è semplicemente un insieme di possibili risultati osservati per il enomeno: si tratta perciò di un sottoinsieme di S. Chiaramente, potrà essere di tipi: potrà includere più risultati oppure potrà consistere in un risultato solo. Per esempio, se noi consideriamo il lancio di un dado, noi possiamo indicare come evento A l evento per cui il risultato del lancio è, ma possiamo indicare come evento B quello per cui il risultato del lancio è un numero pari: possiamo perciò scrivere che S A B {,, 3, 4, 5, 6} { } {, 4, 6} Esempio Supponiamo di scegliere a caso 0 persone tra gli abitanti di una città, di domandare loro se usano un certo prodotto e di contare il numero di sì dati come risposta. Anche questo è un esperimento casuale, i cui possibili risultati sono : nessun sì, sì, sì e così via. Indichiamo perciò lo spazio degli eventi con S { 0,,,..., 0}. Se consideriamo l evento A corrispondente a dire che le risposte aermative sono più di otto, è A 9, 0. chiaro che questo evento si veriica quando o 9 o 0 persone hanno risposto sì, per cui { } 3

4 Appunti di Teoria dei Segnali - Capitolo 8 Metodi di combinazione degli eventi Supponiamo di osservare un dato enomeno (o di eettuare un certo esperimento) per il quale S sia lo spazio degli eventi; consideriamo qualsiasi eventi A e B relativi a tale enomeno; questi eventi possono essere combinati in vari modi per ormare ulteriori eventi: l evento CA B (unione) è l evento che accade quando almeno uno dei due eventi accade: se accade solo A o solo B, noi potremo dire che è accaduto anche C; l evento DA B (intersezione) è l evento che accade solo quando entrambi gli eventi sono accaduti; se uno solo di essi non si veriica, diremo che non si è veriicato neanche D; l evento A* è l evento opposto di A, ossia si ritiene veriicato quando A non si è veriicato; Facciamo anche qui un esempio rierito al lancio di un dato a 6 acce, il cui spazio dei campioni è S,, 3, 4, 5, 6. Consideriamo i seguenti eventi: { } A esce un numero pari B esce un numero minore di 4 E chiaro allora che l evento CA B racchiude i seguenti risultati: Al contrario, invece, l evento DA B è C A B {,,3,4,6} { } D A B La unzione probabilità DEFINIZIONE Consideriamo un generico spazio degli eventi S: come sappiamo, si tratta, dato un certo enomeno, di tutti i possibili eventi, relativi a tale enomeno, che si possono veriicare. Noi allora deiniamo unzione probabilità la unzione reale così deinita: P : S R Essa cioè, dato un qualsiasi evento preso dallo spazio S, vi associa un valore reale che indica la probabilità che tale evento si veriichi. Inoltre, noi diremo che la coppia (S,P) costituita dallo spazio degli eventi S e dalla unzione probabilità P in esso deinita è uno spazio di probabilità. 4

5 Introduzione alla probabilità PROPRIETÀ FONDAMENTALI DELLA FUNZIONE PROBABILITÀ Vediamo alcune proprietà ondamentali di cui gode una unzione probabilità P: ) P(0)0: la probabilità che accada l evento nullo è ovviamente nulla; ) P(S): la probabilità che accada uno qualsiasi degli eventi contenuti in S è ovviamente pari al massimo, cioè all unità, in quanto S contiene tutti gli eventi possibili e quindi almeno uno si deve veriicare; 3) 0 P(A) : la probabilità che accada un certo evento A è chiaramente positiva e minore di ; 4) se A e B sono disgiunti,o anche mutuamente esclusivi, cioè non hanno risultati in comune P(A B) P(A) + P(B) : se A e B non hanno alcun evento in comune (ossia se, accaduto A, non si possa dire assolutamente che è accaduto anche B e viceversa), la probabilità che accada prima uno e poi l altro, o viceversa, è ovviamente pari alla somma delle probabilità che ciascuno accada singolarmente ; 5) se A B P(A) P(B): dire che A è contenuto in B signiica dire che B contiene gli stessi eventi di A ed anche degli altri, il ché implica che la probabilità che si veriichi A è al più uguale a quella che si veriichi B; 6) Se A B P(B-A) P(B) - P(A): l evento complessivo B-A non è altro che l insieme degli eventi di B che non anno parte di A; 7) Posto A*S-A, si ha che P(A*) P(S-A) P(S) - P(A) - P(A): l evento A* non è altro che l insieme degli eventi di S che non appartengono ad A, per cui questa proprietà scaturisce direttamente dalla precedente; LE PROBABILITÀ CONDIZIONATE Sia dato lo spazio di probabilità (S,P). Supponiamo che ci sia un certo evento B S che abbia probabilità non nulla di accadere, ossia tale che P(B) 0. Supponiamo che eettivamente l evento B si veriichi. Prendiamo poi un altro evento A S. Allora, noi diremo che la probabilità che si veriichi A, una volta che si è veriicato B, è data dalla ormula P A B ( B) P A P( B) dove P(A B) si legge appunto probabilità di A dato B. Possiamo are qualche calcolo a partire dalla relazione appena ricavata e sruttando le proprietà ondamentali di una unzione probabilità: inatti, da lì si ricava che P( A B) P( A B) P( B) Un altra deinizione di eventi disgiunti è la seguente: due eventi A e B sono disgiunti se non possono presentarsi insieme, ossia se l evento intersezione è l evento impossibile. 5

6 Appunti di Teoria dei Segnali - Capitolo 8 Dato che P(A B)P(B A), possiamo anche scrivere che P( A B) P( B A) P( A) per cui, eguagliando i secondi membri, noi otteniamo P B A P( A) P A B P( B) Esempio Supponiamo di avere un uicio con 00 macchine calcolatrici. Alcune di esse sono elettriche (E) ed altre manuali (M); inoltre, alcune di esse sono nuove (N) ed altre vecchie (U). Supponiamo che queste siano le esatte quantità: 40 macchine elettrice nuove; 0 macchine elettriche usate; 30 macchine manuali nuove; 0 macchine manuali usate. Una persona entra nell uicio e sceglie una macchina a caso. Se contrassegniamo ciascuna macchina con un numero (che andrà da a 00), è ovvio che la probabilità che la persona scelga la macchina è pari a /00 ed è ovviamente costante per ciascuna macchina. Supponiamo che la persona, dopo aver scelto la macchina, si accorga che essa sia nuova. Vogliamo la probabilità che sia anche elettrica. Possiamo esprimerci dicendo che vogliamo P(E N). Il atto che sia accaduto N restringe le possibilità a 70 macchine; su queste 70, ce ne sono 40 elettriche, per cui P( E N ) Un secondo metodo è l applicazione della ormula: P E N ( N) P E P( N) L evento E N è quello per cui la macchina scelta è elettrica e nuova e ce ne sono in tutto 40; l evento N è quello per cui la macchina è nuova e ce ne sono 70, per cui il risultato è quello di prima. Osservazione: probabilità condizionate per eventi disgiunti Facciamo notare che, se A e B sono eventi disgiunti, cioè tali che A B0, è ovvio che P( B A) P A B 0 6

7 Introduzione alla probabilità Il motivo è sia intuitivo sia matematico: da un punto di vista intuitivo, il atto che siano disgiunti comporta che il veriicarsi di B (o di A) escluda la possibilità che si veriichi A (o B); da un punto di vista matematico, invece, si ha evidentemente che P A B ( B) P A P( 0) 0 P( B) P( B) N.B. Facciamo anche osservare l estremo opposto: inatti, se B A, allora P(B A). EVENTI INDIPENDENTI ( B) P A Dalla relazione P( A B) si ricava evidentemente che P(A B) può essere maggiore, P( A) minore o uguale a P(A). Allora, se accade che sono uguali, signiica una cosa molto importante: il atto che B si sia veriicato non inluisce in alcun modo sulla probabilità che subito dopo si veriichi A. In questo caso, si dice che i eventi A e B sono indipendenti tra loro. Una importante conseguenza della indipendenza di eventi è dunque che P( A B) P( A) P( B) per cui noi possiamo dire che eventi A e B sono indipendenti se veriicano la relazione appena scritta. Nel caso gli eventi siano 3 (A,B e C) non cambia molto: noi diremo che sono indipendenti se sono a a indipendenti se veriicano la relazione P( A B C) P( A) P( B) P( C) Esempio: dipendenza causale tra due eventi Consideriamo un urna con 5 palline rosse e 4 bianche: supponendo di are estrazioni con restituzione, abbiamo 4 possibilità: ) rossa, rossa ) rossa, bianca 3) bianca, rossa 4) bianca, bianca Consideriamo l evento A per cui esce prima una pallina rossa e poi una bianca. Vogliamo calcolare P(A), cioè la probabilità che tale evento si veriichi. Per prima cosa, possiamo scrivere ormalmente che P(A) P((R,B)) P(R B) dove con R indichiamo l evento per cui la prima pallina estratta sia rossa e con B l evento per cui la seconda pallina sia bianca. Avendo supposto di are la restituzione dopo la prima estrazione, è lecito 7

8 Appunti di Teoria dei Segnali - Capitolo 8 aspettarsi che l uscita della pallina rossa e successivamente di quella bianca siano due eventi indipendenti, per cui possiamo applicare la relazione che caratterizza due eventi indipendenti per il calcolo di P(A): P(A) P(R B) P(R)P(B) A questo punto, dato che P(R)5/9 e P(B)4/9, abbiamo che P(A) 0/8 Vediamo adesso cosa cambia se non acessimo la restituzione dopo la prima estrazione. A prescindere dalla non restituzione, noi possiamo sempre scrivere che P(A) P(R B) Il problema sorge dal atto che i eventi non sono più indipendenti adesso, per cui non possiamo applicare la relazione caratteristica degli eventi indipendenti. Abbiamo allora possibilità per procedere: la prima è di considerare la probabilità che si veriichi B dato R, ossia P(A) P(B R)*P(R) la seconda è di considerare la probabilità che si veriichi R dato B, ossia P(A) P(R B)*P(B) Dovendo scegliere, conviene la prima strada, in quanto è più acile valutare P(R) e poi P(B R) che non valutare prima P(B) e poi P(R B). Inatti P(R) 5/9 P(B R)4/8 ½ per cui P(A) (5/9)*(/) 5/8 Prima di passare avanti, ricordiamo che in una situazione in cui i eventi non sono indipendenti, ossia in una situazione in cui il primo evento condiziona necessariamente il secondo, si dice che c è una dipendenza causale tra i due eventi (o anche una dipendenza causa-eetto). PARTIZIONE DI UNO SPAZIO DI EVENTI S Consideriamo uno spazio di eventi S; consideriamo in particolare gli eventi B,B,...,B ; noi diremo che essi costituiscono una partizione di S se godono delle seguenti 3 proprietà: sono a due a due disgiunti; la loro unione dà S; la probabilità che accada ciascun di essi è maggiore di 0, ossia sono eventi eettivamente osservabili. 8

9 Introduzione alla probabilità Facciamo un esempio evidente di partizione: considerato il enomeno del lancio di un dato, il cui spazio degli eventi è S{,,3,4,5,6}, una partizione è costituita dagli eventi B{,} B{3,4,5} B3{6} mentre non è una partizione quella costituita dagli eventi C{,,3,4} C{4,5,6} TEOREMA SULLE PROBABILITÀ TOTALI Supponiamo di avere uno spazio di probabilità (S,P), ossia uno spazio degli eventi S ed una unzione reale P che associa ad ogni evento la probabilità che esso avvenga. Consideriamo una partizione di S, ossia, come visto poco a, una successione (B n ) n N di insiemi a a disgiunti e tali che la loro unione dia proprio S. Fissiamo un certo evento A. Possiamo evidentemente scrivere quanto segue: A (A B ) (A B )... (A B N ) Dato che gli eventi della partizione sono disgiunti per deinizione, anche gli eventi tra parentesi sono disgiunti, per cui possiamo applicare il principio di addizione e scrivere che P(A) P(A B ) + P(A B ) P(A B n ) per cui N P( A) P A B i i Il teorema dice cioè questo: la probabilità che si veriichi l evento A si può calcolare come somma delle probabilità che si veriichino gli eventi A S n, con n N. Questo teorema dice anche un altra cosa: inatti, in base a quanto abbiamo visto circa le probabilità condizionate, noi possiamo scrivere che P A B P A B P B i,,..., N i i i per cui la tesi diventa P( A) N i ( i ) ( i ) P A B P B L utilità di questa relazione è evidente: dovendo valutare P(A), spesso è diicile arlo direttamente; al contrario, noi possiamo calcolarla come somma di opportune probabilità condizionate assumendo che siano accaduti gli eventi di una opportuna partizione e le probabilità condizionate sono spesso acili da determinare. 9

10 Appunti di Teoria dei Segnali - Capitolo 8 Esempio Supponiamo di avere un lotto di 00 componenti meccanici di cui solo 0 diettosi e gli altri 80 integri. Supponiamo di scegliere a caso componenti (senza restituire il primo) e supponiamo di voler la probabilità che il secondo sia diettoso. Possiamo porre A il primo componente è diettoso B il secondo componente è diettoso Possiamo allora scrivere che P(B) P(B A)P(A) + P(B A * )P(A * ) Inatti, abbiamo considerato come partizione quella composta dagli eventi A e A*. Sostituendo i rispettivi valori numerici abbiamo P(B) (9/99)*(0/00) + (0/99)*(80/00) /5 TEOREMA DI BAES Questo teorema è una diretta conseguenza del teorema sulle probabilità totali. Ci mettiamo anche nelle stesse ipotesi del teorema precedente: abbiamo perciò lo spazio di probabilità (S,P) ed abbiamo una partizione (B n ) n N dello spazio degli eventi S. Consideriamo inine un evento generico A. Vogliamo calcolare la probabilità che si veriichi un generico evento B i della partizione una volta che si sia veriicato A, ossia vogliamo calcolare P(B i A). La prima cosa che possiamo are è applicare la ormula vista in precedenza per le probabilità condizionate: abbiamo perciò che ( i ) P B A ( i ) ( i ) P A B P B P( A) A questo punto, per il calcolo di P(A) noi possiamo servirci del teorema sulle probabilità totali, in particolare ci possiamo servire della tesi. Abbiamo perciò il seguente risultato: ( i ) P B A N i ( i ) ( i ) P A B P B ( i ) ( i ) P A B P B e questa è la tesi del teorema di Bayes. 0

11 Introduzione alla probabilità Processo di Bernoulli DEFINIZIONE Sia dato un certo esperimento il cui spazio dei campioni S è costituito solo da due possibili risultati: S { 0, }. Supponiamo di ripetere n volte questo esperimento e supponiamo anche che ogni ripetizione sia indipendente dalle altre, ossia non inluenzi le altre e non venga inluenzata dalle altre. Vogliamo calcolare la probabilità che, sulle n prove, il risultato venga uori K volte. Se indichiamo con una variabile che tiene conto di quante volte viene uori il risultato sulle n prove, è chiaro che noi vogliamo valutare il valore di P( K). Supponiamo che p sia la probabilità che, nella generica prova, venga uori ; ovviamente, allora, - p sarà la probabilità che, sempre nella generica prova, venga uori 0. Si può dimostrare analiticamente che la probabilità che noi cerchiamo è n P( K) p K ( p ) L insieme delle n ripetizioni del nostro esperimento con tutte le proprietà elencate, inclusa P(K), prende il nome di processo di Bernoulli. Vediamo di esaminare un po' più nel dettaglio tale processo. Intanto, il atto che lo spazio dei campioni abbia solo elementi implica che, su n ripetizioni, i risultati possibili siano n. Per esempio, se supponiamo di eettuare n3 ripetizioni, i risultati possibili sono i seguenti: ) ) 0 0 3) 0 0 4) 0 0 5) 0 6) 0 7) 0 8) Sulla base di questa tabella di risultati, diamo una giustiicazione intuitiva della ormula data prima per P(K). Supponiamo ad esempio di volere P(), ossia la probabilità che, sulle 3 ripetizioni, venga uori una sola volta. E intanto evidente che i casi a noi avorevoli sono solo 3 e precisamente i casi (), (3) e (4): possiamo perciò cominciare a scrivere che n K P( ) P( 0, 0, 0,, 0, 0, 0) Gli 8 eventi sono tra loro disgiunti (o mutuamente esclusivi), in quanto è ovvio che non possono accade insieme: se esce la sequenza, certamente non potrà uscire nessun altra delle altre sequenze. Di conseguenza, la probabilità che accada almeno uno dei 3 è la somma delle probabilità che ciascuno accada singolarmente: quindi P( ) P 0, 0, + P 0,, 0 + P, 0, 0

12 Appunti di Teoria dei Segnali - Capitolo 8 Consideriamo P( 0, 0, ) : questa è la probabilità che alla prima e alla seconda ripetizione venga uori 0 ed alla terza venga uori. Avendo supposto all inizio che ciascuna prova sia indipendente dalle altre, possiamo scrivere che P 0, 0, P( 0) P( 0) P( 3 ) ossia che la probabilità che i tre eventi accadano in sequenza è pari al prodotto delle singole proprietà, in base alla deinizione di eventi indipendenti. In modo analogo, per le altre due, ossia P 0,, 0 P( 0) P( ) P( 3 0) P, 0, 0 P( ) P( 0) P( 3 0) Avendo inine detto che la probabilità che, alla generica prova, venga uori è pari a p e quella che venga uori 0 è pari a -p, possiamo scrivere che e quindi possiamo concludere che e questa si può anche scrivere nella orma P 0, 0, P( 0) P( 0) P( 3 ) ( p)( p) p ( p) p P 0,, 0 P( 0) P( ) P( 3 0) ( p) p( p) ( p) p P, 0, 0 P( ) P( 0) P( 3 0) p( p)( p) ( p) p che è in peretto accordo con la ormula generale. P( ) P 0, 0, + P 0,, 0 + P, 0, 0 3( p) p P( ) ( p) p 3 3

13 Introduzione alla probabilità Sistema di trasmissione binaria INTRODUZIONE: CANALE BINARIO SIMMETRICO Supponiamo di dover trasmettere un segnale binario, ossia una sequenza di bit, da una certa sorgente ad un certo ricevitore. Possiamo schematizzare l apparato di trasmissione nel modo seguente: Sorgente numerica Canale binario Ricevitore La sorgente numerica è quella che genera il segnale binario da trasmettere, ossia una sequenza di simboli e 0; il canale binario rappresenta invece tutti quei dispositivi necessari per la trasmissione del segnale dalla sorgente al ricevitore. I problemi, in uno schema di trasmissione di questo tipo, vengono proprio dal canale binario: inatti, trattandosi di un insieme di cavi e dispositivi isici, è possibile che esso commetta degli errori nella trasmissione del segnale: in parole povere, è possibile che, nonostante la sorgente abbia emesso il simbolo, il ricevitore riceva il simbolo 0 e viceversa. Vogliamo allora studiare, da un punto di vista probabilistico, la possibilità che le inormazioni che arrivano al ricevitore siano diverse da quelle emesse dalla sorgente. A tal ine, possiamo caratterizzare il canale binario mediante dei concetti probabilistici; in particolare, è evidente che il canale commette un errore in due casi: il primo caso è che, in corrispondenza della trasmissione di un, esso accia ricevere uno 0; il secondo caso, invece, è ovviamente che, in corrispondenza della trasmissione di uno 0, esso accia ricevere un. Possiamo associare a questi due casi due eventi: evento A : ricevuto in corrispondenza di uno 0 trasmesso evento B : 0 ricevuto in corrispondenza di un trasmesso Ancora più sinteticamente, possiamo usare il concetto di probabilità condizionate e scrivere che evento A : R 0T evento B : 0R T Prendono allora il nome di probabilità di transizione la probabilità che si veriichi l evento A e la probabilità che si veriichi l evento B: 3

14 Appunti di Teoria dei Segnali - Capitolo 8 probabilità di transizione : p 0 P R 0T p P 0R T Chiaramente, quindi, p 0 indica la probabilità che sia ricevuto un quando invece la sorgente ha emesso uno 0, mentre p indica la probabilità che sia ricevuto uno 0 quando invece la sorgente ha emesso un. Noi diremo che il canale binario considerato è simmetrico quando p 0 p : ciò signiica dire che la probabilità di sbagliare simbolo è identica sia quando viene trasmetto uno 0 sia quando viene trasmesso un. Mettiamoci dunque in questa ipotesi e poniamo semplicemente pp 0 p : quindi p rappresenta la probabilità che il canale accia giungere al ricevitore un simbolo diverso da quello che è stato emesso dalla sorgente. Quindi, quando si veriica un errore? L evento errore, che indichiamo con E, si veriica quando il bit ricevuto è diverso dal bit trasmesso. Vogliamo P(E). Per calcolare P(E) intendiamo applicare il teorema delle probabilità totali, del quale ripetiamo perciò l enunciato: sia dato lo spazio dei campioni S relativo ad un certo enomeno; consideriamo una partizione di S, ossia una successione (B n ) n N di insiemi a a disgiunti e tali che la loro unione dia proprio S; issiamo un certo evento A; la probabilità che A si veriichi può essere calcolata mediante la ormula N P( A) P A B i i Vediamo come questo teorema ci è di aiuto nel nostro caso. Intanto, lo spazio degli eventi relativo al enomeno della generazione, da parte della sorgente, del segnale binario è semplicemente S { 0T, T}, in quanto la sorgente può trasmettere o 0 o. Allora, come partizione di S noi possiamo prendere gli eventi B T B { } { 0T} In tal modo, possiamo valutare la probabilità che si veriichi un errore mediante la ormula ( 0 ) ( ) P( E) P E T + P E T Usando adesso le probabilità condizionate, possiamo esprimere le probabilità assolute in termini appunto di probabilità condizionate, ottenendo che Adesso rilettiamo su quanto abbiamo scritto: ( E T) P( E) P E 0T P( 0T) + P ET P( T) parole, è la probabilità che sia ricevuto avendo trasmetto 0, ossia è la prima probabilità di p p 0 P R 0 T ; transizione 4

15 Introduzione alla probabilità in modo analogo, P( E ) è la probabilità che avvenga un errore nell ipotesi di aver trasmesso uno, ossia la probabilità che sia ricevuto 0 avendo trasmetto, ossia è la seconda probabilità di p p P 0 R RT ; transizione Quindi abbiamo che [ ] P( E) pp( 0T) + pp( T) p P( 0T) + P( T) Inoltre, è chiaro che il termine tra parentesi quadre è la probabilità dell evento P(0T T): inatti, l evento 0T è disgiunto dall evento T (in quanto la sorgente o trasmette o trasmette 0), per cui la somma delle probabilità di due eventi disgiunti è pari alla probabilità dell evento unione. Tuttavia, l evento 0T T è l evento certo, in quanto la sorgente o trasmette o trasmette 0, per cui P(0T T). Possiamo perciò concludere che, per ogni simbolo emesso dalla sorgente, la probabilità che si veriichi un errore, ossia la probabilità che il ricevitore riceva il simbolo sbagliato, è pari proprio a p, cioè alla probabilità che sia il canale a sbagliare il simbolo. Questo, ovviamente, nell ipotesi di canale simmetrico. METODI DI PREVENZIONE E CORREZIONE DEGLI ERRORI Codice a ripetizione Per motivi isici, la probabilità p che il canale sbagli non sempre è trascurabile, per cui è opportuno ridurre al minimo la probabilità di errore: è cioè necessario trovare un metodo che riesca a recuperare gli errori del canale, ossia a ar sì che, nonostante il canale commetta degli errori, il ricevitore riceva comunque il segnale corretto. I metodi possibili sono diversi: il primo che consideriamo è il cosiddetto codice a ripetizione. La caratteristica ondamentale di questo metodo è quella per cui, dato il segnale emesso dalla sorgente, esso, prima di essere inviato al canale per la trasmissione, viene arricchito di un numero preissato di bit, posti ovviamente in posizione opportuna. Vediamo di spiegarci meglio. Intanto, dobbiamo modiicare lo schema del sistema di trasmissione nel modo seguente: Sorgente numerica Codiicatore di canale Canale binario Decodiicatore di canale Ricevitore Sono stati dunque aggiunti due nuovi apparati, denominati codiicatore di canale e decodiicatore di canale. Vediamo quali sono le loro unzioni a partire dal primo. Supponiamo che la sorgente emetta la seguente sequenza di simboli binari: cioè la sequenza di bit 5

16 Appunti di Teoria dei Segnali - Capitolo 8 Come si vede dallo schema, questa sequenza, prima di arrivare al canale per la trasmissione, va in input al codiicatore di canale: il compito di questo organo è quello di modiicare il segnale binario nel modo seguente: per ogni simbolo binario in ingresso, il codiicatore ne genera un numero DISPARI di copie. Nel nostro caso, in corrispondenza di quel segnale, il segnale generato dal canale, nell ipotesi di 3 copie ogni bit, sarà il seguente: Questo è il segnale che va nel canale e da questo deve essere trasmesso verso il ricevitore e questo è anche il motivo per cui si parla di codice a ripetizione. Nell ipotesi che il canale non commetta nessun errore durante la trasmissione, quello è anche il segnale che arriva in ingresso al decodiicatore di canale : il compito di questo organo è quello di ricostruire, a partire da questo segnale in ingresso, il segnale originale emesso dalla sorgente e di inviarlo quindi al ricevitore. Come avviene la ricostruzione? Si dice che il decodiicatore agisce a maggioranza: per ogni terna di simboli che arriva in ingresso, il decodiicatore trasmette al ricevitore il simbolo che, tra i 3, si ripete più volte. Nel caso di 3 ripetizioni, è ovvio che trasmetterà il simbolo che si ripete almeno volte; nel caso generale di n+ ripetizioni, il decodiicatore trasmette il simbolo che si ripete almeno n+ volte. Vediamo allora per quale motivo questo metodo di trasmissione consente di ridurre la probabilità di errore, ossia la probabilità che il ricevitore riceva un simbolo diverso da quello eettivamente inviato dalla sorgente. Sappiamo che il problema deriva dal canale, il quale, in modo del tutto casuale, può modiicare qualcuno dei bit che riceve in ingresso dal codiicatore. Per esempio, supponiamo che, anziché trasmettere il segnale prima indicato, il canale trasmetta quest altro: Le recce indicano i bit in corrispondenza dei quali si è veriicato un errore rispetto al segnale corretto. Vediamo come il decodiicatore ricostruisce il segnale da inviare al ricevitore: { { { { 0 { { { { 000 { 000 { Conrontando questo con il segnale emesso dalla sorgente, osserviamo che si è veriicato solo errore (nella seconda terna), a ronte di ben 5 errori commessi da parte del canale. Quindi, dei 5 errori, ben 4 sono stati recuperati. Anche se tra un attimo lo vedremo meglio dal punto di vista matematico, è intuitivo accorgersi che la probabilità che il ricevitore riceva un simbolo sbagliato diventa senz altro piccola: inatti, è chiaro che questa eventualità si veriica solo se il canale commette almeno errori in sola terna, il che è abbastanza diicile. Non solo, ma vedremo anche che la probabilità di errore si riduce di parecchio aumentando il numero di ripetizioni, ossia associando, a ciascun bit emesso dalla sorgente, un numero (dispari) ancora maggiore di copie. Vediamo allora quali sono le osservazioni che possiamo are da un punto di vista probabilistico. Intanto, acciamo due ipotesi di partenza: la prima è che il canale sia simmetrico: abbiamo visto prima che questo signiica che la probabilità di sbagliare simbolo è identica sia quando viene trasmetto uno 0 sia quando viene 6

17 Introduzione alla probabilità trasmesso un ed abbiamo anche visto quali conseguenze ci siano per la valutazione della probabilità di errore; la seconda ipotesi è che un eventuale errore, da parte del canale, su un bit non sia inluenzata da altri errori e non inluenzi altri errori; detto in altre parole, gli eventuali errori sono tutti eventi indipendenti tra loro. Consideriamo il seguente evento: E S : errore di sistema Si tratta cioè dell evento per cui il ricevitore riceve un bit diverso da quello inviato dalla sorgente. Noi vogliamo calcolare P(E S ), con l accortezza di non conondere questa probabilità con p, che è invece la probabilità di errore del canale sul generico bit. Mettiamoci nel caso generale in cui il codiicatore di canale, per ciascun bit, ne invia al canale n+ copie. L errore si veriica quando, su questi n+ bit da trasmettere, il canale compie almeno n+ errori (e al più n+): quindi, possiamo scrivere che P( E ) P( n + bit erratti n + bit errati... n + bit errati altri bit corretti) S E subito ovvio che l ultimo evento si può eliminare per deinizione di unione di due o più eventi: quindi n + bit erratti n + bit errati... n + bit errati P E P S Gli eventi rimanenti sono certamente disgiunti tra loro, in quanto non si possono veriicare contemporaneamente (o si veriicano n+ bit errati, o se ne veriicano n+ e così via), per cui possiamo scrivere che P( E ) P n + bit erratti + P n + bit errati P n + bit errati S Concentriamoci su queste probabilità: dato generico (compreso tra n+ e n+), P( bit erratti ) è la probabilità che, su n+ bit, il canale commetta errori; essendo ciascun errore indipendente dagli altri ed essendo p la probabilità di errore sia per il bit 0 sia per il bit, è ovvio che siamo nelle stesse ipotesi del processo di Bernoulli, per cui possiamo scrivere che n + P( bit erratti ) p ( p) n + e quindi P( E ) S n+ n + p n+ ( p) n+ Trattandosi di una sommatoria inita di termini, una volta scelto n, ossia scelto il numero di ripetizioni (che è n+), è chiaro che possiamo valutare numericamente P(E S ). Sostituendo i valori numerici, supponendo p0 -, si ottiene quanto segue: 7

18 Appunti di Teoria dei Segnali - Capitolo 8 n P( E S ) 4 3* * * Questa tabella evidenzia come la probabilità di errore decresca notevolmente all aumentare di n: per esempio essa ci dice che, per 5 ripetizioni (ossia n4) la probabilità di errore vale.8*0-8, ossia, in altre parole, il ricevitore riceve un simbolo sbagliato approssimativamente ogni 0 8 simboli. Naturalmente, ci sono anche degli svantaggi nel codice a ripetizione: inatti, è chiaro che quanti più simboli devono essere inviati, tanto maggiore è il tempo necessario alla trasmissione, per cui l abbassamento della probabilità di errore, mediante il metodo del codice a ripetizione, comporta un innalzamento del tempo di trasmissione. 7 8 Codice a controllo di parità Così come il codice a ripetizione esaminato nei paragrai precedenti, il cosiddetto codice a controllo di parità è un altra tecnica utilizzata per prevenire gli errori di trasmissione dovuti al canale. Vediamo di che si tratta. Supponiamo che la sequenza di bit che il canale deve trasmettere sia la seguente: La prima cosa che viene eettuata, da parte del codiicatore di canale, consiste nel raggruppare i bit della sequenza da trasmettere in gruppi di n- bit, dove ovviamente il valore di n dipende dal progetto. Per esempio, prendiamo n, per cui i gruppi che otteniamo sono composti da 3 bit e, nel nostro esempio, sono i seguenti: A ciascuno di questi gruppi viene aggiunto un ulteriore bit a destra: questo bit ha lo scopo di rendere PARI (da cui il nome appunto di controllo di parità) il numero di bit a contenuti in ciascun gruppo. Evidentemente, ciò comporta che il bit aggiuntivo, detto bit di controllo, venga posto a quando il numero di bit a è dispari, mentre, in caso contrario, venga posto a 0. Nel nostro esempio, la sequenza viene allora modiicata nel modo seguente: Questa è la sequenza che viene dunque inviata dal codiicatore di canale sul canale stesso per la trasmissione. Vediamo allora cosa accade in ase di ricezione; in particolare, supponiamo che si veriichino degli errori durante la trasmissione e che quindi la sequenza che giunge al decodiicatore di canale sia atta nel modo seguente: 8

19 Introduzione alla probabilità Le reccette nel disegno indicato evidentemente gli errori che si sono avuti durante la trasmissione. Il principio di ondo è quello per cui il decodiicatore, per controllare se ci sono stati o meno degli errori, controlla che, per ciascun gruppo di n bit (dove n- bit sono i bit di inormazione, mentre l n bit è quello di parità), il numero di bit ad sia pari: quando il numero di bit ad è pari, il decodiicatore prende per buono il gruppo, elimina il bit di parità e trasmette il gruppo al ricevitore; quando il numero di bit ad è dispari, il decodiicatore deduce che c è stato un errore e quindi chiede la ritrasmissione della stessa sequenza; naturalmente, in base a come è stato progettato il decodiicatore di canale, il numero di ritrasmissione possibili può essere anche ininito (nel senso che il decodiicatore chiede la ritrasmissione inché non riceve una sequenza corretta), ma può anche essere inito (nel senso che, pur non avendo ancora ricevuto una sequenza corretta, esso non chiede più la ritrasmissione dopo che ne sono state già eettuate un certo numero isso). Da quanto detto si deduce che si possono veriicare, in ricezione, tre diverse situazioni: ricezione corretta : quando, sul generico gruppo di n bit, non si è veriicato alcun errore, è chiaro che il gruppo è corretto, per cui esso viene inviato al ricevitore (privato del bit di parità); ricezione sbagliata o errore non rilevato : quando, sul generico gruppo di n bit, si è veriicato un numero PARI di errori, il gruppo contiene un numero pari di bit ad, per cui il decodiicatore accetta il gruppo e lo trasmette al ricevitore; la dierenza con il caso precedente è che la sequenza è in questo caso sbagliata, ossia è diversa da quella emessa dalla sorgente; errore rilevato : quando, sul generico gruppo di n bit, si è veriicato un numero DISPARI di errori, il gruppo non contiene certamente un numero pari di bit ad, per cui il decodiicatore deduce la presenza di almeno un errore e quindi chiede la ritrasmissione del gruppo. Analizziamo allora da un punto di vista probabilistico queste eventualità, acendo sempre l ipotesi di avere a disposizione un CBS (canale binario simmetrico) con probabilità di errore pari a p. La ricezione corretta si ha quando, su n bit, non si veriica nessun errore, per cui, applicando la ormula di Bernoulli, possiamo scrivere che ricezione P corretta ( ) p n L errore non rilevato si ha invece quando il numero di errori, su n bit, è pari: n errore non n P rilevato p 0 ( p ) n In modo analogo, l errore rilevato si veriica quando il numero di errori, su n bit, è dispari: n errore n P p rilevato 0 ( p) n + 9

20 Appunti di Teoria dei Segnali - Capitolo 8 Le tre probabilità appena calcolate sono relative al generico gruppo di bit. Il discorso più generale da are è più complesso; consideriamo ad esempio la probabilità di ricezione corretta: è chiaro che la ricezione corretta può avvenire subito, nel senso che, sul gruppo di n bit considerato, non si veriica alcun errore, ma può avvenire anche dopo una ritrasmissione, oppure dopo due ritrasmissione e così via ino, teoricamente, a ritrasmissioni. Di conseguenza, possiamo scrivere in generale che ricezione n n n n P ( p) + P( R) ( p) + P( R) P( R) ( p) +... ( p) P ( R) corretta dove ovviamente abbiamo indicato con P(R) la probabilità di ritrasmissione, ossia la probabilità di errore rilevato calcolata prima. Ricordando poi che quella somma non è altro che quella della serie geometrica, possiamo concludere che ( p) n ricezione P corretta P( R) In modo del tutto analogo, l evento dell errore non rilevato può veriicarsi dopo 0 ritrasmissioni, dopo ritrasmissione, dopo ritrasmissioni ino a, per cui, se noi poniamo n n P( ENR) p ( p ) 0 n 0 dobbiamo scrivere che errore non P( ENR) P P( ENR) P ( R) rilevato P( R) 0 L ultima cosa su cui ci concentriamo è cosiddetto numero medio di ritrasmissioni. Indichiamo intanto con n R la variabile aleatoria che ci quantiica il numero di ritrasmissioni per il generico gruppo di n bit. Il numero medio di ritrasmissioni non è altro che la media di questa variabile aleatoria: per calcolarlo, ci basta perciò applicare la deinizione, ossia ci basta scrivere che n R P( n T ) 0 Dobbiamo dunque calcolare P( n T ), ossia la probabilità che, sul generico gruppo di n bit, ci siano ritrasmissioni. Cominciamo dal caso in cui 0: dire che 0, ossia che non si veriica nessuna ritrasmissione, equivale a dire che il decodiicatore ha accettato il gruppo; questo accade sia quando non si è veriicato alcun errore sul gruppo sia quando il numero di errori è pari: indicate allora con P(C) la probabilità che non ci sia nessun errore e con P(NR) la probabilità che ci sia stato un numero pari di errori (entrambe queste probabilità sono state calcolate all inizio), possiamo scrivere che P( n 0) P( C) + P( NR) T 0

21 Introduzione alla probabilità Vediamo adesso il caso in cui : dire che signiica che la prima volta il decodiicatore ha rilevato l errore e ha richiesto la ritrasmissione e che la seconda volta, ossia dopo la ritrasmissione, esso non ha rilevato alcun errore. Possiamo perciò scrivere che P( n ) P( C) + P( NR) P( R) dove P(R) è la probabilità di ritrasmissione calcolata in precedenza. Chiaramente, per generico, noi avremo che T P( n ) P( C) + P( NR) P ( R) T per cui abbiamo che n P( C) + P( NR) P ( R) R 0 Questa relazione può essere acilmente sempliicata; in particolare, riguardo quella sommatoria possiamo are i seguenti passaggi al ine di ricondurci ancora una volta alla serie geometrica: ( P( R) ) d P R P R P R P R dp R P R P R d P ( R) dp( R) 0 d P( R) P( R) dp( R) P( R) Possiamo dunque scrivere che n P C + P( R) R P NR P R ( ) ( ) Non è ancora inita, in quanto è evidente che vale la relazione P( C) + P( NR) + P( R) Inatti, sul generico gruppo di bit, le situazioni possibili sono solo la ricezione corretta (C), la ricezione sbagliata (NR) o la ritrasmissione (R), per cui la somma delle rispettive probabilità deve essere uguale ad. Da quella relazione si deduce che P( C) + P( NR) P( R) per cui possiamo concludere che il numero medio di ritrasmissioni per il generico gruppo di bit è P R n R P( R)

22 Appunti di Teoria dei Segnali - Capitolo 8 Modello uniorme di probabilità in spazi campione initi Il caso più semplice di modello di probabilità su un enomeno (o esperimento) avente un numero inito N di risultati, si ottiene quando sono tutte uguali tra loro le probabilità degli eventi elementari. Indicato con A il generico evento elementare del enomeno, ciò signiica che P( A ) K N Un modello siatto prende il nome di modello uniorme. Considerato allora un qualsiasi evento A dell esperimento, è ovvio che la probabilità che esso si veriichi è data dal rapporto tra il numero di eventi elementari avorevoli ad A ed il numero totale di eventi elementari possibili: possiamo cioè scrivere che P( A), dove è appunto il numero di N eventi elementari avorevoli ad A. L esempio classico è quello del lancio di un dado a 6 acce. Assumendo tutte uguali ad /6 le probabilità elementari, è ovvio che la probabilità che venga uori un numero pari è 3/6, in quanto 6 sono gli eventi elementari possibili e 3 di essi (,4,6) sono quelli avorevoli all evento. ESEMPIO Supponiamo di avere a disposizione 0 diodi identici tra loro e di sapere che 3 sono guasti. Vogliamo la probabilità che, scegliendone 5 a caso, se ne trovino guasti. La prima cosa da are è individuare lo spazio dei campioni sul quale are i nostri ragionamenti. Il enomeno (o esperimento) che stiamo considerando consiste nello sceglie 5 diodi su 0: i risultati possibili sono dunque in numero di 0, per cui questa è la dimensione dello spazio degli eventi, 5 ossia il numero di eventi elementari. Adesso, il atto che i diodi siano identici ci consente di utilizzare il modello uniorme introdotto prima. Noi vogliamo la probabilità che, dei 5 diodi presi, siano guasti e gli altri 3 unzionanti. Detto in altre parole, noi vogliamo la probabilità dell evento A per cui, prendendo 5 diodi, ce ne siano guasti e 3 sani. 3 Dato che, nei 0 diodi, ce ne sono 3 guasti, noi abbiamo possibilità di scegliere diodi guasti. In modo analogo, dato che, nei 0 diodi, ce ne sono 7 sani, noi abbiamo diodi sani. Possiamo allora scrivere che P( A) possibilità di scegliere 3

23 Introduzione alla probabilità Variabili aleatorie DEFINIZIONE Fino ad ora, abbiamo considerato spazi di probabilità in cui gli eventi sono insiemi astratti non necessariamente numerici: basti pensare allo spazio di probabilità del lancio di un dado o della estrazione di una carta da un mazzo o di una pallina da un urna. E spesso conveniente associare, ad ogni risultato dell esperimento casuale considerato, un valore numerico: tale valore può essere scelto in modo del tutto convenzionale oppure può essere introdotto al solo scopo di classiicare in modo più preciso i risultati o può anche rappresentare il valore assunto da una grandezza isica in corrispondenza del risultato ottenuto. Per esempio, nella produzione di un certo tipo di oggetti, è possibile associare convenzionalmente il valore logico 0 a ciascun pezzo diettoso ed il valore logico a ciascun pezzo sano. Oppure, se l esperimento consiste nella produzione in serie di un certo tipo di resistori, viene immediato pensare di caratterizzare il resistore prodotto (cioè il risultato dell esperimento) con il valore della sua resistenza. Consideriamo perciò un esperimento casuale il cui spazio di probabilità sia (S,P), dove S è lo spazio di eventi, ossia l insieme di tutti i possibili risultati osservabili per il enomeno, e P è la unzione probabilità, che a ciascun evento di S associa la probabilità che esso si veriichi. Consideriamo inoltre una unzione così deinita: : S Si tratta cioè di una unzione che a ciascun evento contenuto in S associa un certo valore numerico, che sarà un valore reale nel caso che oppure un vettore di elementi reali se >. Da notare che non si tratta di una unzione probabilità: si tratta semplicemente di una legge analitica che a corrispondere, a ciascun evento, un certo valore determinato in un modo prestabilito. Una unzione del tipo di prende il nome di variabile aleatoria (o anche casuale) - dimensionale. Nel seguito noi ci limiteremo a considerare i casi in cui e. Consideriamo alcuni semplici esempi di variabili aleatorie Prendiamo l esperimento casuale consistente nel lancio di una moneta: lo spazio campione è perciò { testa croce} S, e la unzione probabilità comprende i valori P( croce) 0. 5 e P( testa) Un esempio di variabile aleatoria può essere la unzione che associa il valore 0 all evento croce ed il valore all evento testa: possiamo perciò scrivere che R P( ) P( testa) 0. 5 P( 0) P( croce) 0. 5 Consideriamo adesso l esperimento casuale consistente nel lancio di un dato a 6 acce: lo spazio dei campioni è evidentemente S { } ,,,,, e la unzione probabilità è P( i ) 6 i,,...,6 Un esempio di variabile aleatoria per questo esperimento è quella che, a ciascuna accia, associa il suo numero: possiamo cioè deinirla tale variabile aleatoria con la notazione ( ) i. i 3

24 Appunti di Teoria dei Segnali - Capitolo 8 Un altro esempio di ancora di spazio di campioni può essere quello di tutti i segnali ad energia inita. Indichiamo perciò con S { s t s t },,... tale spazio, che è evidentemente uno spazio ininito non numerabile. Una variabile aleatoria per questo spazio può essere quella che, a ciascun segnale, associa la sua energia: ciò signiica che essa è deinita mediante la relazione s ( t) s ( t) dt Supponiamo ora di considerare un generico spazio dei campioni S e di considerare una variabile aleatoria altrettanto generica. Supponiamo inoltre di volere la probabilità che a, con a costante reale: questo signiica che ci interessa la probabilità che si veriichi uno qualsiasi degli s S per i quali (s)a. Indicato con A l insieme che racchiude tutti questi eventi, lo possiamo rappresentare nel modo seguente: + { } A s S s a Calcolare P(s) equivale dunque a calcolare la probabilità che si veriichi l evento A. In modo analogo, se vogliamo calcolare la probabilità che si veriichi la condizione a b, noi dobbiamo calcolare la probabilità che si veriichi l evento { } B s S a s b Diamo adesso una importante deinizione: De. Avendo detto che una variabile aleatoria associa ad ogni evento di S un certo valore numerico (scalare o vettoriale), noi diremo rango della variabile il codominio di, cioè l insieme (S) dei valori osservabili per la unzione. Lo indicheremo con R. Variabile aleatoria discreta De. Noi diremo che una variabile aleatoria è discreta se il rango di è un insieme inito o comunque numerabile. Quindi, dire che una certa variabile è discreta signiica dire che il suo rango è del tipo {,,...,,...} R x x x dove x,x,...,x n,... (con n inito nel caso di R inito oppure indeterminato se R è ininito numerabile) sono degli scalari se è monodimensionale oppure dei vettori a componenti se è - dimensionale. Allora, noi saremo sempre interessati a valutare la probabilità che la variabile aleatoria assuma quei valori, ossia saremo interessati a valutare P(x ) P(x )... Questi numeri, che spesso indicheremo con le lettere minuscole p,p,..., godono ovviamente di proprietà: n 4

25 Introduzione alla probabilità trattandosi di valori di probabilità relativi ad uno stesso enomeno, essi sono tutti maggiori o al più uguali a zero; inoltre, per lo stesso motivo, la loro somma, per n inito o ininito, è sempre pari ad. La unzione P che associa ad ogni valore x i del rango di la probabilità che assuma quel valore prende il nome di unzione di probabilità di. L insieme delle coppie (x i,p i ), con i,,..., costituisce invece ciò che si chiama distribuzione di probabilità di. Ad ogni modo, noi ci occuperemo poco di variabili aleatorie discrete, mentre ci concentreremo maggiormente su di un altra classe, che è quella che viene introdotta nel prossimo paragrao. CONTINUITÀ DI UNA VARIABILE ALEATORIA E FUNZIONE DENSITÀ Consideriamo una generica variabile aleatoria : S con o. Noi diremo che si tratta di una variabile aleatoria continua se esiste una unzione reale : R R che gode di 3 proprietà caratteristiche: R. ( x) 0 x R +. ( x) dx 3. A R : P A ( x) dx : questa proprietà dice che, preso un qualsiasi sottoinsieme A A di R, la probabilità che i valori riscontrati per acciamo parte di A è data da quell integrale Una unzione che goda delle prime proprietà si dice che è una densità; la terza proprietà a invece sì che ad si dia il nome di densità di probabilità. Come sarà chiaro tra poco e come si deduce proprio della terza proprietà, una unzione densità di probabilità serve a indicare il peso di singoli punti o di interi sottoinsiemi di R. Per indicare che la unzione (x) rappresenta una densità di probabilità relativa ad una variabile aleatoria, si usa indicarla con (x). Il signiicato matematico della densità Riguardo la terza proprietà della unzione densità relativa ad una certa variabile aleatoria, possiamo visualizzare il suo signiicato nel modo che segue: la unzione densità può essere rappresentata su di un graico cartesiano in unzione di x ed avrà un certo andamento: 5

26 Appunti di Teoria dei Segnali - Capitolo 8 (x) a b x Fissiamo adesso un intervallo [a,b] generico, con a e b che potrebbero anche essere ininiti; se noi andiamo a calcolare, mediante la proprietà 3, il valore di P(a<<b), non acciamo altro che misurare l area della regione di piano compresa tra la curva di, l asse delle ascisse ed i punti a e b. Questo dal punto di vista matematico; dal punto di vista probabilistico, con questo calcolo misuriamo il PESO dell intervallo [a,b] relativamente alla variabile aleatoria presa in esame. Osservazione: peso nullo dei singoli punti Consideriamo una variabile aleatoria continua e consideriamo un qualsiasi punto x di R. Se è continua, essa avrà una certa densità. Vogliamo calcolare la probabilità che per si osservi il valore x, ossia vogliamo P(x). Utilizzando la terza proprietà di, noi abbiamo che P x A { x} ( x ) dx dove abbiamo cioè posto l insieme A pari semplicemente al valore x. Tuttavia, proprio per il atto di essere costituito da solo punto, è noto che ad A si assegna misura nulla ed un integrale esteso ad un insieme di misura nulla è sempre 0, quale che sia la unzione integranda. Quindi P(x) 0. Questa è una proprietà ondamentale delle variabili aleatorie continue: data una variabile aleatoria, ogni singolo punto del rango (cioè del codominio), che può essere R o un suo sottoinsieme, ha peso 0. Apparentemente questo atto può sembrare poco intuitivo: tuttavia, dobbiamo sempre tenere presente che, se assumiamo che possa assumere tutti i valori di un determinato intervallo, dobbiamo da un lato dire che la probabilità che assuma un determinato valore sia 0, ma, contemporaneamente, dobbiamo anche ammettere che la probabilità uguale a zero non equivalga alla impossibilità. In altre parole, nel caso di variabili aleatorie continue, il atto che P(A)0 NON implica necessariamente che A sia un insieme vuoto. 6

27 Introduzione alla probabilità DENSITÀ DI UNA VARIABILE ALEATORIA CONTINUA DISTRIBUITA UNIFORMEMENTE SU UN INTERVALLO Fissiamo un certo intervallo [a,b] e consideriamo una variabile aleatoria monodimensionale il cui rango R coincida proprio con tale intervallo. Consideriamo adesso la unzione reale il cui andamento in unzione x è il seguente: ( x ) b se x [a, b] a 0 altrimenti (x) b a a b x Vogliamo intanto vedere se si tratta di una unzione densità, ossia se veriica le prime proprietà: assume sempre valori positivi o al più nulli ed inoltre, calcolandone l integrale esteso ad [a,b], esso è pari ad. Quindi si tratta di una unzione densità. Prendiamo adesso un sottoinsieme A di R e, sruttando la terza proprietà, calcoliamo la probabilità che il rango di sia contenuto in A, ossia calcoliamo P( A): ( A) P ( x ) dx Dato che la unzione assume valori nulli all esterno di [a,b], anche il suo integrale esteso a punti esterni a tale intervallo sarà nullo, per cui noi possiamo scrivere ( A) P b a A b a dx Si dice allora che la variabile aleatoria è distribuita uniormemente su [a,b]. DISTRIBUZIONE CUMULATIVA DI UNA VARIABILE ALEATORIA CONTINUA Supponiamo di avere una variabile aleatoria continua e supponiamo che sia la sua densità. Dato un qualsiasi punto x del codominio di, calcoliamo la probabilità che la variabile assuma un valore minore o al più uguale ad x: sruttando la unzione densità, possiamo scrivere che P( x) + x (x) dx 7

28 Appunti di Teoria dei Segnali - Capitolo 8 Si pone allora F (x) P( x) x (x) dx Questa unzione F (x) è una unzione reale di variabile reale che non pesa ogni singolo punto ma pesa da - ino a quel punto. Essa gode della proprietà ondamentale per cui ( x) df dx ( x) ossia è una primitiva della unzione (x). Ma la unzione F gode anche di altre proprietà, che sono le seguenti:. lim F ( x) : inatti, è certo che x. lim F ( x) 0 : inatti è impossibile che - x 3. F è una unzione continua 4. F è strettamente monotona (crescente o decrescente) sul rango di, mentre al di uori del rango, potrebbe anche essere costante. Questa unzione F prende il nome di distribuzione cumulativa o unzione di distribuzione della variabile aleatoria. E evidente che la conoscenza di F equivale alla conoscenza di : inatti, in base alla relazione vista prima, basta derivare F per conoscere. Vediamo una serie di altre proprietà di F. La prima è la seguente: La dimostrazione è immediata: inatti, dato che P x x F ( x ) F ( x ) ( ) ( ) ( ) + ( ) P x P x x x P x P x x è chiaro che P x x P x P x F ( x ) F ( x ) Chiaramente, una conseguenza immediata di quest ultima proprietà e della deinizione di densità di probabilità è che P x x ( x) dx x x 8

29 Introduzione alla probabilità Sempre sulla alsa riga di quest ultima e ricordando che F (- )0, è chiaro che Un altra proprietà è la seguente: x P x ( x) dx F ( x ) Se x x F F (x) (x) monotona monotona crescente decrescente F (x F ) F (x (x ) F ) (x ) Esempio: variabile aleatoria continua Consideriamo una variabile aleatoria continua, la cui densità sia (x) x 0 se x [0,] altrimenti (x) x Vogliamo la distribuzione cumulativa di sulla base della deinizione: abbiamo F (x) P( x) x ( τ) dτ Data la particolare struttura di (x), possiamo spezzare l integrale in parti: F (x) 0 ( τ)dτ + x 0 ( τ) dτ Il primo integrale è sicuramente nullo in quanto la unzione integranda, (τ), è nulla prima di 0: quindi F (x) x 0 ( τ) dτ 9

30 Appunti di Teoria dei Segnali - Capitolo 8 Questo secondo integrale assume due valori diversi a seconda del valore di x, dato che il valore di (τ) dipende proprio da x: il primo caso è quello in cui x [0,]: in questo caso, risulta (τ)τ/, per cui scriviamo che x τ τ x [ 0,] F (x) dτ 0 il secondo caso è quello in cui x è esterno all intervallo [0,]: in questo caso, per le ipotesi atte, risulta (τ)0 e quindi anche l integrale risulta nullo. x 0 x 4 Possiamo perciò concludere che x F (x) 4 0 se x [0,] altrimenti Esempio: distribuzione uniorme su un intervallo Consideriamo una variabile aleatoria la cui unzione densità sia ( x ) b se x [a, b] a 0 altrimenti Sappiamo che una siatta si dice uniormemente distribuita sull intervallo [a,b]. E immediato comprendere come la sua distribuzione cumulativa F (x) sia la seguente: F (x) a b x Esempio: distribuzione esponenziale Consideriamo una variabile aleatoria continua, la cui distribuzione cumulativa sia F λx e se x > 0 ( x) 0 se x 0 Vogliamo la densità di : ci basta eettuare una derivazione rispetto ad x, dalla quale otteniamo x λe λ se x > 0 ( x) 0 se x 0 30

31 Introduzione alla probabilità L andamento di questa unzione è il seguente: λ (x) x Una variabile aleatoria che abbia una unzione densità di probabilità così atta si dice che ha una distribuzione esponenziale con parametro λ. Una caratteristica molto importante di una variabile aleatoria che abbia questa distribuzione è quella di essere senza memoria: ciò signiica che vale la relazione P( > T + s > T) P( > s) La veriica di questa proprietà è immediata: intanto, usando la deinizione di probabilità condizionate, abbiamo che P( > T + s > T) P( > T + s > T) P > T Osservando il numeratore di quella razione, è evidente che la probabilità che sia >T+s e >T è semplicemente la probabilità che >T+s, per cui P > T + s > T ( > + ) P( > T) P T s Questa può anche essere espressa nella orma P( T) P T s P( > T + s > T) + Adesso, per deinizione di distribuzione cumulativa di una variabile aleatoria continua, possiamo scrivere che F ( T s) P( > T + s > T) + F T Fin qui, il discorso è del tutto generale. Adesso subentra la particolare struttura di F (x): inatti, sostituendo l espressione della distribuzione cumulativa, abbiamo che P( > T + s > T) λ( T+ s) ( e ) λt ( e ) λ( T+ s) λt λs e e e λs e F s P s T T ( > ) λ λ e e 3

32 Appunti di Teoria dei Segnali - Capitolo 8 FUNZIONI DI VARIABILI ALEATORIE Supponiamo di avere un certo enomeno il cui spazio degli eventi sia S e supponiamo anche di avere una generica variabile aleatoria : S R, con o. Non ci interessano eventuali proprietà di cui possa godere. Consideriamo invece un altra unzione H così deinita: H: R R. Si tratta di una unzione che associa ad elementi di R dei precisi valori reali. A questo punto, componiamo le unzione e H nel modo seguente: S R H R Abbiamo cioè costruito la unzione H: S R che evidentemente è una variabile aleatoria monodimensionale. Da notare che il atto che si tratti di una variabile aleatoria non dipende dalla struttura della unzione H, ma solo dal atto che sia una variabile aleatoria. Vediamo allora se è possibile ricavare le caratteristiche statistiche della variabile aleatoria H(x), note che siano quelle di, ossia, in deinitiva, conoscendo (x) e/o F (x). Intanto, posto per comodità H(), abbiamo, per deinizione di distribuzione cumulativa, che F ( y ) P y P H ( ) y Se noi poniamo allora A x R H( x) y, è chiaro che F ( y) P H y ( x) dx A Esempio: distribuzione cumulativa di con generica Supponiamo di avere una variabile aleatoria della quale conosciamo la unzione densità (x). Vogliamo trovare la distribuzione dell altra variabile aleatoria H, che sarà evidentemente anch essa una variabile aleatoria continua. Per comodità, poniamo H, per cui il nostro scopo diventa quello di conoscere F (y): inatti, come abbiamo detto prima, se troviamo F, ci basterà derivare per ottenere la distribuzione della variabile. Possiamo subito applicare la deinizione circa la unzione F : si ha che F ( y ) P( y). Poiché H() abbiamo che F ( y ) P( H ( x ) y) si eettua sruttando la unzione densità (che è nota) della variabile aleatoria : inatti, si ha che Il calcolo di P( H x y) P H y ( x) dx { x R H( x) y} 3

33 Introduzione alla probabilità Questa ormula deriva dalla seguente considerazione: l evento per cui H() y, dal punto di vista della probabilità di accadere, è equivalente all evento per cui assuma quei valori tali che la relazione H(x) y sia veriicata; di conseguenza, la probabilità di quell evento è pari al peso di tali punti per la. Poniamo per comodità A x R H( x) y, per cui abbiamo che F ( y) P H y ( x) dx A questo punto, si tratta di capire come è atto questo insieme A sul quale noi eettuiamo la nostra integrazione. I casi possibili sono : se y<0, è ovvio che A è l insieme vuoto, in quanto non potrà mai essere veriicata la relazione x y ; se, invece y>0, l insieme A diventa evidentemente A x R x y x R y x y A per cui F ( y) ( x) dx ( x) dx { y, y} y y Poiché la unzione F (x) è per deinizione una primitiva di (x), abbiamo che F ( y) F y F y Derivando (mediante il teorema di derivazione delle unzioni composte) otteniamo df y d [ ] dy dy F y F y df y d y dx dy ( y) ( y) ( y) df ( y) y d y y d dy dy y In conclusione, quindi, la densità di è y ( y) ( y) ( y) + y y ( y) dx d dy ( y) 33

34 Appunti di Teoria dei Segnali - Capitolo 8 Esempio: distribuzione cumulativa di con distribuita uniormemente Supponiamo di avere una variabile aleatoria distribuita uniormemente e continua nell intervallo [0,0]. Troviamo ancora una volta la distribuzione della variabile aleatoria H(). Possiamo procedere sia applicando la ormula ricavata poco a, sia ripetendo il ragionamento. La prima via è immediata, considerando che ( x ) se x [0,0] 0 0 altrimenti per cui vediamo la seconda. Usando la deinizione della unzione F, abbiamo che x F ( x) ( τ) dτ Possiamo subito applicare la deinizione circa la unzione F : si ha che F ( y) P y P H( x) y ( x) dx A { x R H( x) y} A questo punto, dato che la unzione assume valori non nulli solo nel rango di, cioè nell intervallo [0,0], non ha senso calcolare quell integrale su tutto A, ma solo sull intersezione con R, nella quale, tra l altro, la unzione vale semplicemente /0: quindi F ( y) dx dx 0 0 A R A R A questo punto, l unico problema sta nel determinare la misura dell insieme A R. Per ricavare questa misura, la prima cosa da are è individuare come è atto l insieme A per cui, ricordandoci di quello a cui corrisponde, è necessario risolvere la disequazione H( x) x y. Questa disequazione dà questo risultato: y x y y 0 L intersezione con R [0,0] può allora dare diversi risultati a seconda del valore scelto per la variabile (reale) y: inatti, l estremo sinistro dell intersezione è comunque 0; l estremo destro è 0 oppure y ½ a seconda di quale dei valori sia minore. TEOREMA: CALCOLO DI F NELL IPOTESI DI INVERTIBILITÀ DI H() Una sicura acilitazione per i calcoli del tipo di quelli svolti nell esercizio precedente risulta nel caso particolare in cui la variabile aleatoria H() è invertibile sul rango di. Inatti, sotto questa ipotesi, esiste la unzione inversa di H e ciò consente di acilitare il calcolo di P(H() y). Ricordandoci che l invertibilità di una unzione su un certo intervallo implica la stretta monotonia della unzione sullo stesso intervallo, si possono allora presentare dierenti casi: 34

35 Introduzione alla probabilità se H() è strettamente crescente, si ha che ( ) ( ) P H y P H y se H() è strettamente decrescente, si ha invece che Quindi possiamo scrivere che ( ) ( ) P H y P H y ( ) P H y ( ) F y P H y P H y per H(x) crescente per H(x) decrescente Fissato y, è ovvio che H - (y) è un numero, per cui, in base alla deinizione di distribuzione cumulativa di una variabile aleatoria, quella relazione diventa ( ) F ( H ( y) ) F H y F ( y) P( H y) per H(x) crescente per H(x) decrescente A questo punto, ricordando che df ( y) ( y), possiamo scrivere che dy dh ( y) ( H ( y) ) dy ( y) ( y) ( H ( y) ) - dh dy per H(x) crescente per H(x) decrescente e quindi possiamo compattare queste due relazioni nell unica relazione ( y) H ( y) dh dy ( y) Per esempio, se osse a+b, avremmo ( y) y b a a 35

36 Appunti di Teoria dei Segnali - Capitolo 8 Esempio: H()3+ Supponiamo di avere una variabile aleatoria la cui densità sia (x) x 0 se x [0,] altrimenti Consideriamo adesso la unzione H(x)3x+ mediante la quale costruiamo la nuova variabile aleatoria H()3+. Vogliamo la distribuzione di probabilità di. Usiamo anche qui il concetto di distribuzione cumulativa: si ha intanto che F y P( H y) P( y) P y ( x) dx 3 y Ora, data la struttura di (x), è ovvio che F (y) y 3 (x)dx y 3 0 (x) dx Inoltre, a questo punto bisogna distinguere due casi, a seconda che la quantità y 3 minore di : x y - dx > y - y 3 > F (y) (x)dx 0 y 3 y y - x altrimenti dx altrimenti sia maggiore o y - 3 > altrimenti Nota F, ci basta derivare per ottenere : quindi (y) 0 y - 3 y - 3 > altrimenti 36

37 Introduzione alla probabilità Aspettazione di una variabile aleatoria DEFINIZIONE Consideriamo una variabile aleatoria. La unzione di distribuzione oppure la densità di probabilità (nel caso sia continua) orniscono una descrizione statistica completa di in quanto consentono di determinare la probabilità di ogni evento x < < x. Tuttavia, in molte applicazioni si ha interesse a conoscere non tanto la legge di distribuzione, quanto alcuni indici caratteristici di una variabile aleatoria che riassumano gli aspetti principali della legge di distribuzione. Il nostro scopo è perciò quello di introdurre alcuni parametri che orniscono delle inormazioni aggiuntive circa una variabile aleatoria. Sia data perciò una generica variabile aleatoria continua e sia (x) la sua densità: si deinisce aspettazione o media o momento del ordine o valor medio di il numero reale + E x ( x) dx Si deinisce, in generale, momento del ordine di il numero reale + E x ( x) dx dove,,3,.. Facciamo osservare come la media di esiste ed è inita solo nell ipotesi che dia un valore inito il seguente integrale: + x ( x ) dx Quale può essere una interpretazione isica, concreta del concetto di media di una variabile aleatoria? Possiamo dire che la media ornisce una indicazione sulla posizione attorno alla quale si raggruppano i valori della : in questo senso, essa è un indice di posizione della variabile. PROPRIETÀ DELLA MEDIA DI UNA VARIABILE ALEATORIA Vediamo velocemente alcune proprietà della media:. Se 0 E() 0. E( + ) E + E 3. E( c) ce c R 4. E( c) c c R 5. Se E() E() 37

38 Appunti di Teoria dei Segnali - Capitolo 8 Teorema Sia data la variabile aleatoria della quale siano note tutte le caratteristiche statistiche. Sia data poi un altra variabile aleatoria H() costruita a partire da. Si dimostra che il generico momento del ordine di si può calcolare mediante la relazione + E( ) y ( y) dy H ( x) ( x) dx + x Varianza e deviazione standard di una variabile aleatoria DEFINIZIONE Sia data la variabile aleatoria continua. Si deinire varianza di il numero reale σ [( E ] Var() E ) Quindi, data la variabile aleatoria, si calcola la sua media, la si sottrae ad, la si eleva al quadrato e si calcola ancora una volta la media. Si deinisce invece deviazione standard di il numero reale σ Var In analogia a quanto vale e a come viene indicata la deviazione standard, talvolta la varianza di si indica con il simbolo σ. L interpretazione isica concreta della deviazione standard di una variabile aleatoria, in accordo a quanto detto circa la media della stessa variabile, è la seguente: se E() è valore intorno al quale di dispongono i valori della, Var() indica di quanto tali valori si discostano da tale valore medio. La varianza, invece, ore una indicazione circa l addensamento dei valori della variabile attorno al valor medio: in questo senso si dice che essa costituisce una indice di dispersione. Proprietà della varianza di una variabile aleatoria Vediamo anche qui velocemente qualche proprietà della varianza:. Var 0. Var E( ) ( E ) 3. Var( c) c Var c R 4. Var Var( ) 5. Var( c) 0 c R 38

39 Introduzione alla probabilità Cenni sulle variabili aleatorie bidimensionali Siano ed due variabili aleatorie monodimensionali continue, le cui rispettive distribuzioni cumulative siano F (x) e F (y). La coppia (,) costituisce a sua volta una variabile aleatoria continua, questa volta bi-dimensionale. Per deinizione, la distribuzione cumulativa di questa variabile aleatoria è la unzione F ( x, y ) P( x y) mentre la unzione densità di probabilità è la unzione F ( x, y) ( x, y) x y Vista al contrario, questa relazione può anche essere scritta nella orma F (x, y) y x (x, 39 y) dxdy In questa espressione, è bene distinguere le variabili di integrazione dagli estremi di integrazione: indicando allora le variabili di integrazione con τ e t, possiamo riscrivere lo stesso integrale doppio nella orma F (x, y) y x (t, τ) dtdτ Diremo che le due variabili aleatorie ed sono indipendenti nel caso in cui sussiste la relazione F ( x, y) F ( x) F ( y) Si dimostra inoltre che sussiste il seguente risultato: P ( x x y) (x, y) dxdy x y x Prendono il nome di unzioni di distribuzione marginale rispettivamente di e di le seguenti due unzioni: + (x) (x, y)dy (y) (x, y) dx + Supponiamo adesso che Z sia una variabile aleatoria ottenuta come unzione delle variabili aleatorie ed : in particolare, supponiamo che sia Z g(, ). Sussiste il seguente risultato circa il calcolo della media di Z: + + E[ Z] g( x, y) ( x, y) dxdy

40 Appunti di Teoria dei Segnali - Capitolo 8 Diamo adesso alcune importanti deinizioni: si deinisce momento congiunto, di ordine, delle variabili ed la quantità [ ] E, ossia la media del prodotto delle variabili aleatorie ed ciascuna elevata ad un esponente di valore ; è intuitivo comprendere che tale momento congiunto vale E + + [ ] x y (x, y) dxdy si deinisce correlazione di ed la quantità E[ ] ; nel caso in cui ed sono indipendenti, si dimostra che tale correlazione è data da [ ] E[ ] E[ ] E si deinisce momento centrale di ordine -n delle variabili ed la quantità n [( ) ( ) ] E E E Nel caso in cui n, quella quantità diventa evidentemente [( )( )] [ ] [ ] [ ] E E E E E E e prende il nome di covarianza di ed (si indica con cov(,)) si deinisce coeiciente di correlazione di ed (o anche covarianza normalizzata) la quantità ρ [ ] [ ] [ ] [( ) ] ( ) cov(, ) E E E σ σ E E E E [ ] E acile veriicare che, se ed sono indipendenti, il loro coeiciente di correlazione risulta uguale a 0. In generale, invece, ρ 40

41 Introduzione alla probabilità Funzione caratteristica di una variabile aleatoria DEFINIZIONE NEL CASO CONTINUO Consideriamo una generica variabile aleatoria che sia continua: questo signiica che essa possiede una unzione densità di probabilità, che per comodità indichiamo con g (x). Sussiste la seguente deinizione: De. Si deinisce unzione caratteristica di la unzione Φ ( ν) jν [ ] Si tratta cioè della media della variabile aleatoria e jν : dato che questa è ottenuta come unzione della variabile aleatoria di partenza, possiamo senz altro applicare il noto teorema sulla media di una unzione di una variabile aleatoria e scrivere che ν [ ] E e + j jνx Φ ν E e e g ( x) dx In quest ultima relazione viene dunque indicato un preciso legame tra la unzione caratteristica di e la unzione densità di stessa. Possiamo caratterizzare ancora meglio questo legame, acendo uso del concetto di trasormata di Fourier. Inatti, in quell integrale nessuno ci vieta di eettuare un cambio di variabile; in particolare, possiamo porre x: otteniamo Φ + jν e g d ( ν) Possiamo anche porre anche νπt, per cui Questa relazione indica evidentemente che + jπt Φ π Φ ( t) e g ( ) d Fourier ( πt) g ( ) ossia che la unzione caratteristica di una variabile aleatoria può essere vista come l antitrasormata di Fourier della densità di probabilità della variabile aleatoria stessa. 4

42 Appunti di Teoria dei Segnali - Capitolo 8 APPLICAZIONE Questo risultato è importante in quanto ci consente di utilizzare tutte le proprietà che noi conosciamo circa la trasormata di Fourier. Per esempio, in precedenza noi abbiamo dimostrato che, considerate due variabili aleatorie e indipendenti tra loro e considerata la loro somma +, la densità di probabilità di si ottiene mediante la ormula g ( x) g ( x) * g ( x) ossia come prodotto di convoluzione della densità delle due variabili aleatorie di partenza. La dimostrazione di questo risultato non è stata molto agevole, mentre invece possiamo arla in modo estremamente rapido sruttando proprio la trasormata di Fourier e la deinizione di unzione caratteristica. Inatti, la unzione caratteristica di è data per deinizione da Φ ( ν) E jν jν ( + ) jν jν [ e ] E[ e ] E[ e e ] j Dato che e sono per ipotesi indipendenti tra loro, lo saranno anche le variabili e ν j e ν. Allora, dato che la media del prodotto è pari al prodotto delle medie quando le due variabili sono indipendenti, possiamo scrivere che Φ jν [ e ] E[ e ] jν Φ ( ν) Φ ( ν ) ( ν) E A questo punto, possiamo trasormare secondo Fourier questa relazione: sruttando la proprietà di convoluzione in requenza (in base alla quale un prodotto nel dominio dei tempi equivale ad una convoluzione nel dominio trasormato), noi abbiamo che [ Φ ( ν) ] Fourier [ Φ ( ν) ]* Fourier [ Φ ( ν) ] Fourier ed e da qui scaturisce evidentemente che g ( x) g ( x) * g ( x) PROPRIETÀ: MOMENTO DEL K ORDINE Sia data sempre la generica variabile aleatoria con densità di probabilità g (x) e con unzione caratteristica Φ ( ν ) : è possibile dimostrare la relazione [ ] E j d Φ ( ν) dν ν 0 Questa ormula dice che, nota la unzione caratteristica, mediante una semplice operazione di doppia derivazione noi siamo in grado di calcolare i momenti di qualsiasi ordine della nostra variabile. Tra l altro, in base a quella relazione, tali momenti dieriscono solo del termine /j. 4

43 Introduzione alla probabilità Anziché veriicare la relazione nel caso generale, acciamolo nel caso semplice di : + + dφ ( ν) d d jν jν e g ( ) d ( e g ( )) d j dν ν 0 j dν j dν + + jν e g ( ) d g ( ) d E[ ] ν 0 ν 0 ν 0 ESEMPIO: DISTRIBUZIONE ESPONENZIALE Sia una variabile aleatoria con distribuzione esponenziale: sappiamo che questo signiica che la unzione densità di probabilità di è x g ( x) λe λ x > 0 Calcoliamo la unzione caratteristica di : in base alla deinizione, possiamo scrivere che ν ν jνx λx x( λ jν) λ x( λ jν) [ ] [ e ] ( ν) E e e g ( x) dx λ e e dx λ e dx λ jν Φ j j x λ λ jν Adesso calcoliamo il generico momento del ordine: per are questo calcolo possiamo sruttare il risultato trovato al paragrao precedente, ma possiamo anche sruttare la particolare orma della unzione caratteristica appena trovata. Vediamo cosa succede con questa seconda strada. La unzione caratteristica può essere scritta nel modo seguente: Φ ( ν) ν j λ Nell ipotesi che ν/λ <, quella è la somma della serie geometrica, per cui possiamo scrivere che Φ jν D altro canto, essendo Φ ( ν) E[ e ] scrivere quanto segue: Φ ( ν) Usando la linearità della media, quella diventa Φ 0 jν λ, noi possiamo sviluppare in serie quell esponenziale e n jν j n ( ν) E[ e ] E + jν ( ν) +... n! n n n n n E[ ] E[ j ] E j j ( ν) + ν ( ν)... jνe[ ]... ν E[ ]... n! n! + 43

44 Appunti di Teoria dei Segnali - Capitolo 8 e possiamo quindi scrivere che Uguagliando adesso si deduce evidentemente che Φ Φ ( ν) ( ν) 0 [ ] j ν E! 0 0 jν λ jν j ν λ! j ν! [ ] E [ ] E da cui concludiamo che E[ ]! λ. FUNZIONE CARATTERISTICA DI UNA VARIABILE ALEATORIA DISCRETA La unzione caratteristica di una variabile aleatoria è stata deinita mediante la relazione Φ ( ν) E e jν [ ] Questa deinizione vale sia per quando è continua sia quando è discreta. Naturalmente, nel caso di continua, quella relazione, in base alla deinizione di media, diventa Φ + jν e g t dt ( ν) mentre, invece, se è discreta, abbiamo che jνxi Φ ( ν) e P( x i ) i 44

45 Introduzione alla probabilità Densità di probabilità condizionata Consideriamo un generico spazio di eventi S relativo ad un certo enomeno e in particolare consideriamo due eventi A e B contenuti in S: sappiamo già che si deinisce probabilità condizionata di A dato B la probabilità che si veriichi A dopo che si è veriicato B e sappiamo che tale probabilità è valutabile mediante la ormula P( A B) P( A B) P B Adesso, consideriamo un generica variabile aleatoria continua e con densità (x). Supponiamo anche che l evento generico A corrisponda all evento per cui x, dove x è un qualsiasi numero reale. La probabilità condizionata di prima diventa allora F ( x B) ( ) P( B) P x B La unzione F ( x B) prende il nome di unzione di distribuzione condizionata della variabile aleatoria. Evidentemente, a seconda di quello a cui corrisponde l evento B, tale unzione può assumere espressioni diverse. Supponiamo che anche l evento B sia legato alla variabile e in particolare che sia B { a} : abbiamo allora che ( ) P( a) P x a F x a F x a Da qui si deduce evidentemente che ( min( x, a) ) P( a) P se a x se a x ( x a) F ( x a) F ( a) ( a) ( x) ( a) P P P P Consideriamo adesso un altra variabile aleatoria e supponiamo che sia B { y} : in questo caso, abbiamo che ( ) P( y) P x y F x y F F ( x, y) Supponiamo adesso che sia B { y} : in questo caso, noi sappiamo che P(B)0 in quanto B si riduce ad un solo punto, per cui non siamo in condizioni di applicare la ormula ( y) P x B ( ) P( B) P x B 45

46 Appunti di Teoria dei Segnali - Capitolo 8 Possiamo tuttavia adottare qualche accorgimento per valutare qualcosa di molto simile; in particolare, si pone per deinizione ( ) F ( x, y) F x y lim F x y y + y y 0 Con questo procedimento al limite, noi possiamo are una serie di conti che ci portino ad un risultato importante: inatti, sempre mediante la ormula delle probabilità condizionate, possiamo scrivere che ( ) ( + ) P( y y + y) P x y y y F ( x, y) lim F x y y + y lim y 0 y 0 Usando ora i concetti di distribuzione congiunta di probabilità e di distribuzione di probabilità di una variabile aleatoria, abbiamo che F ( x, y) lim y 0 + y+ y y ( x, y ) dx dy, y+ y y ( y ) dy L integrale a denominatore, dato che y si ritiene piccolissimo, può essere risolto immediatamente nel modo (approssimato) seguente: F ( x, y) lim y 0 + y+ y y ( x, y ) dx dy, ( y) y Le stesse considerazioni si possono are per risolvere l integrale più interno dell integrale doppio a numeratore: abbiamo così che F + ( x, y) ydx,, ( x, y) lim lim y 0 ( y) y y 0 + ( x, y) dx Il atto che il y sia scomparso ci consente di eliminare il limite, per cui ( y) F ( x, y) +, ( x, y) dx Ogni eventuale passaggio matematico su questa ormula si può are solo conoscendo come è atta la unzione, ( x, y) di densità congiunta di e di. ( y) 46

47 Introduzione alla probabilità Inoltre, se deriviamo quella espressione, otteniamo d x y dx F x y, ( x, y) (, ) (, ) ( y) Variabili aleatorie con distribuzione gaussiana DEFINIZIONE DI DISTRIBUZIONE GAUSSIANA Si dice che una variabile aleatoria continua ha una distribuzione gaussiana con media µ e deviazione standard σ quando la sua unzione densità di probabilità è ( x) e σ π ( x µ ) σ L andamento graico di questa unzione, supposta µ0, è il seguente: Questa specie di campana è tanto più larga quanto maggiore è la varianza. FUNZIONE CARATTERISTICA Calcoliamo la unzione caratteristica di : la deinizione di unzione caratteristica, nel caso continuo, dice che ν [ ] + j jνx Φ ν E e e ( x) dx Tuttavia, data la complessità dell espressione di (x), è consigliabile usare un altro metodo e precisamente il legame che esiste tra quella unzione caratteristica e la trasormata di Fourier: sappiamo inatti che sussiste la relazione Φ Fourier ( πt) ( x) 47