Per forma di una distribuzione si intende il modo secondo il quale si dispongono i valori di un carattere intorno alla rispettiva media.

Transcript

1 FORMA DI UNA DISTRIBUZIONE Per forma di una distribuzione si intende il modo secondo il quale si dispongono i valori di un carattere intorno alla rispettiva media. Le prime informazioni sulla forma di una distribuzione statistica possono essere ottenute dalla rappresentazione grafica. Solitamente si considerano i seguenti aspetti: numero di massimi: una distribuzione si dice unimodale se presenta un solo massimo, plurimodale in caso contrario; simmetria: una distribuzione si dice simmetrica (rispetto alla mediana) se le modalità che sono equidistanti dalla mediana hanno la stessa frequenza.

2 Asimmetria di una distribuzione Se una distribuzione non presenta assi di simmetria, si dice asimmetrica. Due tipi di asimmetria: asimmetria positiva: vi è un maggiore addensamento delle osservazioni in corrispondenza dei valori più bassi o, in altre parole, l istogramma si prolunga dalla parte dei valori più grandi. asimmetria negativa: vi è un maggiore addensamento delle osservazioni in corrispondenza dei valori più grandi o, in altre parole, l istogramma si prolunga dalla parte dei valori più bassi. Salvo casi particolari, per una distribuzione continua valgono le seguenti relazioni: ( ) ( ) ( ) M X = M X = Moda X : simmetria e ( ) ( ) ( ) M X < M X < Moda X : asimmetria negativa e ( ) ( ) ( ) Moda X < M X < M X asimmetria positiva e

3 LE MISURE DI VARIABILITÀ (VAR. QUANTITATIVE) Il problema Supponiamo di voler confrontare gli enti locali di due regioni, A e B, sulla base dei valori assunti dall entità delle entrate proprie. Per semplicità supponiamo che sia di A che di B facciano parte solo EL: regione A regione B 500, , 00 media aritm.= 500 media aritm.= 500 Il valore medio assunto dalle entrate è uguale nelle regioni, ma la situazione in termini di disuguaglianza tra gli enti è molto diversa da regione a regione!!! Il valor medio non è sufficiente da solo a descrivere la distribuzione dei dati abbiamo bisogno di un indicatore statistico che fornisca una misura sintetica della diversità tra le entrate 3

4 Complichiamo un po l esempio impiegando un numero più elevato di dati e ricorriamo ad un istogramma: DISTR A DISTR B ni ni Totale 577 Le due distr. hanno la stessa media aritmetica = 0,59!!! tuttavia la DIST B è maggiormente dispersa DISTR A DISTR B 4

5 L attitudine di un carattere quantitativo X ad assumere valori differenti tra le unità componenti un insieme statistico è chiamata variabilità. Un fenomeno che mostra assenza di variabilità risulta, per lo statistico, poco interessante La variabilità costituisce una caratteristica dei collettivi statistici e può essere descritta mediante indicatori che godano di particolari proprietà: una misura di variabilità deve annullarsi quando, e solo quando, tutte le unità del collettivo presentano il medesimo stato di grandezza del carattere una misura di variabilità deve assumere valori crescenti all aumentare della variabilità. Il concetto di variabilità è strettamente legato all indice di variabilità utilizzato e pertanto non è corretto mettere a confronto misure di variabilità ottenute con indici diversi. 5

6 Due categorie di misure di variabilità (più una) Possiamo distinguere due categorie di misure di variabilità: indici che misurano la variabilità del carattere mediante una sintesi delle misure della diversità tra ogni termine della distribuzione ed una media (indici di variabilità basati sullo scostamento da una media); indici che misurano la variabilità del carattere misurando la diversità fra due particolari termini della distribuzione o fra due quantili (intervalli di variabilità); A queste due categorie se ne aggiunge una terza (che non studieremo in dettaglio) indici che misurano la variabilità del carattere mediante una sintesi delle misure della diversità di tutti i termini della distribuzione fra loro, cioè della diversità esistente fra le modalità di tutte le possibili coppie di unità della distribuzione 6

7 Indici di variabilità basati sullo scostamento da una media Varianza La varianza è definita come la media (aritmetica) degli scarti al quadrato dalla media aritmetica. Con riferimento ad un protocollo elementare, cioè ad un insieme di valori,,..., n : n V ( X ) = σ ( ) = i n i= Formula semplificata: σ n = i i= n Perché le differenze al quadrato? Il quadrato esalta le differenze più elevate e rende le differenze sempre positive (altrimenti si annullerebbero) 7

8 Esempio regione A regione B 500, , 00 = 500 = 500 σ = ( 500 ) + ( 500 ) = 0 σ = ( ) + ( ) = Calcolo della varianza utilizzando la formula calcolatoria Reddito mensile di 4 individui:, 3,, 5 Media aritmetica: Media dei quadrati: ( ) M ( X ) = =.75 4 M X ( ) ( ) = = 9.75 Varianza: V ( X ) = 9.75 (.75) =.9 4 8

9 Se le n osservazioni sono classificate in una distribuzione di frequenze secondo le k modalità puntuali di un carattere discreto, la varianza è: K V ( ) = σ = ( ) n = ( ) f n K j j j j j= j= La formula semplificata per il calcolo della varianza diventa: σ = K j n j = M ( X ) j= n Se le modalità sono raggruppate in classi occorrerà sostituire alla singola modalità j un valore rappresentativo della j-esima classe ˆ j (usualmente il valore centrale della classe). NB La varianza è espressa nel quadrato dell unità di misura di X. Si tratta quindi di una misura dimensionata il cui valore dipende oltre che dalla variabilità, dall ordine di grandezza del fenomeno e dall unità di misura della variabile X. 9

10 Esempio Calcolo della varianza in una distribuzione per classi di valori applicando la formula semplificata Consideriamo la distribuzione della spesa mensile pro-capite riferita ad un collettivo di 48 individui: classi di spesa ( 00 euro) ˆ j n j ˆ j n j ˆ j ˆ j n j > Totale Medie 9,07,76 Poiché le modalità sono raggruppate in classi, abbiamo calcolato un valore rappresentativo della classe ˆ j (il valore centrale). 0

11 Media dei quadrati K j n j =, 76 n = j La media aritmetica, calcolata sulla base degli stessi valori X rappresentativi della classe, è pari a 9,07. Avremo quindi che σ K j n j n j= = =,76 9, 07 = 30, 48 Ovviamente, al posto della formula calcolatoria, avremmo potuto applicare la definizione. Come nel calcolo della media aritmetica, aver raggruppato le modalità in classi comporta una certa approssimazione nel calcolo della varianza. (il calcolo effettuato sul protocollo elementare avrebbe portato ad un risultato leggermente diverso).

12 Una proprietà della varianza. Se Y = ax + b allora ( ) = ( + ) = ( ) V Y V ax b a V X In particolare, quindi: Se Y = ax allora V Y = V ax = a V X ( ) ( ) ( ) Se Y = X + b allora V ( Y ) = V ( X + b) = V ( X ) Esempio Uso della proprietà della varianza (e della media aritmetica) per cambiamenti nella scala di misurazione Supponiamo di voler individuare media e varianza della spesa mensile pro-capite espressa in Lire anziché in euro. Poiché euro = 936,7 lire, potremmo moltiplicare tutti i dati per 936,7 e ripetere il procedimento sopra illustrato. Tuttavia, nel caso avessimo già calcolato media e varianza in euro (come nel nostro caso) possiamo sfruttare le proprietà di media e varianza ed evitare di effettuare di nuovo tutti i calcoli. Sia Y=936,7 X

13 Avremo che: M(Y) = 936,7 M(X) = 936,7 9,07 =7563,5 V(Y) = 936,7 V(X) = 936,7 30,48 = =48947 Scarto quadratico medio (deviazione standard) È la radice quadrata della varianza: S( X ) = σ = σ E espresso nella stessa unità di misura di X ed è l errore che si commette, in media, sostituendo ai dati la media aritmetica L importanza dello scarto quadratico medio come misura di variabilità si evince anche dalle seguenti relazioni proprie di distribuzioni unimodali ed approssimativamente simmetriche: l intervallo [ σ, σ ] 6 l intervallo [ σ, σ ] l intervallo [ 3σ, 3σ ] + comprende circa il 67% delle osservazioni; + comprende circa il 95% delle osservazioni; + comprende approssimativamente tutte le osservazioni. 3

14 Standardizzazione di una variabile quantitativa Lo scarto quadratico medio è inoltre utilizzato per operare una trasformazione lineare ai dati originari, detta standardizzazione. I valori standardizzati z,z,...,z n corrispondenti alle n osservazioni,,..., n di un carattere quantitativo X, sono definiti come: z i = i σ La distribuzione degli scarti standardizzati origina una variabile Z per cui risulta: M Z = 0 per la proprietà della media aritmetica b) V( Z ) = in quanto: a) ( ) ( ) V Z n n n ( zi z ) zi ( i ) i= i= i= σ n n σ n σ = = = = Gli scarti ridotti sono numeri puri poiché esprimono lo scarto assoluto in unità di scarto quadratico medio. 4

15 Devianza Il numeratore della varianza è detto devianza: n ( i ) i ( ) Dev( X ) = = n = nv X i= i= n La devianza è una quantità additiva. Infatti, se l insieme delle n unità statistiche viene suddiviso in G gruppi, indicati con {, i =,..., n },,, {, i,..., n } i ig = con G G n = n (g=,,g identifica il gruppo - i=,,n g identifica l unità entro il gruppo g) la somma dei quadrati degli scarti delle n determinazioni di X dalla loro media aritmetica si scompone in due addendi: la somma delle G devianze calcolate all interno di ogni gruppo (dev. Entro), la devianza delle G medie aritmetiche di gruppo (indicate con, per g =,..., G) attorno a (dev. Tra) g = g g 5

16 G n g G ( ) = ( ) + ( ) Dev X n ig g g g g = i= g = Dev relativa al gruppo g Dev tra i gruppi Somma delle Dev dei gruppi = Dev entro Esempio Il capo del personale di un azienda suggerisce ai vertici dell azienda stessa di assumere alla catena di montaggio solo uomini in quanto, a suo parere, sono più veloci delle donne nell effettuare l operazione loro assegnata. E vera l affermazione del capo del personale? 6

17 Esperimento scientifico Con riferimento a 0 maschi e 0 femmine si misura il numero medio giornaliero di pezzi prodotti X Maschi Femmine Per prima cosa calcoliamo le medie: M = ( ) = F = ( ) = = 9. M F 7

18 Calcoliamo la devianza tra G ( ) ( ) Dev X = n = TRA g g g= ( ) ( ) = = 360 Calcoliamo la devianza entro. La devianza entro ognuno dei due gruppi è pari a: n g ig ng g, i= otteniamo che: Dev( X ) Dev( X ) 0 e quindi DevENTRO X ( ig g ) M = 4747 = ( ) = = 995 g= i= Infine: Dev( X ) = Dev ( X ) + Dev ( X ) = 556 TRA ENTRO F 8

19 Dev(X) % Entro % Tra 360 4% Totale % Solo il 4% della variabilità totale del numero di pezzi prodotti dipende dalla differenza in media tra i due sessi è abbastanza inverosimile che gli uomini siano più veloci delle donne nel lavorare a quella catena di montaggio!!! Commenti Abbiamo visto come la scomposizione della devianza nelle sue componenti tra ed entro possa essere utile per studiare se i gruppi che formano una popolazione sono effettivamente diversi rispetto ai caratteri considerati nell analisi Abbiamo tratto alcune conclusioni basandoci su argomenti informali (è abbastanza plausibile che, i risultati tendono a ). In questo caso le conclusioni sono abbastanza chiare ma è evidente la necessità di un modo di ragionare più formale e oggettivo Rimane infatti aperta la domanda: quanto è verosimile che un diverso campione di 40 operai ci avrebbe condotti alle stesse conclusioni? 9

20 Altri indici di variabilità basati sullo scostamento da una media Scostamento semplice dalla media aritmetica in una distribuzione di frequenze Scostamento semplice dalla mediana in una distribuzione di frequenze n S ( X ) = n i = k S ( X ) = n j j n j = n S ( X ) = M ( X ) Me i e n i = k S ( X ) = M ( X ) n Me j e j n j = i Nota: S ( X ) S ( X ) Me 0

21 Intervalli di variabilità Campo di variazione e differenza interquartile,,..., n di osservazioni del carattere X, il campo di variazione, R, è definito dalla differenza tra il più grande ( n) ed il più piccolo ( ) dei valori osservati Dato l insieme { } R = ( n) ( ) problema: è un indice che, in presenza di valori anomali, assume valori poco sensati,,..., n di osservazioni del carattere X, la differenza interquartile W è definita come la differenza tra il terzo ed il primo quartile: Dato l insieme { } W = Q ( X ) Q ( X ) 3 campo di variabilità riferito al 50% delle unità centrali

22 Indicatori adimensionali di variabilità Problema Si consideri la spesa pro-capite mensile di 3 individui aventi reddito mens. pari a 000 euro (situazione A) e quella riferita a 3 individui che hanno reddito pari a 3000 euro (B): redd. A spesa: 300, 50, 400 σ, A=6,36 redd. B spesa: 900, 750, 00 σ, B=87,08 La spesa è maggiormente variabile con riferimento agli individui del collettivo A o del collettivo B? Non è possibile avvalersi degli indicatori fin qui trattati per confrontare la variabilità di caratteri diversi, o quella di un medesimo carattere espresso in metriche differenti o quella di caratteri caratterizzati da ordini di grandezza differenti. sono necessari indicatori adimensionali della variabilità.

23 Coefficiente di variazione E' dato dal rapporto tra lo scarto quadratico medio e la media aritmetica. σ CV ( X ) = (spesso è moltiplicato per 00) Il coefficiente di variazione è normalmente utilizzato solo quando tutti i valori della distribuzione sono positivi. Infatti, per caratteri che assumono valori negativi e positivi, la media aritmetica non rappresenta l ordine di grandezza effettivo. Le misure adimensionali della variabilità sono particolarmente utili per confrontare la variabilità di distribuzioni diverse. Con riferimento ai dati precedenti: Media Varianza Scarto Spesa A ,36 Spesa B ,08 sembra che la variabilità sia più elevata in B, ma CV A = 9,69 e CV B = 9,69!?! gli ordini medi di grandezza tra i due gruppi sono molto diversi e ciò influenza anche i valori dei rispettivi scarti quadratici medi (lo s.q.m. non è adimensionale) è necessario standardizzare rispetto al diverso livello medio del fenomeno 3

24 Esempio Una compagnia di assicurazioni ha la necessità di valutare se la variabilità del numero annuale di incidenti stradali per milioni di miglia-veicolo nello stato del New Meico è maggiore o minore rispetto a quella degli interi Stati Uniti (periodo ): New Meico USA

25 Calcolando media aritmetica e varianza per le due serie di dati otteniamo che: New Meico US σ Se vogliamo stabilire quale delle due serie è maggiormente variabile, non possiamo confrontare direttamente le varianze: dobbiamo standardizzare rispetto al diverso livello medio del fenomeno. New Meico US σ CV In termini di CV la variabilità delle due serie è molto simile. E possibile concludere che la maggior varianza della serie relativa al solo New Meico dipende dal più alto numero medio di incidenti per miglio/veicolo in questo stato rispetto agli interi USA. 5

26 Una particolare rappresentazione grafica: i Bo plots Rappresentazione che si avvale di valori medi e di indici di variabilità. Utile nella comparazione tra le caratteristiche di due o più collettivi E caratterizzato da tre elementi principali. Una linea o un punto che indicano la posizione di una media della distribuzione.. Un rettangolo la cui altezza indica la variabilità dei valori prossimi alla media. 3. Due segmenti che partono dai lati maggiori del rettangolo e i cui estremi sono determinati in base ai valori estremi della distribuzione. Configurazioni tipiche dei Bo plot Tipo : Tipo :. Mediana. Differenza interquartile 3. Minimo e massimo. Media aritmetica. ± σ 3. ±.96 σ 6

27 Esempio Utilizziamo i Bo plot per confrontare la distribuzione del numero annuale di incidenti stradali per milioni di miglia-veicolo nello stato del New Meico e negli interi Stati Uniti per il periodo : I Bo plot di tipo sono in generale più informativi di quelli di tipo, che contengono un ipotesi di disposizione simmetrica delle osservazioni intorno alla media, consideriamo quindi in questa sede il tipo di bo plot più utilizzato, che è quello che ha come media la mediana. Per disegnare i Bo plot del tipo dobbiamo calcolare minimi e massimi, mediana, primo e terzo quartile: NM US Minimo I quartile Mediana III quartile Massimo

28 Bo plot tipo 6 4 Bo Plot ( Incidenti stradali NM e US) Commenti: è evidente che nel New Meico il numero di incidenti per anno è tendenzialmente più alto che in tutti gli Stati Uniti; NM US n.b.: la base del rettangolo è arbitraria Median 5%-75% Min-Ma i dati del New Meico sono più variabili; c è asimmetria positiva, ovvero, in entrambi i collettivi, i valori massimi tendono ad essere più lontani dalla mediana rispetto ai minimi; 8

29 Dati incidenti stradali (ordinati in modo crescente) New Meico USA

30 Teorema di Chebychev Quali informazioni una media e un indice di variabilità forniscono congiuntamente su una distribuzione incognita? Supponiamo di conoscere per un certo carattere quantitativo X solo la media e lo scarto quadratico medio. Non disponiamo, cioè, delle singole osservazioni {,,..., } n. Il teorema afferma, a grandi linee, che la frequenza relativa delle unità che presentano valori esterni ad un intervallo simmetrico rispetto alla media non può essere superiore ad una certa quantità, cioè: ( kσ ) f i k Chiaramente l importanza del teorema cessa quando si conosce la distribuzione del carattere. In tal caso possiamo determinare con esattezza la frequenza delle unità esterne o interne a un determinato intervallo. 30

31 Esempio La spesa media familiare mensile di un certo collettivo è pari a, (in milioni di lire) con deviazione standard pari a 0, (mil.). Qual è la frequenza rel. delle famiglie che hanno un consumo superiore o inferiore a volte la dev. standard più la media? Spesa superiore a,+*0,=,6 spesa inferiore a,-*0,=0,8 <= ¼ = 0,5 La quota di famiglie che consuma più di,6 o meno di 0,8 è inferiore o uguale al 5% del totale delle famiglie. 3

32 LE MISURE DI ETEROGENEITÀ (VAR. QUALITATIVE) Consideriamo un fenomeno qualitativo rilevato su scala nominale, con k modalità. Si def. Eterogeneità del carattere il grado di diversità che esiste fra le modalità di un carattere qualitativo. In una distribuzione di frequenza: Si ha eterogeneità nulla quando tutte le unità presentano la medesima modalità del fenomeno in oggetto: f j = per un certo j f j =0 per ogni altro j Si ha eterogeneità massima quando tutte le unità sono ripartite uniformemente tra le k odalità del carattere: f j =/k per ogni j 3

33 Indice di eterogeneità di Gini E il complemento ad della somma dei quadrati delle frequenze relative: G k = f 0 G ( k ) / k j= j Esempio Consideriamo la distribuzione per titolo di studio in due paesi dell Unione Europea. In quale dei due paesi c è maggiore eterogeneità rispetto a tale variabile? f j f j titolo di studio Paese A Paese B Paese A Paese B Analfabeta lic.elementare lic.media inf diploma o superiore Tot G A =-0.408=0.589 G B = =