3. Statistica descrittiva
- Introduzione alla statistica descrittiva
- Classificazione e rilevazione dei dati
- Distribuzioni di frequenza
- Distribuzioni di frequenza in classi
- Rappresentazioni grafiche
- Funzione di ripartizione empirica
- Indici di posizione
- Indici di variabilità
- Boxplot e valori anomali
- Forma della distribuzione
- Trasformazioni lineari dei dati
- Standardizzazione
- Calcoli con dati raggruppati in classi
- Procedura per gli esercizi con dati grezzi
- Procedura per gli esercizi con dati raggruppati in classi
Obiettivo della statistica descrittiva
La statistica descrittiva comprende gli strumenti utilizzati per organizzare, sintetizzare e rappresentare i dati osservati.
Non permette, da sola, di generalizzare i risultati alla popolazione da cui proviene il campione. Questo passaggio appartiene alla statistica inferenziale.
1. Ripasso Terminologia fondamentale
- Popolazione: insieme completo delle unità statistiche oggetto di studio.
- Campione: sottoinsieme della popolazione effettivamente osservato.
- Unità statistica: singolo elemento sul quale vengono raccolte le informazioni.
- Variabile o carattere: proprietà rilevata su ciascuna unità statistica.
- Modalità: possibili valori o categorie assunti dalla variabile.
- Numerosità campionaria: numero complessivo di osservazioni, indicato con (n).
Esempio: se si osserva l’età di 20 studenti universitari:
- la popolazione potrebbe essere costituita da tutti gli studenti di Ca’ Foscari;
- il campione è formato dai 20 studenti selezionati;
- ogni studente è un’unità statistica;
- l’età è la variabile;
- 19, 20, 21 anni sono alcune possibili modalità.
Classificazione delle variabili
La tipologia della variabile determina quali rappresentazioni grafiche e quali indici possono essere utilizzati.
1) Variabili qualitative
Descrivono una qualità o una categoria.
Variabili qualitative nominali
Le modalità non possiedono un ordine naturale.
Esempi:
- colore degli occhi;
- città di nascita;
- facoltà universitaria;
- metodo di pagamento utilizzato.
È possibile calcolare:
- frequenze assolute, relative e percentuali;
- moda;
- diagrammi a barre;
- diagrammi a torta.
Non ha senso calcolare media, mediana o frequenze cumulate.
Variabili qualitative ordinali
Le modalità possono essere ordinate logicamente, ma la distanza tra categorie non è necessariamente misurabile.
Esempi:
- livello di soddisfazione: insufficiente, sufficiente, buono, ottimo;
- titolo di studio;
- giudizio: basso, medio, alto.
È possibile calcolare:
- frequenze semplici e cumulate;
- moda;
- mediana;
- quantili;
- diagrammi a barre ordinati.
Non è normalmente corretto calcolare la media aritmetica, perché non conosciamo la distanza numerica tra le categorie.
2) Variabili quantitative
Assumono valori numerici.
Variabili quantitative discrete
Derivano generalmente da un conteggio e assumono valori isolati, spesso interi.
Esempi: numero di figli; numero di esami sostenuti; numero di automobili possedute; numero di accessi a un sito.
Variabili quantitative continue
Possono assumere qualsiasi valore all’interno di un intervallo.
Esempi: altezza; peso; tempo di attesa; reddito; temperatura.
Nella pratica, anche una variabile continua viene spesso rilevata con un numero limitato di decimali. Rimane comunque concettualmente continua.
Schema riassuntivo
| Tipo di variabile | Ordine tra modalità | Media | Mediana e quantili | Moda | Frequenze cumulate |
| Qualitativa nominale | No | No | No | Sì | No |
| Qualitativa ordinale | Sì | Generalmente no | Sì | Sì | Sì |
| Quantitativa discreta | Sì | Sì | Sì | Sì | Sì |
| Quantitativa continua | Sì | Sì | Sì | Sì | Sì |
2. Distribuzioni di frequenza
Una distribuzione di frequenza permette di sintetizzare i dati grezzi.
Supponiamo di osservare una variabile X che assume le modalità:
Frequenza assoluta
La frequenza assoluta indica quante volte compare la modalità .
La somma delle frequenze assolute è pari alla numerosità totale:
Frequenza relativa
La frequenza relativa rappresenta la quota di osservazioni corrispondenti alla modalità (x_j):
La somma delle frequenze relative è pari a 1:
Frequenza percentuale
La frequenza percentuale si ottiene moltiplicando la frequenza relativa per 100:
La somma delle frequenze percentuali è pari al 100%.
Frequenze cumulate
Le frequenze cumulate indicano quante osservazioni presentano un valore minore o uguale a una determinata modalità.
Frequenza assoluta cumulata
Frequenza relativa cumulata
L’ultima frequenza assoluta cumulata è sempre n, mentre l’ultima frequenza relativa cumulata è sempre 1.
Le frequenze cumulate hanno senso solamente quando le modalità sono ordinabili:
- variabili qualitative ordinali;
- variabili quantitative discrete;
- variabili quantitative continue.
Non ha senso calcolare la frequenza cumulata dei colori degli occhi o delle città di nascita, perché non esiste un ordine naturale univoco.
3. Distribuzioni in classi
Quando una variabile quantitativa assume molti valori differenti, è conveniente raggruppare i dati in classi.
Esempio:
È necessario leggere attentamente gli estremi:
- [10,20) include 10 ma esclude 20;
- (10,20] esclude 10 ma include 20;
- [10,20] include entrambi gli estremi.
3.1 Ampiezza della classe
L’ampiezza della classe j è: dove è l’estremo inferiore e è l’estremo superiore.
Esempio:
3.2 Centro della classe
Il centro della classe è:
Esempio:
Il centro della classe viene utilizzato per ottenere valori approssimati di media e varianza quando non sono disponibili i dati grezzi.
3.3 Densità di frequenza
La densità relativa di frequenza è:
Con:
- frequenza relativa
- ampiezza della classe
In alternativa, si può utilizzare la densità assoluta:
Con:
- frequenza assoluta
- ampiezza della classe
La scelta dipende da come viene impostato l’esercizio. L’importante è comprendere il principio: la densità corregge la frequenza tenendo conto dell’ampiezza della classe.
Perché la densità è necessaria?
Se le classi hanno ampiezze differenti, confrontare solamente le frequenze può essere fuorviante.
Esempio:
| Classe | Frequenza relativa | Ampiezza | Densità relativa |
| [0,10) | 0,30 | 10 | 0,030 |
| [10,30) | 0,40 | 20 | 0,020 |
| [30,40) | 0,30 | 10 | 0,030 |
La seconda classe contiene più osservazioni, ma è anche più ampia. Nell’istogramma avrà un rettangolo più largo e più basso.
3.4 Area dei rettangoli dell’istogramma
In un istogramma, la frequenza di una classe non è rappresentata necessariamente dall’altezza del
Formula
Per ogni classe j:
Nell’istogramma:
- la base è l’ampiezza della classe:
- l’altezza è la densità relativa di frequenza:
Quindi:
Sostituendo la formula della densità:
L’ampiezza della classe si semplifica. Rimane la frequenza relativa.
Esempio semplice
Supponiamo di avere la classe: [0,10) con frequenza relativa:
L’ampiezza della classe è:
La densità è:
Nel grafico il rettangolo avrà:
- base pari a 10;
- altezza pari a 0,03.
La sua area sarà:
Quindi il rettangolo rappresenta il 30% delle osservazioni.
Perché è importante?
Il concetto diventa fondamentale quando le classi hanno ampiezze diverse.
Consideriamo due classi:
| Classe | Ampiezza | Frequenza relativa | Densità |
| [0,10) | 10 | 0,30 | 0,03 |
| [10,30) | 20 | 0,40 | 0,02 |
La seconda classe contiene più osservazioni: 0,40>0,30
Tuttavia il suo rettangolo sarà più basso: 0,02<0,03
Questo avviene perché la seconda classe è più larga.
Le aree restano corrette:
La seconda barra è più larga e più bassa, ma ha comunque un’area maggiore.
Area totale dell’istogramma
Poiché la somma delle frequenze relative è sempre pari a 1:
anche la somma delle aree di tutti i rettangoli è pari a 1:
In percentuale:
1=100%
Quindi l’intero istogramma rappresenta il 100% delle osservazioni.
Regola da ricordare
Nell’istogramma, area = frequenza
Se le classi hanno ampiezze diverse: altezza = densità, non frequenza
4. Rappresentazioni grafiche
3.5 Diagramma a barre
È indicato soprattutto per:
- variabili qualitative;
- variabili quantitative discrete con poche modalità.
Ogni modalità è rappresentata da una barra. Le barre sono separate perché le modalità sono distinte.
L’altezza può rappresentare:
- frequenza assoluta;
- frequenza relativa;
- frequenza percentuale.
3.6 Diagramma a bastoncini
È adatto alle variabili quantitative discrete.
Ogni valore è rappresentato da un segmento verticale. Serve a evidenziare che i valori possibili sono puntuali e separati.
3.7 Diagramma a torta
È utilizzabile principalmente per variabili qualitative nominali o ordinali con poche modalità.
L’ampiezza dell’angolo associato alla modalità j è:
Esempio:
3.8 Istogramma
È utilizzato per variabili quantitative continue o per dati raggruppati in classi.
Caratteristiche essenziali:
- le barre sono adiacenti;
- la base rappresenta l’ampiezza della classe;
- l’altezza rappresenta la densità di frequenza;
- l’area rappresenta la frequenza.
Differenza fondamentale tra diagramma a barre e istogramma
| Diagramma a barre | Istogramma |
| Barre separate | Barre adiacenti |
| Modalità distinte | Intervalli numerici |
| Altezza proporzionale alla frequenza | Area proporzionale alla frequenza |
| Usato per qualitative o discrete | Usato per continue o dati in classi |
5. Funzione di ripartizione empirica
La funzione di ripartizione empirica indica la quota di osservazioni minori o uguali a un determinato valore x.
Si definisce:
dove vale:
- 1 se ;
- 0 se .
In termini più semplici:
5.1 Proprietà fondamentali
La funzione di ripartizione empirica:
- assume valori compresi tra 0 e 1;
- è non decrescente;
- è una funzione a gradini;
- è continua da destra;
- tende a 0 per ;
- tende a 1 per .
5.2 Interpretazione
Se: significa che l’85% delle osservazioni è minore o uguale a 57. Non significa che il valore 57 compare nell’85% dei casi.
5.3 Come costruirla
Supponiamo di avere i dati ordinati: 1;2;2;4;5
La numerosità è: n=5
La funzione di ripartizione empirica è:
Il salto in corrispondenza del valore 2 è pari a: perché il valore 2 compare due volte.
5.4 Collegamento con le frequenze cumulate
Per una modalità osservata :
dove è la frequenza relativa cumulata fino a .
5.5 Collegamento con l’istogramma
Se un istogramma rappresenta densità relative, la frequenza relativa di una classe corrisponde alla sua area:
La funzione cumulata si ottiene sommando progressivamente le aree delle classi precedenti.
Se viene richiesta una stima interna a una classe e si assume una distribuzione uniforme all’interno dell’intervallo, la funzione cumulata cresce linearmente entro quella classe.
Attenzione
La funzione di ripartizione empirica costruita sui dati grezzi è a gradini.
La funzione cumulata interpolata a partire da un istogramma può invece essere rappresentata con segmenti lineari. Non bisogna confondere le due costruzioni.
6. Indici di posizione
Gli indici di posizione sintetizzano il livello centrale o la collocazione dei dati.
6.1 Media aritmetica
Per dati grezzi:
Per una distribuzione di frequenza:
oppure, usando le frequenze relative:
Esempio
| 1 | 2 |
| 2 | 3 |
| 4 | 1 |
La numerosità è: n=2+3+1=6
La media è:
6.2 Media per dati raggruppati in classi
Se sono disponibili solamente le classi, si utilizza il centro di ciascuna classe:
Il risultato è approssimato, perché non conosciamo i singoli valori interni alle classi.
6.3 Proprietà della media
La somma degli scarti dalla media è pari a zero:
La media minimizza la somma dei quadrati degli scarti:
tra tutti i possibili valori di a.
La media utilizza tutte le osservazioni, ma è sensibile ai valori estremi.
Esempio: 20;21;22;23;100
La media è:
Il valore 37,2 non rappresenta bene il gruppo centrale, perché il dato 100 altera sensibilmente il risultato.
6.4 Mediana
La mediana è il valore che occupa una posizione centrale dopo aver ordinato i dati.
Dati con numerosità dispari
Se n è dispari, la mediana è l’osservazione in posizione:
Esempio: 2;4;5;7;10
La mediana è: 5
Dati con numerosità pari
In molti testi introduttivi, se n è pari, la mediana viene calcolata come media dei due valori centrali.
Esempio: 2;4;7;10
Mediana convenzionale:
Convenzione importante per l’esame
Negli esercizi basati sulla funzione di ripartizione empirica, utilizza la definizione del quantile adottata nel corso:
{ }
Il quantile di ordine p è il più piccolo valore x per il quale la funzione di ripartizione empirica raggiunge o supera p.
Quindi:
dove:
- n è il numero totale di osservazioni;
- p è il livello del quantile;
- significa arrotondare np all’intero superiore;
- è il k-esimo dato dopo aver ordinato i valori in senso crescente.
Con i dati: [2;4;7;10] il quantile empirico di ordine (0,5) è:
Questo risultato è diverso dalla mediana convenzionale pari a 5,5.
Quando la traccia parla di quantile empirico o utilizza , segui la definizione:
{ }
Non mescolare convenzioni differenti all’interno dello stesso esercizio.
6.5 Moda
La moda è la modalità con frequenza più elevata.
Una distribuzione può essere:
- unimodale: una sola moda;
- bimodale: due mode;
- multimodale: più mode;
- amodale: nessun valore prevalente.
La moda può essere calcolata anche per variabili qualitative nominali.
Moda nei dati raggruppati in classi
Se le classi hanno la stessa ampiezza, la classe modale è quella con frequenza più alta.
Se le classi hanno ampiezze differenti, la classe modale è quella con densità più alta, non necessariamente quella con frequenza più alta.
6.6 Quantili
Il quantile empirico di ordine p, con 0<p<1, è:
{ }
Procedura operativa:
1. ordina i dati;
2. calcola:
3. seleziona l’osservazione in posizione k:
Esempio
Dati ordinati: [2;3;4;5;6;8;9;12;15;20]
Calcolare .
n=10
Quindi:
6.7 Quartili
I quartili sono quantili particolari:
Interpretazione:
- : almeno il 25% dei dati è minore o uguale a ;
- : almeno il 50% dei dati è minore o uguale a ;
- : almeno il 75% dei dati è minore o uguale a .
6.8 Quantili per dati raggruppati in classi
Se sono disponibili solamente dati raggruppati in classi, il quantile può essere stimato tramite interpolazione lineare:
dove:
- è l’estremo inferiore della classe che contiene il quantile;
- è l’ampiezza della classe;
- è la frequenza relativa cumulata prima della classe;
- è la frequenza relativa della classe;
- è l’ordine del quantile.
Questa formula presuppone che le osservazioni siano distribuite uniformemente all’interno della classe.
7. Indici di variabilità
Gli indici di variabilità misurano quanto i valori sono dispersi.
Due distribuzioni possono avere la stessa media ma una dispersione molto diversa.
Esempio:
A: 9;10;11 B: 0;10;20
Entrambe hanno media 10, ma la distribuzione B è molto più dispersa.
7.1 Campo di variazione
Il range o campo di variazione è:
È semplice da calcolare, ma dipende solamente da due valori ed è molto sensibile agli outlier.
7.2 Differenza interquartile
La differenza interquartile, indicata anche con IQ o IQR, è:
Misura l’ampiezza dell’intervallo che contiene il 50% centrale dei dati.
È un indice robusto perché risente poco dei valori estremi.
7.3 Varianza descrittiva
La varianza descrittiva è:
Per una distribuzione di frequenza:
oppure:
Formula abbreviata
La formula più rapida negli esercizi è (2ab si semplifica):
Per dati con frequenze:
Attenzione al denominatore
In statistica descrittiva si utilizza normalmente:
Nell’inferenza statistica compare spesso la varianza campionaria corretta:
Non sono la stessa cosa.
Quando l’esercizio riguarda la semplice descrizione dei dati, utilizza la formula indicata nel materiale del corso. Se viene richiesto uno stimatore corretto della varianza della popolazione, il denominatore diventa (n-1).
7.4 Deviazione standard
Lo scarto quadratico medio o deviazione standard è:
La varianza è espressa nell’unità di misura originaria elevata al quadrato. La deviazione standard, invece, possiede la stessa unità di misura dei dati.
Esempio:
- dati espressi in euro;
- varianza espressa in euro quadrati;
- deviazione standard espressa in euro.
7.5 Coefficiente di variazione
Il coefficiente di variazione è:
Talvolta viene espresso in percentuale:
È un indice puro, privo di unità di misura.
Serve per confrontare la variabilità relativa di distribuzioni:
- espresse in unità di misura differenti;
- caratterizzate da medie diverse.
Esempio
Distribuzione A:
Distribuzione B:
Sebbene A abbia una deviazione standard maggiore, B presenta una dispersione relativa più elevata.
Attenzione
Il coefficiente di variazione non è informativo quando la media è pari a zero o molto vicina a zero.
7.6 Indici robusti e non robusti
| Indice | Sensibilità agli outlier |
| Media | Elevata |
| Varianza | Elevata |
| Deviazione standard | Elevata |
| Range | Molto elevata |
| Mediana | Ridotta |
| Quartili | Ridotta |
| Differenza interquartile | Ridotta |
8. Boxplot
Il boxplot sintetizza la distribuzione utilizzando quartili, differenza interquartile e possibili valori anomali.
8.1 Elementi principali
La scatola è delimitata da:
La sua ampiezza è:
All’interno della scatola viene indicata la mediana:
La scatola contiene il 50% centrale dei dati.
8.2 Soglie per individuare gli outlier
Si calcolano le soglie:
Sono considerati potenziali outlier i dati: oppure:
8.3 Posizione corretta dei baffi
I baffi non arrivano automaticamente al minimo e al massimo assoluti.
Arrivano:
- al più piccolo valore osservato che non è un outlier;
- al più grande valore osservato che non è un outlier.
Gli eventuali valori anomali vengono rappresentati separatamente tramite punti.
Esempio
Dati ordinati: [1;2;3;4;5;6;7;20]
Supponiamo:
Soglia superiore:
Il valore 20 è maggiore di 12, quindi è un outlier.
Il baffo superiore arriva a 7, non a 20.
8.4 Interpretazione del boxplot
Dal boxplot è possibile leggere:
- livello centrale dei dati;
- variabilità del 50% centrale;
- eventuale asimmetria;
- presenza di outlier;
- confronto tra distribuzioni differenti.
Possibili segnali di asimmetria positiva:
- baffo superiore più lungo;
- mediana spostata verso il bordo inferiore della scatola;
- outlier soprattutto verso valori elevati.
Possibili segnali di asimmetria negativa:
- baffo inferiore più lungo;
- mediana spostata verso il bordo superiore della scatola;
- outlier soprattutto verso valori bassi.
9. Forma della distribuzione
9.1 Distribuzione simmetrica
Una distribuzione è simmetrica quando la parte sinistra e la parte destra sono speculari rispetto a un valore centrale.
In una distribuzione simmetrica:
quando la media esiste.
Non è sempre corretto affermare che anche la moda coincide con esse. La coincidenza tra media, mediana e moda è tipica delle distribuzioni simmetriche unimodali, come la distribuzione normale.
Una distribuzione simmetrica può avere:
- due mode;
- più mode;
- nessuna moda chiaramente identificabile.
9.2 Asimmetria positiva
Una distribuzione presenta asimmetria positiva quando la coda più lunga si trova verso destra.
Generalmente:
perché i valori elevati trascinano la media verso destra.
Esempio tipico: distribuzione dei redditi.
9.3 Asimmetria negativa
Una distribuzione presenta asimmetria negativa quando la coda più lunga si trova verso sinistra.
Generalmente:
perché i valori bassi trascinano la media verso sinistra.
Precisazione
Le relazioni tra media e mediana sono segnali utili, ma non costituiscono regole matematiche assolute
10. Trasformazioni lineari dei dati
Queste proprietà permettono di risolvere rapidamente molti esercizi.
Supponiamo di trasformare ogni dato secondo la formula:
10.1 Media
10.2 Varianza
L’aggiunta di una costante a non modifica la varianza.
10.3 Deviazione standard
10.4 Coefficiente di variazione
Il coefficiente di variazione rimane invariato se tutti i dati vengono moltiplicati per una costante positiva.
Non rimane necessariamente invariato se viene aggiunta una costante, perché cambia la media ma non cambia la deviazione standard.
10.5 Quantili
Se b>0:
Se b<0, l’ordine dei dati viene invertito e bisogna prestare maggiore attenzione.
11. Standardizzazione
La standardizzazione trasforma un valore nel corrispondente valore standardizzato:
Interpretazione:
- >0: osservazione superiore alla media;
- <0: osservazione inferiore alla media;
- =0: osservazione uguale alla media;
- || elevato: osservazione distante dalla media.
Esempio:
Il valore 28 si trova due deviazioni standard sopra la media.
La distribuzione dei valori standardizzati ha:
,
12. Calcoli con dati raggruppati in classi
Quando vengono fornite solamente le classi, non si conoscono i singoli dati. È possibile ricavare valori approssimati sostituendo ciascuna classe con il proprio centro.
12.1 Media approssimata
12.2 Varianza approssimata
oppure:
12.3 Errore da evitare
Il centro della classe non deve essere utilizzato se sono disponibili i dati grezzi. È solamente uno strumento di approssimazione quando i valori individuali non sono noti.
13. Procedura per risolvere gli esercizi tipici
13.1 Esercizio con dati grezzi
- Ordina i dati in senso crescente.
- Conta la numerosità n.
- Costruisci la tabella delle frequenze.
- Calcola le frequenze cumulate.
- Scrivi a tratti, se richiesto.
- Per il quantile , calcola:
- Se richiesto, calcola:
- Determina le soglie del boxplot: ,
- Individua i baffi e gli eventuali outlier.
- Calcola media, varianza e coefficiente di variazione.
13.2 Esercizio con dati raggruppati in classi
- Calcola l’ampiezza di ogni classe:
- Ricava le frequenze relative, se non sono già fornite:
- Calcola la densità:
- Per disegnare l’istogramma, usa:
base = ampiezza della classe;
altezza = densità;
area = frequenza relativa.
- Per trovare la frequenza di una classe a partire dall’istogramma:
- Per calcolare una frequenza cumulata, somma le aree delle classi precedenti.
- Per calcolare media e varianza approssimate, usa i centri delle classi.
14. Mini-esempio completo
Consideriamo i dati ordinati: [1;2;2;3;4;5;5;5;7;10]
Frequenze
| 1 | 1 | 0,10 | 0,10 |
| 2 | 2 | 0,20 | 0,30 |
| 3 | 1 | 0,10 | 0,40 |
| 4 | 1 | 0,10 | 0,50 |
| 5 | 3 | 0,30 | 0,80 |
| 7 | 1 | 0,10 | 0,90 |
| 10 | 1 | 0,10 | 1,00 |
Funzione di ripartizione empirica
Quantili empirici
Differenza interquartile
Soglie del boxplot
Il valore 10 supera 9,5, quindi è un outlier.
I baffi arrivano:
- inferiormente a 1;
- superiormente a 7.
Moda
La moda è: 5
perché compare tre volte.
Media
La media è superiore alla mediana empirica pari a 4. La presenza del valore elevato 10 spinge la media verso destra.
Errore tipico: media, mediana e moda coincidono sempre nelle distribuzioni simmetriche?
La coincidenza completa è tipica delle distribuzioni simmetriche unimodali. La simmetria, da sola, non garantisce una moda unica.