Analisi econometrica dei microdati

L'assicurazione sanitaria e il problema della comparabilità

Consideriamo la domanda se l'assicurazione sanitaria migliori la salute. Confrontare persone assicurate e non assicurate sembra semplice: si calcola la salute media in ciascun gruppo e si sottraggono i due valori. La difficoltà è che la copertura assicurativa non viene generalmente assegnata in modo casuale. Persone con coperture diverse possono differire anche per reddito, istruzione, occupazione, età e salute iniziale. Questi fattori possono influenzare sia la copertura sia i risultati successivi.

La National Health Interview Survey del 2009 illustra il problema. Tra i rispondenti coniugati del campione riportato, i mariti assicurati presentavano un indice medio di salute pari a 4.01, contro 3.70 per i mariti non assicurati. La differenza riportata era 0.31. Anche le mogli assicurate presentavano un indice medio più elevato. Tuttavia, i rispondenti assicurati erano sostanzialmente più istruiti e avevano redditi familiari molto più alti. Il confronto combina quindi l'assicurazione con altre differenze potenzialmente rilevanti per la salute.

I campioni di assicurati e non assicurati comprendono rispettivamente 8,114 e 1,281 mariti e 8,264 e 1,131 mogli. Le parentesi quadre riportano le deviazioni standard dell'indice di salute; le parentesi tonde riportano gli errori standard delle differenze. Le differenze sono le stime originariamente riportate e possono discostarsi leggermente dalla sottrazione delle medie arrotondate visualizzate. Una deviazione standard descrive la dispersione tra individui; un errore standard descrive l'incertezza di una media o di una differenza stimata. Nessuno dei due risolve il problema della comparabilità.

Risultati potenziali e distorsione da selezione

Indichiamo con $D_i=1$ la presenza di assicurazione e con $D_i=0$ la sua assenza. L'individuo $i$ ha due risultati potenziali: $Y_i\left(1\right)$ è la salute con assicurazione e $Y_i\left(0\right)$ è la salute senza assicurazione. L'effetto causale individuale è $Y_i\left(1\right)-Y_i\left(0\right)$. Per ciascun individuo, nel momento rilevante, si osserva un solo risultato potenziale:

Il risultato non osservato è il controfattuale. Il seguente esempio ipotetico rende concreto il problema che ne deriva. Khuzdar sceglie di assicurarsi e Maria no. Il confronto osservato è $4-5=-1$, sebbene l'assicurazione migliori di un punto la salute di Khuzdar e non abbia alcun effetto sulla salute di Maria.

Aggiungere e sottrarre il risultato potenziale di Khuzdar senza assicurazione scompone la differenza osservata nell'effetto dell'assicurazione e in una differenza preesistente:

La scomposizione generale rende esplicita la grandezza a cui si riferisce il termine causale:

Il primo termine è l'effetto medio del trattamento sui trattati, o ATT. Il secondo è la distorsione da selezione: la differenza tra i gruppi nei risultati potenziali in assenza di trattamento. Non deve necessariamente coincidere con una differenza direttamente osservabile. Istruzione e reddito possono rivelare alcune fonti di selezione; preferenze, condizioni iniziali o altri fattori non misurati possono non rivelarne alcuna. Inoltre, quando gli effetti differiscono tra individui, l'ATT non coincide necessariamente con l'effetto medio del trattamento sull'intera popolazione.

Assegnazione casuale e legge dei grandi numeri

L'assegnazione casuale rende lo stato di trattamento indipendente dai risultati potenziali. Con un trattamento ben definito e in assenza di interferenze tra individui, implica che i risultati potenziali medi in assenza di trattamento siano uguali tra i gruppi di assegnazione nella popolazione. Rende inoltre comparabili i gruppi trattati e non trattati rispetto ai loro effetti medi del trattamento. La differenza tra le medie dei gruppi può quindi identificare l'effetto causale medio.

La randomizzazione bilancia le caratteristiche in valore atteso; non rende identico ogni campione effettivamente realizzato. Il lancio di una moneta che assegna al trattamento una persona su due non può evidentemente garantire la corrispondenza di età, redditi o generi. Campioni più grandi tendono a ridurre gli squilibri accidentali, ma un campione ampio non sostituisce un'assegnazione effettivamente casuale. Anche il campionamento casuale e l'assegnazione casuale sono distinti: il primo riguarda la rappresentazione di una popolazione, mentre la seconda riguarda la comparabilità dei gruppi di trattamento.

La legge dei grandi numeri spiega perché le medie si stabilizzino. Per osservazioni indipendenti e identicamente distribuite con valore atteso finito, una versione standard afferma:

La convergenza in probabilità significa che, al crescere del campione, la probabilità di uno scostamento superiore a una qualsiasi tolleranza positiva fissata tende a zero. Per un dado equo a sei facce, il risultato atteso è $(1+2+3+4+5+6)/6=3.5$. Una media progressiva può oscillare ampiamente all'inizio e poi stabilizzarsi vicino a 3.5. Non deve necessariamente avvicinarsi a 3.5 in modo monotono e nessuna soglia universale, come 100 osservazioni, garantisce una precisione adeguata.

Apri il grafico a piena dimensione ↗

La dimensione campionaria necessaria dipende dalla variabilità del risultato, dall'effetto del trattamento di interesse, dallo schema di assegnazione e dalla precisione desiderata. La presenza di cluster può ridurre l'informazione fornita da un campione nominalmente ampio, perché le osservazioni all'interno di un gruppo possono essere correlate. Anche la mancata adesione all'assegnazione, l'abbandono del campione e gli effetti di propagazione possono modificare l'interpretazione di un esperimento. L'effetto dell'assegnazione all'assicurazione, per esempio, non coincide necessariamente con l'effetto di ricevere effettivamente una copertura, se alcune persone non rispettano l'assegnazione ricevuta.

Come leggere una tabella di bilanciamento

Una tabella di bilanciamento confronta caratteristiche misurate prima del trattamento. Aiuta a valutare se i gruppi di assegnazione appaiano comparabili e se l'attuazione o l'abbandono del campione abbiano creato differenze problematiche. Il RAND Health Insurance Experiment offre un esempio che confronta piani più generosi con un piano di copertura per eventi catastrofici. La prima colonna numerica seguente riporta la media iniziale del gruppo con copertura catastrofica. Le altre colonne riportano le differenze rispetto a quella media, non le medie dei gruppi alternativi.

Le deviazioni standard, dove riportate per il gruppo con copertura catastrofica, compaiono tra parentesi quadre; gli errori standard delle differenze compaiono tra parentesi tonde. I partecipanti erano 759 nella copertura catastrofica, 881 nel piano con franchigia, 1,022 nel piano con compartecipazione e 1,295 nel piano con cure gratuite. L'ultima colonna aggrega i 3,198 partecipanti ai tre piani alternativi. La copertura catastrofica è essa stessa un'assicurazione: si tratta quindi di un confronto della generosità assicurativa, non di un confronto con la completa assenza di copertura.

Per esempio, la quota femminile del gruppo con cure gratuite è approssimativamente $0.560-0.038=0.522$. Il suo indice iniziale di salute generale è approssimativamente $70.9-1.31=69.59$. La tabella non mostra l'effetto delle cure gratuite sulla salute: si tratta di caratteristiche iniziali, misurate prima che il trattamento potesse produrre i successivi risultati di interesse.

Alcune differenze iniziali possono risultare statisticamente significative per caso, soprattutto quando si esaminano molte caratteristiche. La differenza nella quota femminile per il gruppo con cure gratuite dista da zero circa 2.53 errori standard. Questa osservazione dovrebbe essere interpretata insieme alla procedura di assegnazione e al quadro complessivo del bilanciamento, anziché essere considerata una prova automatica del fallimento della randomizzazione. Viceversa, differenze non significative non dimostrano che le caratteristiche inosservate siano bilanciate o che in un campione piccolo non esistano squilibri importanti.

Il modello di popolazione e la soluzione dei minimi quadrati

Quando l'assegnazione casuale non è disponibile, una regressione può descrivere come un risultato vari al variare di una variabile esplicativa. Il modello lineare semplice è:

Qui $Y_i$ è il risultato, $X_i$ la variabile esplicativa, ${\beta }_0$ l'intercetta e ${\beta }_1$ la pendenza. Il termine di errore $u_i$ raccoglie le restanti determinanti del risultato e gli scostamenti dalla relazione specificata. I coefficienti sono grandezze della popolazione; le loro stime variano da un campione all'altro. Il termine di errore è una variabile casuale non osservata, non un parametro fisso della popolazione.

Il metodo dei minimi quadrati ordinari, o OLS, sceglie l'intercetta e la pendenza che minimizzano la somma dei quadrati degli scostamenti verticali tra i risultati osservati e la retta stimata:

L'elevamento al quadrato impedisce che gli scostamenti positivi e negativi si annullino e attribuisce un peso maggiore alle discrepanze ampie. Derivando rispetto ai due coefficienti si ottengono le equazioni normali ${\sum }_i(Y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{X}_i)=0$ e ${\sum }_i{X}_i(Y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{X}_i)=0$. Risolvendole, quando $X$ varia nel campione, si ottiene:

Il denominatore è una somma di scostamenti al quadrato. Senza il quadrato, gli scostamenti dalla media campionaria hanno somma pari a zero. La pendenza può essere scritta in modo equivalente come rapporto tra covarianza campionaria e varianza campionaria, purché entrambe utilizzino la stessa normalizzazione. Sotto l'appropriata condizione di ortogonalità nella popolazione, la corrispondente pendenza di popolazione è $Cov(X,Y)/Var\left(X\right)$.

Valori stimati, residui e geometria della regressione

Il valore stimato è ${\hat{Y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{X}_i$. Il residuo è il risultato osservato meno questa previsione, ${\hat{u}}_i=Y_i-{\hat{Y}}_i$. È una distanza verticale perché il criterio prevede $Y$ condizionatamente a $X$; OLS non minimizza le distanze perpendicolari alla retta.

In un esempio numerico, la retta stimata è ${\hat{Y}}_i=10.19+3.22X_i$ e la somma dei quadrati dei residui è 384. Per $X_i=4$, la retta prevede 23.07. Un'osservazione superiore a tale valore ha un residuo positivo, mentre una inferiore ha un residuo negativo. Il valore 384 descrive la somma complessiva degli scostamenti al quadrato nel campione e dipende dalla scala del risultato e dal numero di osservazioni; non è di per sé una misura della credibilità causale.

Apri il grafico a piena dimensione ↗

In presenza di un'intercetta, le equazioni normali implicano identità campionarie esatte:

La retta passa quindi per $(\bar{X},\bar{Y})$ e i residui sono ortogonali al regressore incluso e ai valori stimati nel campione. Si tratta di proprietà algebriche del calcolo OLS. Non dimostrano che il termine di errore della popolazione non sia associato a $X$. Una determinante omessa correlata con $X$ può distorcere il coefficiente anche se i residui stimati soddisfano tutte queste identità.

Mantenere distinti $u_i$ e ${\hat{u}}_i$ evita un errore comune. Il primo appartiene al modello di popolazione e non è osservato direttamente; il secondo è calcolato dopo aver stimato il modello. Esaminare i residui può rivelare andamenti sistematici, osservazioni insolite o forme funzionali inappropriate, ma la covarianza campionaria nulla tra un regressore incluso e i suoi residui OLS è garantita per costruzione.

I punteggi dei test e il significato di una pendenza

Un dataset di 420 distretti scolastici della California mette in relazione i punteggi medi dei test con il rapporto studenti-insegnanti. La relazione stimata, utilizzando le stime dei coefficienti riportate e arrotondate a due cifre decimali, è:

La pendenza associa uno studente aggiuntivo per insegnante a un punteggio previsto inferiore di 2.28 punti. Una riduzione del rapporto di due studenti per insegnante corrisponde a un aumento di 4.56 punti del risultato stimato. Per un rapporto pari a 20, la previsione è $698.9-2.28\left(20\right)=653.3$; per un rapporto pari a 18 è 657.86. Si tratta di previsioni ricavate dalla retta stimata, non del risultato osservato in ogni distretto con quei rapporti.

Rispetto a un punteggio medio del test di circa 654, una variazione di 2.28 punti equivale a circa $100\left(2.28/654\right)=0.35\%$. Questo calcolo permette di valutare l'ordine di grandezza del coefficiente. Non rende 0.35% il coefficiente di regressione e non indica una variazione di 0.35 punti percentuali. In un modello lineare-lineare, il coefficiente diretto misura sempre unità del risultato per unità della variabile esplicativa.

L'intercetta è il risultato previsto quando il rapporto studenti-insegnanti è zero, valore esterno all'intervallo rilevante dei dati. Contribuisce a posizionare la retta stimata, ma ha scarso valore sostanziale come previsione letterale. Estrapolare molto oltre l'intervallo osservato è rischioso, perché un andamento lineare all'interno di quell'intervallo non deve necessariamente proseguire altrove.

Soprattutto, la sola pendenza negativa non dimostra che assumere insegnanti causi il miglioramento previsto. Il reddito del distretto, la composizione linguistica e altre risorse possono essere associati sia alla numerosità delle classi sia ai punteggi dei test. L'aggiustamento mediante regressione può confrontare distretti con caratteristiche misurate simili, ma controllare per le caratteristiche osservabili non elimina automaticamente le differenze inosservate. Un'interpretazione causale richiede un'argomentazione sulle determinanti che rimangono nel termine di errore.

Assenza di distorsione, consistenza e compromesso tra distorsione e varianza

Uno stimatore è una regola applicata a un campione; una stima è il suo risultato numerico effettivamente ottenuto. Ripetere il processo di campionamento produce una distribuzione campionaria. L'assenza di distorsione significa che la media di questa distribuzione coincide con il parametro della popolazione: $E\left[{\hat{\beta }}_1\right]={\beta }_1$. Non significa che ogni stima coincida con il parametro. Uno stimatore non distorto può essere impreciso e produrre singole stime lontane dal valore vero.

La consistenza riguarda una successione di stimatori al crescere della dimensione campionaria. Formalmente, ${\hat{\beta }}_{1,n}\stackrel{p}{\to }{\beta }_1$. La probabilità di un errore di stima di entità fissata tende quindi a zero. A differenza dell'assenza di distorsione, la consistenza è una proprietà asintotica. Un maggior numero di osservazioni non rende consistente una procedura intrinsecamente inconsistente; può invece concentrare le sue stime intorno al valore sbagliato.

Tre esempi distinguono questi concetti. Primo, supponiamo che $Y_i=2+2X_i+u_i$ soddisfi le condizioni per cui OLS è non distorto e consistente. La distribuzione della pendenza è centrata su 2 e diventa più concentrata al crescere del campione. Secondo, definiamo uno stimatore modificato ${\tilde{\beta }}_{1,n}={\hat{\beta }}_{1,n}+10/n$. Ha una distorsione in campioni finiti pari a $10/n$, ma è consistente quando OLS è consistente: il termine aggiunto è 0.5 per $n=20$, 0.01 per $n=1000$ e tende a zero.

Terzo, supponiamo che il termine di errore nella stessa equazione strutturale sia $u_i={\epsilon }_i+0.25X_i$, con $E[{\epsilon }_i\mid X_i]=0$. Sostituendo si ottiene $Y_i=2+2.25X_i+{\epsilon }_i$. Una regressione di $Y$ su $X$ converge a 2.25, non al coefficiente strutturale 2. Aumentare la dimensione campionaria rende più precisa la pendenza descrittiva, lasciando però invariato lo scostamento di 0.25 nell'interpretazione strutturale.

Apri il grafico a piena dimensione ↗

Precisione e distorsione sono dimensioni distinte delle prestazioni. Per uno stimatore scalare, l'errore quadratico medio si scompone come segue:

Uno stimatore con una piccola distorsione può avere un errore quadratico medio inferiore a quello di uno stimatore non distorto molto disperso. Questo compromesso è rilevante nella valutazione degli stimatori, ma non giustifica ignorare una distorsione causale sistematica soltanto perché gli errori standard sono piccoli.

Le ipotesi alla base delle proprietà OLS

Per il consueto risultato di assenza di distorsione in campioni finiti, una condizione centrale è la media condizionata nulla, $E[u_i\mid X_i]=0$, insieme a una media condizionata lineare correttamente specificata, condizioni di campionamento appropriate e variabilità di $X$. La media non condizionata nulla, $E\left[u_i\right]=0$, è una condizione più debole: errori positivi e negativi possono avere media zero pur variando sistematicamente con il regressore. Una covarianza nulla tra $X$ e $u$ può sostenere la consistenza di una proiezione lineare sotto opportune condizioni di regolarità, ma non dovrebbe essere presentata come equivalente alla media condizionata nulla.

Nella regressione multipla, i regressori non devono essere perfettamente collineari. Nel modello semplice ciò significa che $X$ non può essere costante. Senza variabilità di $X$, i dati non possono distinguere l'intercetta dalla pendenza. Il campionamento casuale e le condizioni di esistenza di momenti finiti sostengono le leggi dei grandi numeri e le approssimazioni campionarie. Le osservazioni molto influenti richiedono un esame; il requisito formale non è che non possa esistere alcuna osservazione insolita.

Il risultato di Gauss–Markov aggiunge l'omoschedasticità e l'assenza di correlazione tra i termini di errore di osservazioni diverse, condizionatamente ai regressori. Sotto le ipotesi pertinenti, OLS è il miglior stimatore lineare non distorto, o BLUE. «Migliore» significa con la varianza minima nella classe degli stimatori lineari non distorti. «Lineare» si riferisce al fatto che lo stimatore è una funzione lineare dei risultati osservati, condizionatamente ai regressori. Non significa che si possano modellare soltanto relazioni rappresentate da rette, né che OLS domini ogni possibile stimatore non lineare o distorto.

Per Gauss–Markov non è richiesta la normalità dei termini di errore. In presenza di esogeneità, l'eteroschedasticità può lasciare OLS non distorto e consistente, invalidando però la consueta formula della varianza omoschedastica e la proprietà BLUE. Infine, anche una stima corretta di un'associazione condizionata non dimostra automaticamente un meccanismo causale: l'interpretazione economica dipende dal disegno di ricerca e dal significato del termine di errore.

Che cosa determina la precisione?

In presenza di omoschedasticità e di termini di errore non correlati, la varianza condizionata della pendenza nella regressione semplice è:

L'espressione esatta è condizionata ai valori effettivamente osservati del regressore; l'approssimazione sostituisce la loro somma degli scostamenti al quadrato con la corrispondente grandezza per campioni grandi. Una maggiore varianza del termine di errore rende più difficile stimare la retta. Una maggiore variabilità di $X$ fornisce più informazioni sulla sua pendenza. Un maggior numero di osservazioni migliora generalmente la precisione quando aggiunge informazione indipendente. L'errore standard, essendo la radice quadrata della varianza, diminuisce tipicamente a un tasso proporzionale a $1/\sqrt{n}$: quadruplicare la dimensione campionaria lo dimezza quindi approssimativamente, a parità delle altre condizioni.

Nella pratica, la varianza ignota del termine di errore deve essere stimata. Con un'intercetta e una pendenza, uno stimatore omoschedastico convenzionale è $s_u^2={\sum }_i{\hat{u}}_i^2/(n-2)$, da cui si ottiene $SE\left({\hat{\beta }}_1\right)=\sqrt{s_u^2/{\sum }_i{(X_i-\bar{X})}^2}$. La sottrazione di due riflette i due coefficienti stimati. L'eteroschedasticità o la dipendenza richiedono uno stimatore della varianza adeguato a quel contesto.

Leggere un risultato di regressione comporta quindi tre domande distinte. Quale confronto e quali unità di misura rappresenta il coefficiente? Quali ipotesi giustificano la sua interpretazione come relazione di interesse? Quanta incertezza campionaria rimane? Rispondere soltanto alla prima o alla terza può produrre una conclusione apparentemente precisa che il disegno di ricerca non sostiene.