← Tutti i manuali di Economics

Economics · Analisi econometrica dei microdati

Analisi econometrica dei microdati

Dai fondamenti dell’inferenza causale alla ricerca empirica: regressione, incertezza, dati panel e difference-in-differences, con applicazioni alla rappresentanza politica e al voto.

Leggi in inglese
10capitoli
105sezioni
Come studiareCerca un argomento oppure apri un capitolo dall’indice. I titoli ti portano direttamente alla spiegazione corretta.

3. Distorsione da variabile omessa ed errore di misurazione

Un coefficiente di regressione è utile soltanto quando la sua interpretazione corrisponde al processo che ha generato i dati. Un campione ampio può rendere una stima molto precisa, lasciandola però sistematicamente errata rispetto alla relazione di interesse. Due minacce particolarmente importanti sono le variabili omesse, che fanno confluire determinanti rilevanti del risultato nell'errore di regressione, e l'errore di misurazione, che separa le variabili registrate in un dataset dalle grandezze economiche che dovrebbero rappresentare. Per comprendere questi problemi occorre distinguere l'incertezza intorno a una stima dalla distorsione rispetto al suo obiettivo.

Consistenza, esogeneità e obiettivo della stima

Consideriamo la relazione nella popolazione Yi=β0+β1Xi+ui. Il parametro β1 descrive la relazione che intendiamo stimare; l'errore ui raccoglie i determinanti del risultato che restano al di fuori del modello. In una regressione semplice con intercetta, il coefficiente angolare OLS può essere espresso come una covarianza campionaria divisa per una varianza campionaria. In presenza di una legge dei grandi numeri e di una varianza di X positiva e finita, il suo limite in probabilità è

plimβ̂1=Cov(X,Y)Var(X)=β1+Cov(X,u)Var(X).

L'equazione individua il requisito centrale della consistenza: il regressore deve essere incorrelato con l'errore affinché OLS converga a questo coefficiente strutturale. La condizione più forte E[u∣X]=0 giustifica anche la consueta interpretazione condizionata e, con opportune ipotesi sul campionamento, la non distorsione in campioni finiti. La consistenza significa che lo stimatore si avvicina all'obiettivo al crescere del campione; la non distorsione riguarda il valore atteso dello stimatore per una determinata numerosità campionaria. Nessuna delle due proprietà è dimostrata semplicemente ottenendo un errore standard piccolo.

L'affermazione secondo cui OLS è il miglior stimatore lineare non distorto richiede inoltre le ipotesi del teorema di Gauss–Markov, compresa un'appropriata struttura degli errori omoschedastici e incorrelati. Queste ipotesi di efficienza non devono essere confuse con le condizioni di esogeneità necessarie per recuperare il coefficiente di interesse. Una regressione può avere errori eteroschedastici e stimare comunque il coefficiente angolare in modo consistente, mentre un fattore di confondimento omesso può rendere il coefficiente inconsistente anche con errori perfettamente omoschedastici. Se l'obiettivo è soltanto la migliore previsione lineare, OLS può stimare tale proiezione predittiva senza identificare un effetto causale.

Derivazione della distorsione da variabile omessa

Supponiamo che il modello rilevante nella popolazione contenga un'ulteriore variabile Q:

Yi=β0+β1Xi+αQi+μi,

dove μi è incorrelato con Xi e Qi. Se Qi viene omessa, l'errore nella regressione ridotta diventa vi=αQi+μi. L'omissione influisce sul coefficiente di X quando valgono congiuntamente due condizioni: Q contribuisce a determinare Y, per cui α≠0, e Q è correlata con X. La sola correlazione con X non è sufficiente se la variabile omessa non ha alcun effetto sul risultato nella relazione rilevante nella popolazione.

Scriviamo la proiezione lineare nella popolazione della variabile omessa sul regressore incluso come

Qi=δ0+δ1Xi+ri,δ1=Cov(X,Q)Var(X),E[ri]=E[Xiri]=0.

Questa proiezione è una descrizione algebrica dell'associazione; non richiede che X causi Q. Sostituendo si ottiene

Yi=(β0+αδ0)+(β1+αδ1)Xi+(αri+μi).

Il coefficiente angolare della regressione ridotta converge quindi a una combinazione del coefficiente diretto e dell'associazione che opera attraverso la variabile omessa:

plimβ̂1,breve=β1+αδ1,distorsione da variabile omessa=αδ1.

Questa affermazione riguarda il limite in probabilità, non una scomposizione esatta di ogni stima effettivamente ottenuta: un singolo campione contiene anche variabilità campionaria. Nella regressione multipla, la corrispondente relazione con la variabile omessa è condizionata alle variabili di controllo già incluse. Ciò che conta è se la variabile omessa rimane associata al regressore dopo aver tenuto conto di tali controlli.

Determinare la direzione della distorsione

Il segno della distorsione è il prodotto di due segni. Per prima cosa occorre chiedersi se un aumento della variabile omessa accresca o riduca il risultato, mantenendo fisso il regressore incluso. Poi bisogna chiedersi se le osservazioni con valori maggiori del regressore incluso tendano ad avere valori maggiori o minori della variabile omessa. Tenere separate queste due domande evita di sostituire un ragionamento intuitivo al calcolo effettivo del segno.

Tabella 4. Direzione della distorsione da variabile omessa nel modello di regressione semplice
Effetto della variabile omessa sul risultatoAssociazione con il regressore inclusoDistorsione del coefficiente angolare nella regressione ridotta
Positivo: α>0Positiva: δ1>0Positiva: il coefficiente si sposta verso l'alto
Positivo: α>0Negativa: δ1<0Negativa: il coefficiente si sposta verso il basso
Negativo: α<0Positiva: δ1>0Negativa: il coefficiente si sposta verso il basso
Negativo: α<0Negativa: δ1<0Positiva: il coefficiente si sposta verso l'alto

“Verso l'alto” significa numericamente maggiore, mentre “verso il basso” significa numericamente minore. Nessuna delle due espressioni è sinonimo di “più vicino a zero”. Una distorsione negativa riduce un coefficiente positivo, ma rende più negativo un coefficiente negativo; un confondimento sufficientemente forte può persino invertirne il segno. Quando si omettono più variabili rilevanti, i loro contributi possono rafforzarsi oppure compensarsi, per cui individuare un possibile fattore di confondimento non permette necessariamente di stabilire il segno della distorsione complessiva.

Risultati nei test, dimensione delle classi e reddito familiare

Un esempio relativo ai distretti scolastici mette in relazione i punteggi medi nei test con il rapporto studenti/insegnanti. Un rapporto maggiore significa più studenti per insegnante, quindi il coefficiente è misurato in punti del test per ogni studente aggiuntivo per insegnante. La regressione non corretta per altre variabili fornisce un'intercetta di circa 698.93 e un coefficiente angolare di circa −2.28. Essa prevede che distretti che differiscono di uno studente per insegnante presentino, in media, una differenza di circa 2.28 punti nei test. Si tratta inizialmente di un'associazione tra distretti, non di un effetto identificato dell'assunzione di insegnanti.

Il reddito familiare offre una spiegazione plausibile per una parte di questa associazione. Supponiamo che un reddito familiare più elevato migliori i risultati attraverso risorse e opportunità, per cui α>0, e che i distretti più ricchi tendano ad avere rapporti studenti/insegnanti inferiori, per cui δ1<0. Il loro prodotto è negativo. La regressione ridotta attribuisce allora al rapporto più basso una parte del vantaggio nei risultati associato al reddito, rendendo il coefficiente stimato del rapporto più negativo di quello ottenuto con un opportuno controllo per il reddito.

Nel confronto illustrato, il coefficiente del rapporto riportato passa da circa −2.27 senza il reddito a −0.648 con il reddito. Un aumento del rapporto di cinque unità è quindi associato a circa −11.35 punti usando il primo coefficiente riportato e a −3.24 punti usando quello corretto per il reddito. Si tratta di calcoli basati sui coefficienti di regressione riportati, non di effetti di politiche identificati sperimentalmente. Lo spostamento verso l'alto del coefficiente è coerente con la direzione prevista della distorsione dovuta all'omissione del reddito, ma non dimostra che ogni forma di confondimento sia scomparsa.

Due barre orizzontali mostrano coefficienti del rapporto studenti/docenti pari a meno 2.27 nella regressione semplice e meno 0.648 nella regressione con controlli. Non sono rappresentati intervalli di confidenza.
Figura 4. Nell’esempio sulle scuole, le pendenze riportate per il rapporto studenti/docenti sono −2.27 senza controllare per la composizione linguistica e −0.648 includendo tale controllo. La variazione è compatibile con una distorsione da variabile omessa; l’aggiunta di un controllo non dimostra, da sola, una relazione causale.
Apri il grafico a piena dimensione ↗

La correzione va intesa come un confronto tra distretti dopo aver tenuto conto della relazione con il reddito specificata nel modello. Altri determinanti, tra cui il contesto familiare, la composizione scolastica e le modalità di allocazione delle risorse, possono rimanere rilevanti. Anche un'intercetta stimata vicina a 699 rappresenta un'estrapolazione a un rapporto pari a zero, al di fuori dell'intervallo utile per il confronto; non va interpretata come il punteggio che un distretto reale otterrebbe in assenza di studenti per insegnante.

Affrontare le variabili omesse senza aggiungere controlli inappropriati

La risposta più diretta consiste nel raccogliere e includere un fattore di confondimento misurato bene. Questo funziona soltanto se il modello ampliato rappresenta adeguatamente la relazione condizionata rilevante e rimane una variazione sufficiente per stimare l'effetto. Controllare per una variabile non elimina automaticamente ogni dimensione della selezione a essa associata. Per esempio, una misura del reddito può lasciare inspiegate differenze rilevanti nelle risorse familiari, e una correzione puramente lineare può essere inadeguata per una relazione fortemente non lineare.

Una variabile proxy può essere utile quando il fattore di confondimento non è direttamente disponibile, ma una proxy imperfetta lascia generalmente un confondimento residuo. Le variabili strumentali possono affrontare alcuni problemi di endogeneità quando uno strumento è rilevante per il regressore endogeno e soddisfa una restrizione di esclusione e una condizione di esogeneità credibili. I metodi per dati panel possono eliminare caratteristiche non osservate che rimangono costanti nel tempo all'interno di un'unità. Ogni approccio sostituisce una difficoltà di identificazione con ipotesi esplicite che devono essere giustificate; nessuno garantisce automaticamente un coefficiente causale.

La scelta delle variabili di controllo dovrebbe seguire la domanda causale. Una variabile causata dal trattamento può essere un mediatore anziché un fattore di confondimento preesistente. Controllare per essa può eliminare una parte dell'effetto totale che il ricercatore intende stimare. Anche condizionare su una conseguenza comune del trattamento e di determinanti non osservati del risultato può generare distorsione. Una specificazione ragionata parte quindi dalla descrizione del processo economico e della sequenza temporale delle variabili, anziché dalla ricerca del maggior numero possibile di controlli.

Errore di misurazione in una variabile esplicativa

Le variabili economiche sono spesso misurate in modo imperfetto. La produzione nazionale si basa su registrazioni incomplete e stime; le indagini sull'uso del tempo dipendono dalla memoria degli intervistati; l'immigrazione irregolare è difficile da quantificare; reddito e felicità autodichiarati possono essere registrati in modo inesatto. L'errore di misurazione può riflettere rumore casuale, comportamenti sistematici nelle dichiarazioni oppure una mancata corrispondenza tra un indicatore registrato e il concetto sottostante.

Indichiamo con Xi* il vero regressore e poniamo il valore osservato pari a Xi=Xi*+ei. Supponiamo che il modello nella popolazione sia Yi=β0+β1Xi*+ui. Nel caso additivo classico, assumiamo E[ei]=0, Cov(Xi*,ei)=0, Cov(ui,ei)=0 e Cov(Xi*,ui)=0. Sostituendo Xi*=Xi−ei nel modello si ottiene

Yi=β0+β1Xi+(ui−β1ei).

Il segno meno è essenziale. Il regressore osservato contiene l'errore di misurazione con segno positivo, mentre il nuovo disturbo di regressione lo contiene moltiplicato per −β1. Di conseguenza,

Cov(Xi,ui−β1ei)=−β1Var(ei).

Quindi anche un errore non associato al vero regressore crea correlazione tra il regressore osservato e il disturbo composito di regressione. Definire “casuale” l'errore di misurazione non rende esogena la regressione risultante.

Attenuazione, affidabilità ed errore non classico

Le ipotesi classiche implicano Cov(X,Y)=β1Var(X*) e Var(X)=Var(X*)+Var(e). Il limite in probabilità del coefficiente del regressore osservato è quindi

plimβ̂1=β1σX*2σX*2+σe2=λβ1,λ=σX*2σX*2+σe2.

Il rapporto di affidabilità λ è compreso tra zero e uno quando la variazione vera è positiva e la varianza dell'errore di misurazione è finita. È uguale a uno quando non vi è errore di misurazione. Man mano che il rumore diventa più importante rispetto alla variazione vera, il coefficiente viene spinto ulteriormente verso zero. Un coefficiente vero positivo viene attenuato verso il basso; un coefficiente vero negativo viene attenuato verso l'alto. L'attenuazione è quindi una riduzione del valore assoluto, non una distorsione numerica invariabilmente verso il basso.

Il fattore di attenuazione scende dal 100 per cento quando la varianza dell’errore di misura è nulla al 50 per cento quando è uguale a quella del regressore vero, al 25 per cento quando è tre volte maggiore e al 10 per cento quando è nove volte maggiore.
Figura 5. In una regressione semplice con errore classico di misura nella variabile esplicativa, il limite in probabilità della pendenza è uguale alla pendenza vera moltiplicata per 1 / (1 + rapporto tra le varianze). La curva rappresenta questa formula teorica, non una relazione empirica stimata.
Apri il grafico a piena dimensione ↗

Come esempio ipotetico, se la variazione vera e quella dell'errore di misurazione sono uguali, allora λ=1/2: un coefficiente vero di 4 viene stimato vicino a 2 in un campione sufficientemente ampio, mentre un coefficiente vero di −4 viene stimato vicino a −2. Un maggior numero di osservazioni concentra lo stimatore intorno a questo obiettivo attenuato; non elimina la distorsione. Una misurazione migliore, informazioni di validazione oppure uno strumento opportunamente valido possono aiutare a identificare il coefficiente desiderato.

L'errore non classico viola una o più delle restrizioni classiche. Gli intervistati con redditi elevati potrebbero sottodichiarare maggiormente il reddito, oppure la qualità delle dichiarazioni potrebbe dipendere dal risultato. La distorsione può allora avere qualunque segno. Persino l'errore classico in una variabile di una regressione multipla non deve necessariamente spostare ogni coefficiente stimato verso zero: le correlazioni tra regressori possono trasmettere il problema ad altri coefficienti. La semplice formula dell'affidabilità dovrebbe quindi essere usata soltanto per il modello e le ipotesi sotto cui è stata derivata.

Errore di misurazione nel risultato e interpretazione pratica

Supponiamo ora che il vero risultato soddisfi Yi*=β0+β1Xi+ui, ma che il risultato osservato sia Yi=Yi*+ai. La relazione stimata diventa

Yi=β0+β1Xi+(ui+ai).

Se l'errore originario è esogeno e l'errore di misurazione del risultato ha media condizionata nulla dato X, l'errore composito rimane esogeno. Il coefficiente angolare può quindi rimanere consistente. Se ai è anche incorrelato con ui, la sua varianza si aggiunge a quella del disturbo originario, riducendo generalmente la precisione. Sotto queste restrizioni, il rumore classico nel risultato aumenta l'incertezza senza produrre l'attenuazione del regressore descritta sopra.

Questa conclusione è condizionata alle ipotesi, non universale. Se le persone con valori più elevati di X sovradichiarano sistematicamente il risultato, allora E[a∣X] varia con X e il coefficiente può essere distorto. Anche la correlazione tra errore di misurazione e disturbo originario modifica il semplice risultato di additività delle varianze. Un'analisi empirica accurata individua ciò che viene misurato, come viene registrato e perché le ipotesi proposte sull'errore sono plausibili. La distinzione centrale è se il problema modifichi l'obiettivo del coefficiente, la sua precisione oppure entrambi.

Torna all’inizio ↑

Ripetizioni personalizzate · Da 15€/h

Un dubbio da chiarire?
Studiamolo insieme.

Offro lezioni personalizzate per studenti delle superiori e dell’università: spiegazioni chiare, esercizi guidati e un metodo costruito sulle tue esigenze. Scopri le materie e le tariffe, oppure prenota una lezione per lavorare sul tuo programma.