1. Microdati, evidenze empiriche e domande causali
L'analisi econometrica trasforma le osservazioni su persone, famiglie, imprese e altre unità individuali in evidenze sulle relazioni economiche. La sua sfida centrale non consiste soltanto nel calcolare una correlazione o adattare una retta ai dati. Consiste nello stabilire che cosa significhi un confronto, quale spiegazione sostenga e quali spiegazioni alternative rimangano possibili. Un dataset di grandi dimensioni può descrivere il mondo in modo molto dettagliato e, al tempo stesso, fornire una risposta fuorviante a una domanda causale.
Che cosa rivelano i microdati
I microdati registrano informazioni a livello di singole unità di osservazione. Un'indagine sulle famiglie può descrivere reddito, istruzione, occupazione e copertura assicurativa; un dataset di imprese può riportare produzione, investimenti e occupazione; un dataset scolastico può collegare i risultati degli studenti alle risorse e alle caratteristiche locali. Il prefisso «micro» identifica il livello di osservazione, non la dimensione del dataset. Milioni di registrazioni individuali sono comunque microdati, mentre una breve serie di valori della produzione nazionale descrive un aggregato.
L'unità di osservazione deve essere coerente con la domanda. Una relazione tra reddito medio e salute osservata tra regioni non descrive necessariamente la relazione tra reddito individuale e salute individuale all'interno di ciascuna regione. L'aggregazione modifica sia il confronto sia le informazioni disponibili. Analogamente, una media riferita a un distretto scolastico non può rivelare tutte le differenze tra gli studenti al suo interno. Prima di stimare un modello, occorre individuare che cosa rappresenti ciascuna riga, come le osservazioni entrino nel dataset e quale popolazione intendano rappresentare.
I governi utilizzano questi dati per valutare le politiche, le imprese per comprendere la domanda e le organizzazioni senza scopo di lucro per valutare gli interventi. Ogni applicazione richiede di stabilire quale sia il risultato rilevante. Un programma può aumentare la partecipazione senza migliorare i risultati finali, oppure migliorare una media lasciando gruppi importanti in condizioni peggiori. Definire accuratamente le variabili e i confronti è quindi parte sostanziale dell'analisi.
Disponibilità e qualità dei dati
L'accesso ai dati non garantisce evidenze affidabili. Possono sorgere errori perché una variabile è registrata in modo scorretto, il campione esclude persone rilevanti, le definizioni cambiano nel tempo oppure le registrazioni vengono collegate mediante identificativi imperfetti. Un reddito mancante, per esempio, non equivale a un reddito pari a zero. Se le persone con redditi insolitamente elevati hanno maggiori probabilità di non rispondere alla relativa domanda, eliminare le osservazioni incomplete può modificare la popolazione rappresentata dall'analisi.
La misurazione merita particolare attenzione perché molti concetti sono rappresentati da indicatori indiretti imperfetti. Il punteggio di un test misura la prestazione in una specifica prova, non ogni dimensione dell'apprendimento. Un indicatore assicurativo registra la copertura, non la qualità o l'accessibilità delle cure. Un'analisi utile spiega la relazione tra il concetto di interesse e la misura disponibile, verifica la codifica e le unità di misura e considera come i limiti della misurazione possano influenzare le conclusioni.
La qualità dei dati comprende anche la storia della loro raccolta. Archivi amministrativi, indagini e dati sperimentali sono prodotti per scopi diversi e presentano punti di forza differenti. I dati amministrativi possono offrire un'ampia copertura, ma omettere variabili necessarie per un confronto causale. Un'indagine dettagliata può misurare tali variabili, ma risentire della mancata risposta. Un maggior numero di osservazioni migliora la precisione in condizioni appropriate; non corregge automaticamente un campione non rappresentativo o una definizione fuorviante.
Correlazione e causalità
Due variabili sono correlate quando variano insieme in senso statistico. La causalità pone una domanda diversa: modificare una variabile modificherebbe anche l'altra? La distinzione è essenziale perché una correlazione può derivare da diversi meccanismi: una variabile può influenzare l'altra, la direzione dell'influenza può essere inversa, un terzo fattore può influenzarle entrambe oppure la relazione può verificarsi per caso.
Un esempio volutamente sorprendente accosta la spesa statunitense per scienza, spazio e tecnologia ai decessi per impiccagione, strangolamento e soffocamento nel periodo 1999–2009. Le due serie si muovono insieme nel periodo rappresentato, ma ciò non dimostra che una variazione della spesa scientifica modifichi quei decessi. Serie caratterizzate da una tendenza possono apparire strettamente collegate anche quando nessun meccanismo causale credibile le connette. Scegliere una coppia interessante dopo aver esaminato molte serie rende particolarmente facile trovare coincidenze di questo tipo.
Anche le relazioni più plausibili richiedono lo stesso esame critico. Le persone assicurate possono essere più sane di quelle non assicurate perché l'assicurazione migliora l'accesso alle cure. Possono però differire anche per reddito, istruzione, occupazione e salute iniziale. Un confronto della salute osservata combina queste possibilità. Per isolare un effetto dell'assicurazione, l'analisi deve giustificare perché il confronto rappresenti ciò che accadrebbe a persone altrimenti comparabili in condizioni assicurative diverse.
Un'affermazione causale contiene quindi un controfattuale: che cosa sarebbe accaduto in assenza del cambiamento studiato? Il controfattuale è generalmente inosservato. Il disegno di ricerca specifica come altre osservazioni possano fornirne un sostituto credibile.
Descrizione, previsione e intervento
L'analisi descrittiva caratterizza i dati osservati: medie, distribuzioni, differenze tra gruppi e variazioni nel tempo. L'analisi predittiva si chiede quanto bene le informazioni disponibili prevedano un risultato in osservazioni non utilizzate per stimare il modello. L'analisi causale si chiede come un intervento modifichi un risultato. Si tratta di obiettivi diversi, anche quando si utilizzano strumenti statistici simili.
Un esempio storico illustra la distinzione. Un articolo del 2012 descriveva la piattaforma di viaggi Orbitz come un servizio che presentava opzioni alberghiere più costose agli utenti Mac, dopo aver rilevato che tendevano a spendere più degli utenti Windows per il pernottamento. Il tipo di dispositivo poteva essere utile per prevedere la spesa perché associato alle caratteristiche dei clienti. Tale associazione non dimostra che acquistare un Mac aumenterebbe di per sé la disponibilità di una persona a pagare per un albergo. Né la pratica descritta di ordinamento delle proposte dimostra, da sola, che camere identiche fossero vendute a prezzi diversi.
La previsione può essere utile anche senza un'interpretazione causale. Viceversa, un modello con un'eccellente accuratezza predittiva può essere inadatto a valutare una politica che modifica le relazioni su cui si fondano le previsioni. Un'analisi econometrica dovrebbe dichiarare esplicitamente il proprio obiettivo e valutare il modello rispetto a esso. I metodi di apprendimento automatico possono supportare la misurazione, la previsione e alcune componenti della stima causale, ma un algoritmo flessibile non fornisce l'argomentazione di identificazione mancante.
Disegno di ricerca e credibilità delle evidenze
L'attenzione ai disegni di ricerca credibili è nata in parte dalla preoccupazione che le conclusioni empiriche potessero cambiare con piccole modifiche delle specificazioni, delle ipotesi o delle forme funzionali. Una maggiore capacità di calcolo e dati più ricchi hanno reso possibili analisi più elaborate, ma hanno anche facilitato l'esplorazione di molti modelli. La risposta importante è stata concentrarsi sul motivo per cui la variabilità utilizzata in un'analisi possa rispondere alla domanda causale.
L'assegnazione casuale offre un termine di riferimento particolarmente chiaro perché è indipendente dai risultati potenziali. Quando gli esperimenti non sono realizzabili, i metodi osservazionali cercano confronti le cui ipotesi di identificazione possano essere formulate ed esaminate. La regressione confronta osservazioni dopo aver tenuto conto delle caratteristiche misurate. I metodi panel utilizzano osservazioni ripetute delle stesse unità. Il difference-in-differences confronta variazioni tra gruppi assumendo una determinata relazione tra le loro tendenze controfattuali. Ogni metodo funziona soltanto quando le sue ipotesi sono appropriate al contesto.
Le valutazioni randomizzate dei programmi contro la povertà illustrano il legame tra evidenze e politiche. La rete di ricerca J-PAL utilizza queste valutazioni per studiare gli interventi e aiutare i decisori a interpretare le evidenze risultanti. Il punto sostanziale è che l'attrattiva o la popolarità di un programma sono diverse dalle evidenze sui suoi effetti. La valutazione si chiede che cosa cambi a causa del programma e come tale conclusione dipenda dalla popolazione, dall'attuazione e dal confronto studiati.
Questo cambiamento viene spesso chiamato rivoluzione della credibilità nell'economia empirica. Non implica che ogni risultato empirico recente sia robusto o causale. Un'analisi convincente richiede comunque definizioni trasparenti, un confronto difendibile, un trattamento appropriato dell'incertezza e verifiche mirate a spiegazioni alternative plausibili. Uno stimatore sofisticato non può compensare un confronto che non risponde alla domanda.
Dalla domanda a un'analisi riproducibile
Un solido percorso di analisi empirica inizia con una domanda formulata con precisione e con la definizione della popolazione, del trattamento, del risultato e del periodo. Il passo successivo consiste nell'esaminare i dati prima di stimare un modello. Occorre verificare se gli identificativi siano univoci, se i valori numerici presentino unità di misura e intervalli plausibili e se i valori mancanti o le restrizioni del campione modifichino la composizione dei dati. Bisogna descrivere la distribuzione del risultato ed esaminare graficamente le relazioni principali.
La scelta del modello segue quindi la domanda e il disegno di ricerca. Una stima dovrebbe essere riportata insieme alle sue unità di misura, al confronto pertinente e a una valutazione dell'incertezza. Per esempio, un coefficiente misurato in punti di un test per ogni studente aggiuntivo per insegnante risponde a una domanda diversa da una variazione percentuale dei punteggi. L'interpretazione richiede inoltre di distinguere la precisione statistica dall'importanza pratica: una variazione stimata con precisione può essere piccola sul piano sostanziale.
Riproducibilità significa rendere esplicite le trasformazioni che conducono dalle osservazioni grezze ai risultati finali. Stata, R e Python permettono tutti di attuare questo percorso. Gli elementi essenziali sono decisioni di pulizia documentate, codice che possa essere rieseguito, definizioni chiare del campione e tabelle o figure coerenti con i calcoli sottostanti. Le verifiche di sensibilità dovrebbero affrontare problemi specifici, come caratteristiche omesse, osservazioni insolite o scelte alternative di misurazione.
Applicazioni economiche e politiche
I metodi microeconometrici possono affrontare domande che vanno ben oltre una definizione ristretta del comportamento di mercato. Tra gli esempi rientrano gli effetti dell'assicurazione sulla salute, delle classi meno numerose sull'apprendimento, della regolarizzazione dei migranti privi di documenti sulla mobilità o sulla rappresentanza politica e degli attacchi terroristici sul consenso elettorale. Queste domande combinano dati individuali o locali con meccanismi rilevanti sul piano economico e sociale.
Lo stesso rigore si applica a tutte le applicazioni: definire il cambiamento di interesse, individuare un confronto che possa approssimarne il controfattuale, esaminare le minacce alla validità di tale confronto e comunicare i limiti delle evidenze. Un effetto medio stimato descrive una specifica popolazione e un determinato contesto. Applicarlo altrove richiede di considerare le differenze nelle istituzioni, nei comportamenti e nell'attuazione. I capitoli seguenti sviluppano gli strumenti statistici necessari per rendere esplicite queste argomentazioni, a partire dalla randomizzazione e dalla regressione lineare.