Econometria.

Quando le osservazioni non sono indipendenti

Le osservazioni possono condividere shock temporali, ambiente, gestione, insegnanti, mercato locale o regole di assegnazione. In un panel, le misure della stessa impresa possono essere correlate nel tempo; in un esperimento scolastico, gli studenti della stessa classe possono condividere componenti dell’esito. Ignorare questa dipendenza può far apparire il campione più informativo di quanto sia. Il numero di righe non è sempre il numero di unità indipendenti che sostengono l’inferenza. La matrice di covarianza deve riflettere il disegno e la fonte della variazione identificante.

La dipendenza degli errori non implica automaticamente distorsione dei coefficienti OLS se le condizioni sulla media e sull’esogeneità restano appropriate. Può però invalidare gli errori standard calcolati assumendo indipendenza e compromettere l’efficienza. Nelle regressioni dinamiche, dipendenza e regressori ritardati possono interagire con l’endogeneità, per cui non basta separare meccanicamente i problemi. Occorre stabilire se la struttura temporale viola soltanto la formula della covarianza o anche le condizioni che identificano il coefficiente.

Autocorrelazione seriale

Un errore segue un processo AR(1) illustrativo se u_t = ρu_t-1 + ε_t, con innovazioni adeguatamente non correlate con il passato e |ρ| < 1 per la soluzione stazionaria usuale. Errori positivi tendono a essere seguiti da errori positivi quando ρ > 0. In tal caso le osservazioni ravvicinate contengono informazione parzialmente ripetuta. La varianza di lungo periodo della media differisce dalla varianza contemporanea. Per un processo AR(1) stazionario, il rapporto fra varianza di lungo periodo e varianza contemporanea è (1 + ρ)/(1 − ρ).

Con ρ = 0,5, il rapporto è 3: un calcolo che usa soltanto la varianza contemporanea può sottostimare sensibilmente l’incertezza della media. Il risultato è illustrativo e non va trasferito automaticamente a ogni coefficiente di regressione, poiché la covarianza dei regressori e degli errori determina la varianza specifica. Una correlazione seriale negativa può invece ridurre alcune varianze aggregate. La direzione dell’errore dipende dalla struttura, non dalla sola presenza della parola «autocorrelazione».

Diagnostica della dipendenza temporale

L’autocorrelazione dei residui può essere esplorata con grafici nel tempo e funzioni di autocorrelazione. Il test di Durbin–Watson è collegato soprattutto a un’alternativa di autocorrelazione di primo ordine in specificazioni particolari e non è universalmente appropriato, per esempio quando è presente l’esito ritardato. Il test di Breusch–Godfrey utilizza una regressione ausiliaria dei residui sui regressori originali e su residui ritardati, consentendo di verificare più ritardi sotto le condizioni pertinenti. La scelta del numero di ritardi deve essere motivata dalla frequenza e dalla dinamica economica.

Un rifiuto di assenza di autocorrelazione può indicare una struttura di errori dipendenti, ma anche dinamica della media omessa, stagionalità non rappresentata o cambiamenti di regime. Inserire ritardi dell’esito o delle covariate modifica il modello della media e il significato dei coefficienti; usare una covarianza HAC modifica invece l’inferenza sul modello già scelto. Le due risposte non sono equivalenti. La specificazione dinamica dovrebbe rispondere alla domanda economica, mentre la covarianza dovrebbe rappresentare la dipendenza residua compatibile con quel modello.

Covarianza HAC e newey–west

HAC significa heteroskedasticity and autocorrelation consistent. La covarianza consente sia eteroschedasticità sia autocorrelazione sotto condizioni di dipendenza sufficientemente debole. Definendo z_t = x_tû_t, una stima del centro della matrice sandwich può essere costruita sommando i prodotti contemporanei z_tz_t′ e prodotti ritardati z_tz_t-l′ insieme alle trasposte. I ritardi vengono ponderati e troncati a una banda L. Con pesi Bartlett, w_l = 1 − l/(L + 1). La matrice finale è ottenuta premoltiplicando e postmoltiplicando per (X′X)^-1, con normalizzazioni coerenti.

La scelta di L bilancia due esigenze: includere dipendenza rilevante e non introdurre troppo rumore stimando molte autocovarianze. Una banda troppo piccola trascura correlazioni; una troppo grande può peggiorare l’approssimazione finita. La frequenza dei dati e l’orizzonte della variabile, per esempio rendimenti sovrapposti, aiutano a motivare la scelta. HAC non risolve radici unitarie, regressioni spurie, endogeneità o rotture strutturali non gestite. La consistenza richiede condizioni sulla serie e sulla crescita della banda, non soltanto un comando etichettato Newey–West.

Clustering: dipendenza libera all’interno dei gruppi

Con G gruppi indipendenti fra loro e possibile dipendenza arbitraria all’interno di ciascun gruppo, la covarianza cluster-robust di base è:

Il vettore Xg′ûg aggrega i contributi delle osservazioni del gruppo. I prodotti incrociati all’interno del gruppo sono mantenuti, invece di essere trattati come nulli. L’approssimazione usuale si fonda su un numero sufficientemente grande di cluster indipendenti e su condizioni che impediscano a pochi gruppi di dominare l’informazione. Non basta avere molte osservazioni dentro pochi cluster. Cameron e Miller discutono questi principi e i problemi di inferenza con pochi gruppi nel riferimento R4.

Correzioni finite possono moltiplicare la matrice per fattori come G/(G − 1) e (n − 1)/(n − k), secondo la convenzione adottata. Esistono correzioni più articolate, come CR2, e approssimazioni dei gradi di libertà che tengono conto del disegno. Tali scelte non sono universalmente identiche fra software. La tabella dovrebbe indicare livello di clustering e numero dei gruppi, oltre al numero delle osservazioni. L’omissione di G può nascondere una fragilità importante dell’inferenza.

Come scegliere il livello di clustering

Il livello deve essere collegato alla dipendenza plausibile e al meccanismo di assegnazione o campionamento. Se un trattamento è assegnato a intere scuole, gli studenti non forniscono assegnazioni indipendenti del trattamento. Se un’impresa viene osservata ripetutamente, può essere ragionevole consentire correlazione entro impresa. Se shock regionali accomunano imprese diverse, il solo clustering per impresa può non essere sufficiente. La scelta non deve essere effettuata cercando il livello che produce il p-value più favorevole.

Cluster più ampi non sono automaticamente più «conservativi» in ogni campione o per ogni coefficiente. Possono ridurre il numero di gruppi indipendenti e modificare la qualità dell’approssimazione; le covarianze stimate possono avere segni diversi. La strategia dovrebbe essere motivata prima di esaminare i risultati e accompagnata da sensibilità dove esistono alternative plausibili. Effetti fissi di gruppo o di tempo non eliminano necessariamente tutta la dipendenza residua: assorbire medie comuni e consentire covarianza degli errori sono operazioni differenti.

Effetto del disegno e numerosità effettiva

In un esempio semplificato con gruppi di uguale dimensione m e correlazione intraclasse ρ, l’effetto del disegno per una media è DEFF = 1 + (m − 1)ρ. Se m = 20 e ρ = 0,10, DEFF = 2,9. Mille osservazioni raggruppate hanno, per quella media e sotto tali ipotesi, una numerosità effettiva approssimata di 1000/2,9 ≈ 345 osservazioni indipendenti. L’errore standard è circa √2,9 ≈ 1,70 volte quello calcolato ignorando il raggruppamento.

La formula non sostituisce una vera covarianza cluster-robust in una regressione complessa. L’effetto del disegno può dipendere dal regressore e dalla distribuzione delle dimensioni dei gruppi. È però utile per capire perché aggiungere molte persone alla stessa classe può essere meno informativo che aggiungere nuove classi. Nella pianificazione di un esperimento a cluster, il numero di gruppi è spesso una componente decisiva della potenza. La struttura del disegno deve essere considerata prima della raccolta, non soltanto corretta dopo nella tabella finale.

Pochi cluster e wild cluster bootstrap

Con pochi cluster, le approssimazioni normali o t convenzionali possono sovrarifiutare. La difficoltà aumenta quando i gruppi hanno dimensioni molto diverse, il trattamento varia in pochi di essi o alcuni cluster hanno leverage elevato. Procedure come wild cluster bootstrap e correzioni della covarianza con gradi di libertà adeguati possono migliorare l’inferenza in condizioni specifiche. Non esiste però una soglia unica che renda sicuro ogni problema né una procedura che crei informazione quando il trattamento è sostenuto da pochissimi gruppi.

Nel wild cluster bootstrap si applicano perturbazioni comuni a tutti i residui di un cluster, preservando la struttura interna, con varianti che impongono l’ipotesi nulla e utilizzano distribuzioni di pesi adatte. Il ricampionamento deve rispettare l’unità indipendente. Ricampionare singoli studenti all’interno di scuole trattate come indipendenti non riproduce l’incertezza dell’assegnazione per scuola. Le condizioni del disegno e l’implementazione della statistica rimangono essenziali anche quando il metodo contiene la parola bootstrap.

Clustering a due vie

Quando esistono due dimensioni non annidate di dipendenza, per esempio impresa e anno, una covarianza a due vie combina le componenti per ciascuna dimensione sottraendo quella dell’intersezione, per evitare il doppio conteggio. La logica è V̂A,B = V̂A + V̂B − V̂A∩B, con correzioni e condizioni appropriate. Consente dipendenza entro impresa attraverso il tempo e fra imprese nello stesso anno. Il riferimento R5 presenta il principio del clustering multidimensionale.

La disponibilità di molte imprese non elimina il problema di avere pochi anni nella dimensione temporale. Anche il clustering a due vie richiede attenzione al numero di gruppi lungo entrambe le dimensioni e alle strutture dominanti. Se la dipendenza è spaziale continua anziché raggruppata in blocchi, possono essere necessari stimatori spaziali della covarianza basati su distanza e decadimento. La scelta dovrebbe riflettere il meccanismo economico e non soltanto la forma amministrativa degli identificativi disponibili.

Esercizio svolto: errore standard e unità di assegnazione

Un programma viene assegnato casualmente a dieci scuole trattate e dieci scuole di controllo, con cinquanta studenti per scuola. Il campione contiene mille studenti, ma venti assegnazioni indipendenti a livello scolastico. Una regressione con errori standard indipendenti per studente può sottovalutare l’incertezza se gli esiti condividono shock scolastici. Il clustering per scuola rispetta la struttura, ma venti gruppi richiedono cautela e possibili correzioni per pochi cluster. Aggiungere altri cinquanta studenti alle stesse scuole non equivale ad aggiungere venti nuove scuole: cambia soprattutto la precisione delle medie interne, non il numero di assegnazioni indipendenti.