8. Analisi della varianza e adattamento del modello
ANOVA, R-quadrato, diagnostica dei residui e accuratezza predittiva
Ortogonalità e scomposizione delle somme dei quadrati
OLS separa i risultati osservati in valori stimati e residui: Yi=Ŷi+ûi. In presenza di un'intercetta, l'ortogonalità campionaria implica che la somma totale degli scarti quadratici da Ȳ sia uguale alla somma degli scarti quadratici dei valori stimati e dei residui quadratici:
Dividendo per TSS si ottiene R2=ESS/TSS=1−RSS/TSS. Un valore vicino a uno significa che i predittori lineari spiegano gran parte della variazione campionaria di Y intorno alla sua media campionaria. Non dimostra l'esistenza di un effetto causale stimato senza distorsione; trend temporali, shock comuni e variabili legate meccanicamente possono generare valori molto elevati di R2 senza un'interpretazione strutturale credibile.
Il significato dell'R-quadrato corretto
L'aggiunta di un regressore non può aumentare la RSS nel campione quando si ricalcola OLS, perciò l'R2 ordinario non diminuisce mai nei modelli annidati. L'R2 corretto penalizza il numero di parametri stimati:
Il valore corretto può diminuire quando la variabile aggiunta migliora solo lievemente l'adattamento. Non è una stima non distorta della qualità predittiva fuori campione e non è una regola di selezione causale delle variabili. Il confronto tra modelli che usano trasformazioni diverse della variabile dipendente richiede particolare cautela: i valori di R2 per Y e ln(Y) non sono misure di adattamento direttamente confrontabili sulla medesima scala del risultato.
Errore standard della regressione ed errori di previsione
L'errore standard dei residui è SER=√(RSS/(n−k−1)). Sotto le ipotesi pertinenti, stima l'ampiezza degli errori nelle unità di Y. Un'applicazione predittiva si interessa all'errore su dati non utilizzati per stimare il modello. Se il modello stimato viene valutato su un campione di validazione indipendente, una misura comune della performance è l'errore quadratico medio di previsione:
La radice del MSPE ha le unità della variabile prevista ed è più interpretabile degli errori quadratici grezzi. Nelle previsioni temporali, le osservazioni di validazione devono essere successive a quelle di addestramento; rimescolare casualmente una serie temporale può introdurre informazioni future nel processo di costruzione del modello.
Grafici dei residui e controlli di specificazione
I grafici dei residui rispetto ai valori stimati, a ciascun regressore, al tempo e agli indicatori di gruppo possono rivelare valori anomali, eteroschedasticità, non linearità e andamenti seriali. Una nuvola di residui che si allarga a ventaglio suggerisce un modello della varianza dipendente da X. Un andamento curvilineo dei residui suggerisce l'omissione di termini non lineari. Sequenze di residui positivi e negativi nei dati di serie storiche suggeriscono una specificazione dinamica errata o disturbi correlati.
Tuttavia, i residui OLS sono ortogonali ai regressori inclusi per costruzione. Una covarianza campionaria nulla tra residui e regressori non convalida quindi l'ipotesi di media condizionata nulla. I test di specificazione sono strumenti diagnostici utili, ma non possono da soli identificare controfattuali non osservati o dimostrare l'esogeneità.
Sovraadattamento e validazione fuori campione
Quando il numero di regressori diventa elevato rispetto al numero di osservazioni, l'adattamento nel campione può migliorare anche se il modello perde affidabilità predittiva. Con n parametri e n osservazioni, può essere possibile interpolare perfettamente il dataset senza offrire alcuna garanzia attendibile fuori campione. La validazione incrociata, i campioni di test indipendenti e la regolarizzazione mirano alla performance predittiva, anziché alla sola RSS sui dati utilizzati per la stima.
| Statistica | Che cosa misura | Che cosa non dimostra |
|---|---|---|
| R2 | Variazione nel campione spiegata dalla proiezione | Identificazione causale |
| R2 corretto | Adattamento penalizzato per la dimensione del modello | Migliore previsione su nuovi dati |
| SER | Ampiezza dei residui nelle unità del risultato | Assenza di distorsione da specificazione |
| RMSE fuori campione | Errore di previsione tipico nelle unità del risultato | Effetto strutturale |
| Statistica t | Segnale in rapporto a un determinato errore standard | Rilevanza economica |
La varianza nell'output di regressione
I software statistici riportano spesso una tabella di analisi della varianza con la somma dei quadrati del modello, la somma dei quadrati dei residui, i rispettivi gradi di libertà e le corrispondenti medie quadratiche. Quando tutte le ipotesi convenzionali di omoschedasticità sono soddisfatte, il rapporto tra la media quadratica del modello e quella dei residui può fornire un test F complessivo. In presenza di eteroschedasticità, un test di Wald robusto dovrebbe sostituire il confronto convenzionale delle somme dei quadrati per le ipotesi congiunte generali.
Adattamento campionario, validità causale e precisione spuria
Tre modelli possono riportare valori identici di R2 pur offrendo informazioni molto diverse. Una regressione con trattamento randomizzato e R2 basso può identificare un effetto credibile di una politica, perché il trattamento può spiegare soltanto una piccola parte della variazione individuale del risultato. Un modello predittivo ad alta dimensionalità con elevata accuratezza in validazione incrociata può fornire previsioni eccellenti senza identificare alcun intervento causale. Una regressione di serie storiche con trend tra variabili integrate non correlate può avere un R2 estremamente alto mentre l'inferenza standard basata sulla t è invalida. Valutare questi modelli con un'unica statistica di adattamento significa confondere categorie concettualmente diverse.
Scomposizione dei contributi esplicativi
Nella regressione multipla, i contributi esplicativi di regressori correlati non possono sempre essere separati in modo univoco. Se istruzione e reddito dei genitori sono correlati, l'attribuzione della variazione salariale spiegata a ciascuna variabile dipende dalla procedura di scomposizione o dall'ordine di inclusione. Un R2 parziale per un gruppo selezionato di regressori ne misura il miglioramento incrementale dell'adattamento condizionatamente ai regressori rimanenti; non va interpretato come una quota causale univoca del risultato.
L'R2 parziale può essere definito attraverso le somme dei quadrati dei residui dei modelli vincolato e non vincolato: R2partial=(RSSrestricted−RSSunrestricted)/RSSrestricted. Il numeratore misura il miglioramento dell'adattamento dovuto all'aggiunta dei regressori selezionati, mentre il denominatore è la variazione non spiegata nel modello vincolato. Può essere utile per valutare una relazione condizionata o un primo stadio, ma non convalida la restrizione di esclusione di uno strumento.
Intervalli di confidenza per una media e intervalli di previsione per un individuo
Un intervallo per la media condizionale indica con quale precisione è stata stimata la media di Y in x0. Un intervallo di previsione riguarda invece i valori plausibili di un nuovo esito individuale Y0. Il secondo include sia l’incertezza sulla media stimata sia il disturbo irriducibile della nuova osservazione, risultando quindi più ampio a parità di modello. Qui x0 comprende l’intercetta, s2 è la stima convenzionale della varianza residua, p è il numero totale dei coefficienti stimati e h0=x0′(X′X)-1x0.
Sotto un modello lineare normale omoschedastico correttamente specificato e con una nuova osservazione indipendente, i due intervalli usano le formule riportate sotto. L’1 aggiuntivo nella radice quadrata dell’intervallo di previsione rappresenta la varianza del nuovo disturbo in unità di s2. Anche con un campione di stima enorme, questa incertezza non scompare. La leva statistica amplia entrambi gli intervalli quando ci si allontana dai valori delle covariate ben supportati dai dati. In R, predict.lm distingue interval="confidence" da interval="prediction". I soli errori standard robusti dei coefficienti non costruiscono un intervallo di previsione valido in presenza di eteroschedasticità: occorre considerare anche la distribuzione condizionale del nuovo esito.