4. Il modello di regressione lineare semplice
Derivazione dell'OLS e interpretazione di coefficiente angolare, intercetta, previsioni e residui
Modello della popolazione e criterio dei minimi quadrati
Il modello di regressione lineare semplice esprime la variabile di risultato come funzione lineare di una variabile esplicativa e di un disturbo non osservato:
L'intercetta β0 è la media condizionata per X=0 se E[u|X]=0 e X=0 rientra nell'intervallo economicamente significativo dei dati. Il coefficiente angolare β1 misura la variazione della media condizionata di Y per un aumento unitario di X, nell'ambito del modello. Il termine di errore raccoglie le determinanti non osservate; non è semplicemente sinonimo di errori commessi dal ricercatore, anche se gli errori di misurazione possono costituirne una componente.
Lo stimatore dei minimi quadrati ordinari seleziona b0 e b1 in modo da minimizzare i quadrati dei residui stimati:
L'elevamento al quadrato rende positivi i contributi dei residui negativi e positivi e attribuisce maggiore peso agli errori più grandi in valore assoluto. Questo criterio è un'operazione campionaria ben definita, indipendente dal fatto che il regressore sia stato assegnato casualmente. La sua interpretazione causale è una questione distinta.
Derivare il coefficiente angolare e l'intercetta
Deriviamo la somma dei quadrati dei residui rispetto a b0 e b1 e poniamo le derivate uguali a zero. La prima equazione normale stabilisce che i residui campionari sommano a zero; ciò implica che la retta stimata passi per le medie campionarie (X̄,Ȳ). Sostituendo b0=Ȳ−b1X̄ nella seconda equazione normale si ottiene
La pendenza è quindi il rapporto tra la covarianza campionaria e la varianza campionaria di X, usando la stessa normalizzazione al numeratore e al denominatore; equivalentemente, è il rapporto tra la somma dei prodotti degli scarti dalle medie e la somma dei quadrati degli scarti di X dalla propria media. Se X non varia, il denominatore è zero e la pendenza non è stimabile. Il numeratore è positivo quando valori elevati di X si accompagnano sistematicamente a valori elevati di Y, e negativo nel caso opposto.
Residui, valori stimati e identità dell'OLS
Il valore stimato è Ŷi=β̂0+β̂1Xi e il residuo è ûi=Yi−Ŷi. In presenza di intercetta, le equazioni normali dell'OLS garantiscono Σûi=0 e ΣXiûi=0. Di conseguenza, la covarianza campionaria tra valori stimati e residui è nulla e la media dei valori stimati di Y coincide con la media osservata di Y. Si tratta di proprietà algebriche del campione su cui si stima il modello, non della prova che il disturbo non osservato della popolazione sia indipendente da X.
La scomposizione esatta della variabilità campionaria è
I tre termini sono rispettivamente la somma totale dei quadrati (TSS), la somma dei quadrati spiegata (ESS) e la somma dei quadrati dei residui (RSS, denominata anche SSR secondo alcune convenzioni). Ne consegue che 0≤R2≤1 in una regressione OLS contenente un'intercetta, assumendo che la variabile di risultato non sia costante.
Regressori binari: confrontare le medie mediante regressione
Supponiamo che D assuma valori zero e uno e che Yi=β0+β1Di+ui. L'OLS pone β̂0 uguale alla media osservata del risultato tra le unità con D=0 e β̂0+β̂1 uguale alla media tra le unità con D=1, quindi
Una regressione con una variabile dummy di trattamento e un'intercetta riproduce esattamente la differenza tra medie campionarie. Se il trattamento è stato assegnato casualmente e non vi sono abbandoni o interferenze problematici, può stimare un effetto causale medio del trattamento. Se la dummy indica la frequenza universitaria scelta autonomamente, il coefficiente può riflettere differenze preesistenti nelle capacità o nel contesto familiare.
Cambiamenti di scala e forme funzionali
Un coefficiente dipende dalle unità di misura. Se X è misurato in migliaia di euro anziché in singoli euro, il suo coefficiente aumenta di un fattore mille, mentre i valori stimati e le implicazioni sostanziali rimangono invariati. Modificare la scala di Y moltiplica il coefficiente e i residui stimati per lo stesso fattore. Le trasformazioni devono sempre essere interpretate nelle unità economiche originarie.
Un modello livello–livello Y=β0+β1X+u ha β1 unità di Y per unità di X. Un modello log–livello log(Y)=β0+β1X+u comporta una variazione approssimata di Y del 100β1 per cento per un aumento unitario di X; l'effetto proporzionale esatto di una variazione unitaria è exp(β1)−1, secondo l'appropriata interpretazione sulla scala logaritmica. Nei modelli livello–log, il risultato cambia di circa β1/100 unità per una variazione dell'1% di X. Nei modelli log–log, β1 è l'elasticità di Y rispetto a X.
Perché una retta stimata non è il processo generatore dei dati
La regressione stima la relazione che meglio si adatta al campione. Anche se la media condizionata della popolazione è non lineare, la retta dei minimi quadrati della popolazione mantiene significato come migliore previsione lineare con perdita quadratica. Se Y è determinato da X2, un coefficiente angolare stimato può variare notevolmente al cambiare dell'intervallo osservato di X, nonostante il calcolo OLS sia tecnicamente corretto. La retta stimata è un'approssimazione; il ricercatore economico deve argomentare quando tale approssimazione sia utile e se abbia un significato causale accettabile.
La proiezione lineare della popolazione
Per comprendere l'OLS senza assumere un meccanismo economico effettivamente lineare, definiamo la proiezione lineare della popolazione come la scelta di α e β che minimizza E[(Y−α−βX)2]. Il suo coefficiente angolare è β=Cov(X,Y)/Var(X) quando tali momenti esistono e Var(X)>0. L'errore di proiezione e=Y−α−βX è ortogonale alla costante e a X: E[e]=0 ed E[Xe]=0. Tuttavia E[e|X]=0 può non valere se la vera aspettativa condizionata è non lineare. La differenza conta: l'ortogonalità campionaria è un risultato algebrico, mentre l'indipendenza in media condizionata è una proprietà più forte della distribuzione della popolazione.
Per un'aspettativa condizionata non lineare, la proiezione lineare è un compromesso ponderato tra i valori osservati di X. Il coefficiente angolare può essere un'utile sintesi dell'associazione lineare media e offrire un buon riferimento previsivo nell'intervallo delle covariate del campione, anche quando non dovrebbe essere interpretato come una derivata strutturale invariabile. Il ricercatore deve identificare il significato del coefficiente prima di attribuirgli un'interpretazione di politica economica.
Leverage, valori anomali e osservazioni influenti
Un'osservazione con un valore insolito del regressore può avere un leverage elevato, ossia un notevole potenziale di influenzare la retta stimata. Nell'OLS matriciale, il leverage hi è il corrispondente elemento diagonale di Px=X(X′X)-1X′. Residui grandi e leverage elevato sono proprietà distinte: un'osservazione può essere lontana dal centro delle variabili predittive ma trovarsi quasi esattamente sulla retta stimata; un'altra può avere un valore ordinario di X ma un Y inaspettatamente alto o basso.
Le misure di influenza combinano leverage e dimensione dei residui per valutare l'effetto della rimozione di osservazioni. Un dato sospetto potrebbe indicare un errore di codifica o misurazione, ma osservazioni rare e autentiche possono contenere informazioni economiche essenziali. Eliminare un punto soltanto perché indebolisce la significatività statistica compromette la credibilità empirica. Occorre riportare i cambiamenti rilevanti emersi dalle analisi di sensibilità e giustificare le esclusioni mediante regole difendibili sulla qualità dei dati.