4. Vettori, matrici e geometria della regressione
Perché serve l’algebra lineare
L’algebra matriciale permette di esprimere un modello con molti regressori senza riscrivere separatamente ogni equazione. Non cambia il contenuto economico del modello: rende visibili relazioni che nella notazione scalare rimangono nascoste. In una regressione con n osservazioni e k coefficienti, comprendendo l’intercetta, y è un vettore n × 1, X è una matrice n × k, β è un vettore k × 1 e u è un vettore n × 1. Il modello si scrive y = Xβ + u. La i-esima riga di X contiene le caratteristiche della i-esima osservazione; la j-esima colonna contiene tutti i valori del j-esimo regressore.
Un vettore colonna è una sequenza ordinata di numeri. La sua trasposta, indicata con un apice, è un vettore riga. Se x = (1, 2, 3)′ e z = (4, 0, 2)′, il prodotto interno x′z è 1 × 4 + 2 × 0 + 3 × 2 = 10. Il prodotto xx′ è invece una matrice 3 × 3, mentre x′x è lo scalare 14. L’ordine dei fattori e le dimensioni contano: due espressioni apparentemente simili possono rappresentare oggetti completamente diversi. Controllare le dimensioni è uno dei modi più efficaci per individuare errori nelle dimostrazioni econometriche.
Operazioni e dimensioni
Due matrici possono essere sommate quando hanno le stesse dimensioni. Il prodotto AB è definito quando il numero di colonne di A coincide con il numero di righe di B. Se A è m × r e B è r × p, AB è m × p. In generale AB non coincide con BA; talvolta BA non è neppure definito. Per la trasposta di un prodotto vale (AB)′ = B′A′: la trasposizione inverte l’ordine. Questa regola è indispensabile quando si calcola la varianza di una trasformazione lineare, poiché Var(Ay) = AVar(y)A′ per una matrice A non casuale.
La matrice identità I ha uno sulla diagonale e zero altrove. Moltiplicare una matrice per l’identità compatibile ne lascia invariati gli elementi. Una matrice quadrata A è invertibile se esiste A-1 tale che AA-1 = A-1A = I. Per matrici invertibili, (AB)-1 = B-1A-1. Non è lecito invertire elemento per elemento una matrice generale: il reciproco di ciascuna cella non produce l’inversa. Anche la divisione fra matrici non è un’operazione elementare equivalente alla divisione fra numeri; occorre precisare da quale lato si moltiplica per un’inversa.
Rango e indipendenza lineare
Le colonne di X sono linearmente indipendenti se nessuna può essere ottenuta come combinazione lineare delle altre. Il rango di X è il numero massimo di colonne linearmente indipendenti. Quando il rango è k, X ha rango pieno rispetto alle colonne e X′X è invertibile. Se invece un regressore è esattamente il doppio di un altro, i rispettivi effetti non possono essere separati: molte coppie di coefficienti producono le stesse previsioni. Il problema prende il nome di multicollinearità perfetta e riguarda l’identificazione dei coefficienti nel campione.
Un esempio comune è la presenza contemporanea di intercetta e indicatori per tutte le categorie di una classificazione esaustiva. Se ogni persona appartiene esattamente a uno fra tre gruppi, D1 + D2 + D3 = 1. La colonna dell’intercetta è quindi la somma delle tre colonne indicatrici. Occorre omettere una categoria oppure eliminare l’intercetta, con una parametrizzazione coerente. La categoria omessa non scompare dai dati: diventa il riferimento rispetto al quale interpretare gli altri coefficienti. Il software può eliminare automaticamente una colonna, ma questa operazione non sostituisce la comprensione della parametrizzazione.
Forme quadratiche e definitezza
Una forma quadratica è un’espressione x′Ax, dove A è quadrata. Se A è simmetrica, si dice positiva semidefinita quando x′Ax ≥ 0 per ogni x e positiva definita quando la disuguaglianza è stretta per ogni x diverso da zero. Una matrice di covarianza è sempre positiva semidefinita, perché la varianza di qualsiasi combinazione lineare non può essere negativa. Anche X′X è positiva semidefinita: per qualsiasi a, a′X′Xa = (Xa)′(Xa), cioè una somma di quadrati. Diventa positiva definita quando Xa = 0 implica necessariamente a = 0.
La traccia tr(A) è la somma degli elementi diagonali. Per prodotti compatibili tr(AB) = tr(BA). Gli autovalori descrivono quanto una trasformazione allunga o comprime determinate direzioni; per una matrice simmetrica sono reali. Un autovalore molto piccolo di X′X segnala una direzione dei coefficienti poco informata dai dati. Non è necessaria una dipendenza esatta per avere problemi: regressori quasi ridondanti possono rendere le stime numericamente instabili e gli errori standard elevati. Standardizzare le scale può migliorare il calcolo, ma non crea informazione che manca.
Dal criterio OLS alle equazioni normali
La somma dei quadrati dei residui è Q(β) = (y − Xβ)′(y − Xβ). Espandendo il prodotto si ottiene Q(β) = y′y − 2β′X′y + β′X′Xβ. Il termine y′y non dipende da β. Derivando rispetto al vettore dei coefficienti e ponendo il gradiente uguale a zero si ottiene X′Xβ̂ = X′y, le equazioni normali. Quando X ha rango pieno, la soluzione unica è:
Il vettore dei valori stimati è ŷ = Xβ̂, mentre il vettore dei residui è û = y − ŷ. Dalle equazioni normali segue X′û = 0: ogni colonna di X è ortogonale ai residui. Questa è un’identità algebrica del campione, valida per il criterio OLS, non una prova che i regressori siano esogeni nella popolazione. Il fatto che la covarianza campionaria fra regressori e residui sia zero non dimostra che la covarianza fra regressori ed errori strutturali sia zero. Residui stimati ed errori non osservati sono oggetti diversi.
Proiezione ortogonale
Le combinazioni lineari delle colonne di X formano uno spazio di possibili vettori previsivi. OLS sceglie il vettore in questo spazio più vicino a y secondo la distanza euclidea. Si definisce Px = X(X′X)-1X′, detta matrice di proiezione o hat matrix, perché trasforma y in ŷ: ŷ = Pxy. La matrice Mx = I − Px produce invece i residui: û = Mxy. Entrambe sono simmetriche e idempotenti, cioè Px2 = Px e Mx2 = Mx. Proiettare una seconda volta un vettore già proiettato non lo modifica.
L’ortogonalità fra ŷ e û implica il teorema di Pitagora non centrato y′y = ŷ′ŷ + û′û. Se nel modello è presente l’intercetta, i residui sommano a zero e si ottiene anche la decomposizione centrata della variabilità attorno alla media. Questa distinzione spiega perché alcune proprietà usuali di R2 richiedono l’intercetta. Senza costante, la decomposizione rispetto a ȳ e l’intervallo abituale di R2 non possono essere dati per scontati. Un risultato negativo del coefficiente di determinazione centrato non è allora necessariamente un errore di calcolo.
Leverage e gradi di libertà
Gli elementi diagonali hii di Px misurano il leverage delle osservazioni, cioè quanto la loro posizione nello spazio dei regressori può incidere sulla propria previsione. Con rango pieno si ha 0 ≤ hii ≤ 1 e ∑ihii = tr(Px) = k. Il leverage medio è quindi k/n. Un’osservazione molto lontana dal centro dei regressori può avere leverage elevato anche se il suo residuo è piccolo. Leverage, residuo e influenza non sono sinonimi: l’influenza combina la posizione del punto con il suo disaccordo rispetto alla relazione stimata.
Poiché tr(Mx) = n − k, lo spazio residuo ha dimensione n − k. Questa è l’origine geometrica dei gradi di libertà nella stima s2 = û′û/(n − k) della varianza dell’errore nel modello omoschedastico. Stimare k coefficienti impone k vincoli lineari ai residui. Dividere per n ignora questi vincoli e, nel modello classico, produce una stima distorta verso il basso della varianza. Il divisore non è una correzione convenzionale arbitraria: deriva dalla dimensione della componente che rimane dopo la proiezione.
Esempio matriciale completo
Si osservano x = (0, 1, 2)′ e y = (1, 2, 2)′. Con intercetta, X ha righe (1, 0), (1, 1), (1, 2). Si ottiene X′X = [[3, 3], [3, 5]] e X′y = (5, 6)′. Il determinante di X′X è 15 − 9 = 6, quindi la matrice è invertibile e (X′X)-1 = (1/6)[[5, −3], [−3, 3]]. Moltiplicando per X′y si trova β̂ = (7/6, 1/2)′. La retta stimata è pertanto ŷ = 7/6 + x/2. Gli stessi risultati possono essere ottenuti dalla formula scalare della pendenza, mostrando che le due notazioni rappresentano il medesimo stimatore.
Le previsioni sono (7/6, 5/3, 13/6)′ e i residui sono (−1/6, 1/3, −1/6)′. La loro somma è zero; inoltre ∑ixiûi = 0 × (−1/6) + 1 × (1/3) + 2 × (−1/6) = 0. La somma dei quadrati residui è 1/36 + 1/9 + 1/36 = 1/6. Con n = 3 e k = 2, s2 = 1/6. I leverage sono 5/6, 1/3 e 5/6: sommano a 2, il numero dei coefficienti. Gli estremi di x hanno maggiore leverage del punto centrale.
Calcolo numerico e interpretazione
La formula con l’inversa è fondamentale per la teoria, ma non implica che un programma debba calcolare esplicitamente (X′X)-1. Metodi basati su fattorizzazione QR o decomposizione ai valori singolari possono essere più stabili numericamente. Formare X′X può amplificare i problemi di condizionamento. Inoltre, una pseudoinversa consente di ottenere una soluzione quando il rango è insufficiente, ma non rende separatamente identificati coefficienti ridondanti. Una procedura numerica può scegliere una soluzione fra molte senza attribuirle un significato economico unico.
L’algebra lineare offre quindi tre vantaggi distinti: compatta la notazione, rende trasparenti le dimostrazioni e aiuta a diagnosticare la mancanza di informazione. La formula OLS va letta insieme alle sue dimensioni e alle condizioni di rango. Una volta compresa la proiezione, diventano più intuitivi il ruolo dei controlli, la regressione parziale, i residui, i gradi di libertà e le formule robuste della varianza. La matrice non è un formalismo aggiuntivo: è una rappresentazione strutturata degli stessi confronti che la regressione compie fra le osservazioni.