Econometria.

Dalla distribuzione al criterio di stima

La massima verosimiglianza parte da una famiglia di distribuzioni f(y|x;θ) e sceglie il parametro che assegna ai dati osservati la maggiore densità o probabilità congiunta. Con osservazioni indipendenti, la verosimiglianza è L(θ) = ∏_if(y_i|x_i;θ) e la log-verosimiglianza è ℓ(θ) = ∑_iln f(y_i|x_i;θ). Il logaritmo trasforma il prodotto in somma e conserva il massimo perché è monotono crescente. Nei dati dipendenti si usa una fattorizzazione condizionata coerente con la dinamica, non un prodotto che presume indipendenza inesistente.

La verosimiglianza è una funzione del parametro con i dati fissati. Non è una distribuzione di probabilità del parametro e non deve integrare a uno rispetto a θ. Per attribuire probabilità ai parametri occorre introdurre una distribuzione a priori e costruire un modello bayesiano. Nella massima verosimiglianza frequentista, θ resta un parametro ignoto e la distribuzione campionaria dello stimatore deriva dal processo che genera i dati. Questa distinzione evita di interpretare una verosimiglianza elevata come probabilità diretta che il parametro sia vero.

Esempio bernoulli

Per Y_i indipendenti Bernoulli(p), la verosimiglianza è pˢ(1 − p)^n-ˢ, dove s = ∑_iy_i. La log-verosimiglianza è ℓ(p) = s ln(p) + (n − s)ln(1 − p). La derivata è s/p − (n − s)/(1 − p). Ponendola a zero si ottiene p̂ = s/n. La seconda derivata è negativa per un campione con successi e insuccessi, confermando il massimo interno. Quando tutti gli esiti sono zero o tutti sono uno, il massimo si trova sulla frontiera p = 0 o p = 1 e le approssimazioni interne usuali richiedono cautela.

Con 65 successi su 100 prove, p̂ = 0,65. L’errore standard asintotico è √[0,65 × 0,35/100] ≈ 0,04770. Un intervallo normale approssimato al 95% è circa [0,5565; 0,7435], pur esistendo intervalli per proporzioni con migliori proprietà finite. Il calcolo mostra come una distribuzione specificata produca sia uno stimatore sia una formula dell’incertezza. La validità dipende dall’indipendenza e dall’omogeneità del parametro p, oppure da una modellazione esplicita delle differenze fra osservazioni.

Regressione normale e OLS

Se y|X ∼ N(Xβ,σ²I), la log-verosimiglianza, a meno di notazione, è ℓ(β,σ²) = −(n/2)ln(2π) − (n/2)ln(σ²) − [(y − Xβ)′(y − Xβ)]/(2σ²). Per σ² fissata, massimizzare rispetto a β equivale a minimizzare RSS. Il massimo di verosimiglianza dei coefficienti coincide quindi con OLS. Questo non significa che OLS richieda normalità per essere calcolato o corretto: significa che, nel particolare modello normale, possiede anche un’interpretazione di massima verosimiglianza.

Massimizzando rispetto a σ² si ottiene σ̂²ML = RSS/n, non RSS/(n − k). La stima ML della varianza è distorta in campioni finiti nel modello classico, ma consistente sotto le condizioni usuali. La correzione dei gradi di libertà e il massimo di verosimiglianza ottimizzano proprietà diverse. È quindi scorretto aspettarsi che ogni stimatore ML sia esattamente corretto. Le sue principali proprietà generali sono asintotiche e richiedono condizioni di identificazione e regolarità.

Score e informazione

Il vettore score è s_i(θ) = ∂ln f(y_i|x_i;θ)/∂θ. Lo score campionario è la somma dei contributi individuali. In un massimo interno regolare, la somma è zero. L’Hessiana contiene le derivate seconde della log-verosimiglianza e descrive la curvatura. Una funzione molto curva attorno al massimo indica che piccole variazioni del parametro peggiorano rapidamente l’adattamento; una funzione piatta indica poca informazione in certe direzioni. La curvatura deve essere valutata insieme all’identificazione e al supporto del parametro.

Nel modello correttamente specificato e sotto condizioni che consentono di scambiare derivazione e integrazione, E[s_i(θ₀)] = 0 e l’informazione di Fisher soddisfa I(θ₀) = E[s_is_i′] = −E[∂s_i/∂θ′]. L’uguaglianza fra varianza dello score e curvatura attesa è una proprietà del modello regolare corretto. In presenza di misspecificazione può non valere, rendendo necessaria una covarianza sandwich. Usare soltanto l’inversa dell’Hessiana può allora sottostimare o sovrastimare l’incertezza.

Proprietà asintotiche

Sotto identificazione, corretta specificazione e regolarità, lo stimatore ML è consistente e asintoticamente normale: √n(θ̂ − θ₀) →d N(0,I(θ₀)^-1) per informazione definita per osservazione. La covarianza di θ̂ è quindi approssimativamente I^-1/n. In classi regolari appropriate, ML raggiunge il limite informativo asintotico. Questi risultati non valgono automaticamente con parametri sulla frontiera, separazione perfetta, identificazione debole, supporto dipendente dal parametro o dimensione che cresce senza le condizioni necessarie.

La proprietà di invarianza afferma che una trasformazione del massimo può fornire il massimo della corrispondente parametrizzazione, con le precisazioni necessarie per trasformazioni non biunivoche. Se si stima θ e interessa exp(θ), la stima ML trasformata è exp(θ̂). L’invarianza della stima non implica che l’errore standard si trasformi nello stesso modo senza calcolo. Per l’inferenza occorrono metodo delta, trasformazione degli intervalli o profilo di verosimiglianza. Stima puntuale e distribuzione della trasformazione sono questioni distinte.

Quasi-massima verosimiglianza

Una quasi-verosimiglianza utilizza un criterio ispirato a una distribuzione senza richiedere che tutta la distribuzione sia corretta. Il caso Poisson per una media condizionata esponenziale è importante: le condizioni dello score possono identificare correttamente i coefficienti della media anche quando la varianza non coincide con la media, sotto le ipotesi appropriate. OLS può analogamente essere interpretato come massimizzazione di un criterio gaussiano pur con errori non normali. La robustezza riguarda specifiche componenti del modello, non qualsiasi misspecificazione.

Se il criterio è misspecificato, lo stimatore può convergere a un parametro pseudo-vero che massimizza l’aspettativa del criterio nella distribuzione effettiva. Questo parametro può coincidere con l’oggetto desiderato quando le condizioni di momento della media sono corrette, oppure essere soltanto una migliore approssimazione secondo il criterio. La covarianza asintotica generale è A^-1BA^-1/n, con A = −E(Hessiana individuale) e B = E(score × score′), nel caso indipendente e con notazione simmetrica pertinente. Con dipendenza, B deve includere i legami fra contributi diversi.

Test di verosimiglianza, wald e score

Il likelihood ratio test confronta il massimo non ristretto ℓU con quello ristretto ℓR: LR = 2(ℓU − ℓR). Sotto una nulla regolare con q restrizioni e le condizioni di Wilks, LR converge a una chi-quadrato con q gradi di libertà. Il test Wald valuta la distanza della stima non ristretta dal vincolo usando la covarianza. Il test score, o LM, valuta la pendenza del criterio nel punto ristretto. I tre test sono asintoticamente collegati in modelli regolari, ma possono differire in campioni finiti e con parametrizzazioni o approssimazioni diverse.

Se ℓR = −120 e ℓU = −115, LR = 10. Con due restrizioni e riferimento chi-quadrato regolare, il p-value è circa exp(−10/2) = 0,00674. Il calcolo presuppone modelli annidati e verosimiglianze confrontabili sullo stesso campione. Parametri sulla frontiera possono produrre distribuzioni limite differenti, talvolta miscele; modelli non annidati non consentono di usare automaticamente la stessa chi-quadrato. Un miglioramento del valore del criterio non basta a determinare la distribuzione del test.

Profilo di verosimiglianza

Per un parametro di interesse ψ e parametri di disturbo λ, la verosimiglianza profilata massimizza rispetto a λ per ogni valore fissato di ψ. Questo permette di visualizzare quanto i dati siano compatibili con diversi valori di ψ dopo aver riottimizzato gli altri parametri. Intervalli basati sul profilo possono rappresentare asimmetrie e limiti del supporto meglio di un intervallo Wald simmetrico. La loro validità continua però a dipendere dalle condizioni del modello e dall’approssimazione inferenziale utilizzata.

Una superficie piatta o con più massimi può segnalare identificazione debole, dati poco informativi o problemi numerici. Il profilo aiuta a distinguere questi casi da un semplice errore standard elevato. Non bisogna selezionare il massimo locale più conveniente senza controllare valori iniziali e struttura del criterio. La stima numerica deve essere accompagnata da verifiche di convergenza, gradiente, Hessiana, plausibilità dei parametri e stabilità rispetto a inizializzazioni ragionevoli.

Ottimizzazione numerica e vincoli

Molti modelli richiedono algoritmi iterativi, come Newton–Raphson, quasi-Newton o metodi di gradiente. La parametrizzazione può imporre automaticamente vincoli: stimare log(σ²) garantisce una varianza positiva dopo l’esponenziazione; una trasformazione logistica può mantenere una probabilità fra zero e uno. Tuttavia, trasformazioni estreme possono rendere il criterio numericamente piatto. Standardizzare covariate e usare formule stabili per logaritmi ed esponenziali aiuta il calcolo senza cambiare l’obiettivo statistico.

Un messaggio di convergenza non prova che il massimo sia globale o che il modello sia identificato. Nel logit con separazione perfetta, per esempio, alcuni coefficienti possono divergere mentre la verosimiglianza continua a migliorare verso un limite. Interrompere l’algoritmo produce numeri finiti ma non un massimo finito regolare. Occorre riconoscere la struttura dei dati e considerare modelli o penalizzazioni appropriati, chiarendo che cambiano il procedimento di stima. La diagnostica numerica è parte della verifica econometrica, non un controllo opzionale.

Esercizio svolto: massimo poisson

Per conteggi indipendenti con parametro comune λ, ℓ(λ) = ∑_i[y_iln(λ) − λ − ln(y_i!)]. La derivata è ∑_iy_i/λ − n, quindi λ̂ = ȳ quando la media osservata è positiva. Se i conteggi sono 0, 1, 2, 3 e 4, la stima è 2. Sotto il modello Poisson, Var(ȳ) = λ/n, stimata con 2/5 = 0,4. Se la distribuzione effettiva ha varianza diversa dalla media, la media campionaria può ancora stimare la media, ma la formula Poisson dell’incertezza non è automaticamente corretta. La separazione fra criterio della media e distribuzione completa è il punto centrale della quasi-verosimiglianza.