Econometria.

Un esito che assume zero o uno

Quando Y è binaria, E(Y|X) = P(Y = 1|X) = p(X). La media condizionata è quindi una probabilità compresa fra zero e uno. Esempi sono partecipazione, acquisto, occupazione o inadempimento contrattuale, con definizioni precise dell’evento e dell’orizzonte. La codifica deve essere dichiarata: un coefficiente che aumenta la probabilità dell’evento cambia interpretazione se uno indica successo oppure insuccesso. Anche la popolazione a rischio dell’evento va definita, perché unità non esposte non appartengono necessariamente allo stesso problema di previsione.

La varianza condizionata è p(X)[1 − p(X)], perciò cambia con la probabilità. L’eteroschedasticità è naturale nei modelli binari. Una procedura per la media deve essere accompagnata da inferenza coerente con tale struttura e con eventuale dipendenza fra osservazioni. La rarità dell’evento può rendere alcune stime molto imprecise anche con molte righe: il numero di eventi e la loro distribuzione fra covariate e gruppi sono informazioni essenziali.

Modello di probabilità lineare

Il linear probability model, LPM, specifica p(X) = X′β e viene stimato con OLS. Il coefficiente di un regressore continuo rappresenta una variazione della probabilità in unità, quindi 0,03 equivale a tre punti percentuali per una unità aggiuntiva del regressore nella componente lineare. Il modello è semplice, permette effetti fissi e interpretazioni dirette, ma può produrre previsioni fuori da [0,1] e impone effetti marginali costanti. Può essere utile come approssimazione o per specifici estimandi lineari senza essere un modello globale adeguato di tutte le probabilità.

Gli errori standard omoschedastici non sono generalmente appropriati, perché Var(u|X) = p(X)[1 − p(X)]. Una covarianza robusta o cluster-robust va scelta secondo il disegno. Correggere le probabilità previste tagliandole a zero e uno modifica la funzione predittiva e non trasforma la stima originale in un logit. L’interpretazione dei coefficienti resta quella del modello lineare stimato. Per inferenza causale, il LPM richiede le stesse condizioni di identificazione del confronto, non è reso causale dalla natura binaria dell’esito.

Logit e probit

Il logit usa p(X) = Λ(X′β), dove Λ(η) = exp(η)/[1 + exp(η)]. Il probit usa p(X) = Φ(X′β), con Φ funzione di ripartizione normale standard. Entrambe mantengono le probabilità fra zero e uno e consentono effetti marginali che dipendono dal livello delle covariate. La differenza riguarda la forma della funzione di collegamento e le sue code. I coefficienti dei due modelli non sono direttamente confrontabili nella stessa scala perché le distribuzioni latenti sono normalizzate diversamente.

Una rappresentazione latente scrive Y* = X′β + ε e Y = 1(Y* > 0). Con errore normale standard si ottiene il probit; con errore logistico standard si ottiene il logit. La scala di Y* non è osservata: moltiplicare indice ed errore per una costante positiva non cambia l’indicatore. Per identificare i coefficienti si normalizza quindi la scala dell’errore. Non si deve interpretare il coefficiente latente come una variazione diretta della probabilità o come un’unità osservata dell’esito binario.

Verosimiglianza e stima

Per osservazioni indipendenti, la log-verosimiglianza binaria è ℓ(β) = ∑_i[y_iln p_i + (1 − y_i)ln(1 − p_i)], con p_i = G(x_i′β). Nel logit, lo score si semplifica in ∑_ix_i(y_i − p_i), mostrando una forma di ortogonalità fra regressori e residui probabilistici. Nel probit compare anche un fattore legato alla densità normale e alla varianza Bernoulli. La soluzione richiede normalmente un algoritmo numerico, salvo casi elementari come il modello con sola intercetta.

L’inferenza può utilizzare l’informazione del modello oppure una covarianza robusta sotto le condizioni appropriate. Se l’indice o la funzione di risposta sono misspecificati, la stima può convergere a un parametro di approssimazione che non coincide con l’effetto desiderato. Gli errori standard robusti non rendono corretta la forma della probabilità. Inoltre, la dipendenza entro gruppi richiede clustering coerente: la verosimiglianza Bernoulli scritta come prodotto indipendente non elimina gli shock condivisi fra osservazioni.

Effetti marginali per variabili continue

Per p = G(X′β), la derivata rispetto a x_j è g(X′β)β_j, quando x_j entra soltanto linearmente nell’indice. Nel logit g(η) = p(1 − p); nel probit g(η) = φ(η). Il segno coincide con quello di β_j in questa specificazione semplice, ma la grandezza varia con X. Un coefficiente logit di 0,5 produce un effetto marginale di 0,5 × 0,2 × 0,8 = 0,08 quando p = 0,2 e di 0,125 quando p = 0,5. Sono variazioni locali di otto e dodici virgola cinque punti percentuali per unità.

L’effetto marginale medio, AME, è la media degli effetti calcolati per le osservazioni. L’effetto alla media, MEM, valuta invece la derivata in un vettore di covariate medie. Non coincidono in generale perché la funzione è non lineare. Il vettore medio può anche descrivere un individuo inesistente, per esempio con indicatori di gruppo fra zero e uno. L’AME conserva la distribuzione osservata delle covariate, mentre il MEM risponde a un confronto in un punto convenzionale. La scelta deve essere dichiarata e collegata all’obiettivo.

Variabili binarie e differenze discrete

Per una dummy D si calcola normalmente G(η + βD) − G(η), dove η raccoglie gli altri termini e D passa da zero a uno. La derivata infinitesima non è il confronto naturale di una variabile che assume soltanto due valori. Se esistono interazioni, entrambi gli indici devono essere ricostruiti coerentemente cambiando D in tutti i termini che la contengono. L’effetto medio discreto si ottiene mediando queste differenze sulla distribuzione delle altre covariate.

Per l’incertezza di AME e differenze discrete si può usare il metodo delta o un bootstrap che rispetti il disegno. Il gradiente deve considerare tutte le dipendenze dai coefficienti e, secondo l’estimando, l’eventuale variabilità della distribuzione delle covariate. Riportare soltanto l’errore standard del coefficiente logit non fornisce automaticamente quello dell’effetto sulla probabilità. Coefficiente dell’indice, odds ratio e differenza di probabilità sono quantità diverse, con scale e distribuzioni differenti.

Odds e odds ratio

Nel logit, le odds sono p/(1 − p) e il loro logaritmo è X′β. Una unità aggiuntiva di x_j moltiplica le odds per exp(β_j), quando non sono presenti interazioni o altre trasformazioni che cambiano il confronto. L’odds ratio non è un rapporto di probabilità. Se p₀ = 0,20, le odds iniziali sono 0,25. Un odds ratio di 2 porta le odds a 0,50 e la probabilità a 0,50/(1 + 0,50) = 1/3. La probabilità aumenta da 20% a circa 33,33%, non al 40%.

L’odds ratio può essere meno intuitivo di una differenza di probabilità e può apparire grande anche quando il cambiamento assoluto è limitato. Inoltre, gli odds ratio condizionati possono cambiare aggiungendo covariate anche in situazioni prive di confondimento, a causa della non collassabilità della misura. Non è quindi corretto interpretare automaticamente ogni variazione del coefficiente logit fra modelli come rimozione di distorsione da variabili omesse. Per confronti sostanziali è spesso utile riportare probabilità previste o effetti marginali ben definiti.

Interazioni nei modelli non lineari

Con un’interazione xz nell’indice, l’effetto di x è g(η)(βx + βxz z). La derivata incrociata della probabilità contiene sia g(η)βxz sia un termine con g′(η) e le pendenze dell’indice. Perciò il segno del coefficiente dell’interazione non determina da solo il segno dell’interazione sulla scala della probabilità in ogni punto. La non linearità crea variazioni degli effetti anche quando il termine xz non è presente nell’indice. Occorre specificare quale scala e quale confronto si desiderano interpretare.

Con due dummy, un’interazione sulla probabilità può essere calcolata come differenza di quattro probabilità previste, mantenendo coerenti le altre covariate. Questo confronto non coincide in generale con il coefficiente del prodotto delle dummy. L’inferenza deve essere costruita sulla funzione delle previsioni. Una tabella che evidenzia soltanto il p-value del coefficiente di interazione nell’indice può non rispondere alla domanda economica sulla differenza degli effetti in punti percentuali.

Separazione e eventi rari

La separazione perfetta si verifica quando una combinazione dei regressori distingue completamente successi e insuccessi. Nel logit non penalizzato, alcuni coefficienti possono divergere e il massimo finito non esistere. Errori standard enormi, mancata convergenza o probabilità quasi esattamente zero e uno possono essere segnali. La quasi-separazione produce difficoltà analoghe. Eliminare automaticamente la variabile che separa può cambiare la domanda; occorre comprendere se la struttura sia reale, dovuta a categorie rare o a un campione troppo limitato.

Penalizzazioni o correzioni specifiche, come approcci basati sulla penalizzazione di Firth, possono produrre stime finite in alcuni casi, ma modificano il procedimento e le sue proprietà. Con eventi rari, il numero di eventi informativi e la loro distribuzione sono più rilevanti della sola numerosità totale. Campionamenti che sovrarappresentano gli eventi richiedono attenzione alla calibrazione delle probabilità e ai pesi. Un modello che classifica tutte le osservazioni come non evento può avere accuratezza elevata in una popolazione molto sbilanciata e risultare comunque inutile.

Valutare le probabilità

La log-loss e il Brier score valutano probabilità, non soltanto etichette. Il Brier score è la media di (y_i − p̂_i)². La calibrazione verifica se, fra unità con probabilità prevista vicina a un certo valore, la frequenza osservata è coerente con quel valore. La discriminazione riguarda invece la capacità di ordinare correttamente unità con esiti diversi; l’area sotto la curva ROC, AUC, è una misura di ordinamento. Un modello può discriminare bene ma essere mal calibrato, quindi assegnare probabilità numericamente sbagliate.

La soglia che trasforma p̂ in una decisione binaria dipende dai costi di falsi positivi e falsi negativi e dalla popolazione di utilizzo. Non deve essere automaticamente 0,5. Precisione, richiamo e tassi di errore cambiano con la soglia e con la prevalenza dell’evento. La valutazione deve avvenire su dati non usati per scegliere il modello o la soglia, oppure con una procedura di validazione coerente. Buona classificazione non dimostra un effetto causale dei regressori sull’evento.

Esercizio svolto: coefficiente, odds e probabilità

Un logit ha coefficiente di una dummy pari a ln(2), quindi odds ratio 2. Per un profilo con probabilità iniziale 0,10, le odds sono 1/9 e diventano 2/9; la nuova probabilità è 2/11 ≈ 0,1818, con incremento di circa 8,18 punti percentuali. Per un profilo con probabilità iniziale 0,50, le odds passano da 1 a 2 e la probabilità diventa 2/3, con incremento di 16,67 punti. Lo stesso coefficiente e lo stesso odds ratio producono effetti assoluti diversi. Per comunicare l’impatto occorre quindi specificare il profilo o la distribuzione sulla quale si media.