10. Doppia selezione e controlli ad alta dimensionalità
Inferenza post-Lasso per un coefficiente di trattamento con molti controlli candidati
Il problema che motiva la doppia selezione
La regressione standard a bassa dimensionalità funziona quando l'insieme dei controlli significativi è contenuto rispetto alla dimensione campionaria e il ricercatore può specificare in anticipo un insieme credibile di variabili di aggiustamento. I dataset economici contemporanei possono contenere centinaia o migliaia di controlli candidati, trasformazioni e interazioni. Se il numero di regressori è elevato rispetto a n, i minimi quadrati ordinari possono essere instabili o impossibili da stimare con una soluzione unica. La selezione delle variabili esclusivamente predittiva può apparire allettante, ma scegliere i controlli soltanto perché prevedono il risultato può compromettere l'inferenza sull'effetto del trattamento.
Il modello centrale è una relazione parzialmente lineare
dove D è un trattamento o il regressore di principale interesse, X contiene potenzialmente molti controlli precedenti al trattamento e g0 è una funzione ausiliaria ad alta dimensionalità. Il parametro α0 è l'obiettivo della stima. Un'equazione ausiliaria del trattamento mette in relazione D con i controlli:
La seconda relazione è importante perché alcuni controlli possono essere predittori deboli di Y ma forti di D. Omettere queste variabili dal modello del risultato può distorcere il coefficiente del trattamento quando le variabili omesse influenzano anche Y.
Perché la selezione basata solo sul risultato può essere fuorviante
Immaginiamo che Xj abbia un'associazione modesta con i punteggi dei test ma un'associazione molto forte con la dimensione delle classi del distretto. Selezionare le variabili esclusivamente in base alla loro capacità di prevedere i punteggi può eliminare Xj, sebbene sia un fattore di confondimento rilevante per il processo di assegnazione del trattamento. Viceversa, selezionare soltanto i predittori di D può ignorare importanti determinanti di Y che contribuiscono a migliorare la precisione. Una procedura ad alta dimensionalità dovrebbe proteggere da entrambi i problemi, anziché considerare sufficiente l'accuratezza predittiva in una sola equazione.
In un modello a bassa dimensionalità, la formula classica della distorsione da variabile omessa ricorda che il confondimento dovuto all'omissione richiede sia un legame con D sia un legame con Y. La doppia selezione affronta sistematicamente questo duplice requisito selezionando i controlli da entrambe le relazioni.
Il Lasso come strumento di selezione preliminare
Il Lasso minimizza la somma degli errori quadratici più una penalizzazione L1 sui coefficienti di regressione:
Il parametro di regolazione λ controlla il grado di contrazione dei coefficienti. Poiché la penalizzazione basata sul valore assoluto crea punti angolosi, i coefficienti di alcuni predittori possono essere posti esattamente uguali a zero, generando un insieme selezionato di controlli. Standardizzare i predittori prima della penalizzazione è di solito necessario affinché le penalizzazioni sui coefficienti siano confrontabili. Il trattamento D non viene penalizzato nella regressione finale del parametro causale: è la variabile di cui vogliamo stimare l'effetto.
L'algoritmo della doppia selezione
In un'implementazione parzialmente lineare standard, si esegue anzitutto il Lasso di Y sui controlli X e si raccolgono i controlli selezionati per prevedere il risultato, Sᵧ. Poi si esegue il Lasso di D su X e si raccolgono i controlli selezionati per prevedere il trattamento, Sᴅ. Si forma la loro unione, S=Sᵧ∪Sᴅ, e si stima una regressione lineare ordinaria di Y su D e su tutti i controlli in S. Il coefficiente di D è lo stimatore post-doppia-selezione di α0.
L'unione è essenziale: selezionare sulla base di una sola equazione omette una classe di potenziali fattori di confondimento. Il metodo è particolarmente significativo quando esiste una rappresentazione approssimativamente sparsa delle relazioni ausiliarie, valgono appropriate condizioni di regolarità e la dimensione campionaria effettiva è sufficiente. Non supera l'endogeneità di D causata da fattori di confondimento realmente non osservati; può aggiustare soltanto per le informazioni rappresentate tra i controlli candidati.
Ortogonalizzazione e collegamento con il double machine learning
Una tecnica collegata rimuove dal risultato e dal trattamento la componente spiegata da X e regredisce un residuo sull'altro. Siano mᵧ(X)=E[Y|X] e mᴅ(X)=E[D|X]. Definiamo i residui Ỹ=Y−mᵧ(X) e D̃=D−mᴅ(X). Nel modello parzialmente lineare, α0 può essere stimato utilizzando l'equazione dei momenti
Questo momento è ortogonale nel senso di Neyman rispetto a perturbazioni delle funzioni ausiliarie opportunamente definite: piccoli errori nella stima di tali funzioni non hanno effetti del primo ordine sul momento di interesse in corrispondenza del vero valore. Il cross-fitting, che stima le funzioni ausiliarie su partizioni del campione non utilizzate per la corrispondente regressione del parametro di interesse basata sui residui, riduce la distorsione da sovraadattamento ed è particolarmente importante con metodi di apprendimento flessibili. La doppia selezione e il double machine learning tramite rimozione delle componenti spiegate condividono un quadro di identificazione, ma i loro algoritmi e le loro condizioni di regolarità non vanno confusi superficialmente.
Condizioni, inferenza e limiti
Gli intervalli di confidenza dopo la selezione non possono generalmente essere costruiti fingendo che una semplice fase di selezione delle variabili su una sola equazione non sia avvenuta. Risultati validi di doppia selezione richiedono ipotesi su sparsità approssimata, scelta della penalizzazione, momenti dei regressori, autovalori ristretti o condizioni analoghe sul disegno e velocità adeguate per la stima delle funzioni ausiliarie. Il teorema esatto dipende dallo stimatore e dal disegno campionario. L'inferenza robusta o per cluster deve tenere conto dell'effettiva struttura di dipendenza.
Se X contiene variabili causate da D, condizionare su di esse può eliminare parte dell'effetto causale o indurre una distorsione da collider. Pertanto, neppure un algoritmo di selezione matematicamente sofisticato sceglie il grafo causale al posto del ricercatore. Il significato economico e temporale dei controlli rimane indispensabile.
Implementazione pratica in R
Il codice seguente è un’implementazione schematica per un insieme di dati privo di valori mancanti nelle variabili y, d e nei controlli numerici da x1 a x5. Tutte le variabili devono riferirsi alle stesse righe selezionate prima di chiamare model.matrix e cv.glmnet. A scopo illustrativo, la penalizzazione viene scelta mediante validazione incrociata; il riepilogo mostrato serve a controllare il funzionamento del software e non costituisce una procedura convalidata di inferenza dopo la selezione. Le implementazioni inferenziali della letteratura possono utilizzare pesi di penalizzazione fondati teoricamente, cross-fitting o pacchetti dedicati alla doppia selezione.
library(glmnet)
X <- model.matrix(~ x1 + x2 + x3 + x4 + x5 - 1, data = dat)
fit_y <- cv.glmnet(X, dat$y, alpha = 1)
fit_d <- cv.glmnet(X, dat$d, alpha = 1)
sel_y <- which(as.vector(coef(fit_y, s = "lambda.min"))[-1] != 0)
sel_d <- which(as.vector(coef(fit_d, s = "lambda.min"))[-1] != 0)
keep <- sort(unique(c(sel_y, sel_d)))
final <- if (length(keep) == 0L) lm(dat$y ~ dat$d) else lm(dat$y ~ dat$d + X[, keep, drop = FALSE])
summary(final)Per applicazioni operative, verifica la corrispondenza delle variabili e la gestione dell'intercetta, esamina la stabilità della selezione del modello, usa errori standard appropriati robusti all'eteroschedasticità o per cluster e consulta un'implementazione validata sul piano inferenziale, anziché supporre che il codice illustrativo costituisca una prova della copertura asintotica.
Doppia selezione e regressione stepwise ordinaria a confronto
La regressione stepwise tradizionale seleziona le variabili attraverso test di significatività sequenziali o criteri di adattamento. La procedura trascura spesso il ruolo inferenziale specifico del coefficiente di trattamento di interesse e può produrre modelli selezionati instabili con p-value ingenui successivi alla selezione non validi. La doppia selezione si basa invece sulla logica del fattore di confondimento omesso: include controlli che prevedono il risultato o il trattamento e stima poi il parametro di interesse dopo avere formato l'unione delle variabili di aggiustamento selezionate.
Da ciò non deriva che ogni variabile scelta da un algoritmo di apprendimento automatico sia un controllo valido precedente al trattamento. La teoria economica e l'ordine temporale degli eventi determinano quali caratteristiche possano essere candidate. Se un'impresa risponde a un sussidio aumentando occupazione e salari, l'occupazione successiva al sussidio non dovrebbe essere controllata automaticamente nel misurare l'effetto totale del sussidio sui salari, anche se un algoritmo la considera un potente predittore.
Quando è utile suddividere il campione
Nel double machine learning, dividere il campione in partizioni impedisce che le previsioni ausiliarie per l'osservazione i siano stimate utilizzando il risultato di quella stessa osservazione. I residui del trattamento e del risultato di ciascuna partizione vengono costruiti con modelli ausiliari addestrati sulle altre partizioni. Il momento ortogonale che ne risulta riduce la sensibilità del primo ordine alla distorsione da regolarizzazione, sotto velocità di convergenza adeguate. Il cross-fitting può migliorare la robustezza al sovraadattamento, ma non può superare il mancato soddisfacimento dell'ignorabilità condizionata o l'assenza di sovrapposizione.
Se il trattamento è continuo, l'aspettativa condizionata mᴅ(X) è una funzione di regressione; per un trattamento binario è il propensity score, cioè la probabilità condizionata di trattamento. La stessa logica di rimozione delle componenti spiegate conduce a uno stimatore basato sui residui, ma la strategia di modellizzazione e l'inferenza devono essere coerenti con il tipo di trattamento e il disegno statistico.