Econometria.

Prevedere un esito non osservato

La previsione mira a produrre una stima utile di un esito nuovo, utilizzando informazioni disponibili al momento della decisione. Il criterio di successo è la qualità fuori campione, non l’adattamento ai dati già usati per stimare. Una variabile può essere fortemente associata all’esito ma non disponibile in tempo utile; includerla produrrebbe una previsione irrealizzabile. Per esempio, usare il saldo finale di un contratto per prevederne l’insolvenza al momento della stipula introduce informazione futura. La definizione dell’insieme informativo è parte del problema econometrico.

La previsione non richiede sempre identificazione causale, ma richiede stabilità sufficiente del rapporto fra dati di stima e contesto di utilizzo. Un modello può sfruttare correlazioni senza interpretarle come effetti di interventi. Se però la decisione modifica il processo che genera i dati, una relazione puramente predittiva può non essere trasportabile. Prevedere vendite al prezzo osservato e valutare cosa accadrebbe fissando un prezzo diverso sono domande differenti. La seconda richiede anche un ragionamento sul comportamento economico e sull’endogeneità del prezzo.

Funzione di perdita e previsione ottimale

Sotto perdita quadratica, la previsione ottimale è la media condizionata; sotto perdita assoluta è una mediana condizionata. Perdite asimmetriche conducono a quantili diversi dalla mediana. Se esaurire le scorte costa molto più che mantenerne alcune in eccesso, un quantile alto della domanda può essere più pertinente della media. La funzione di perdita dovrebbe riflettere il costo economico degli errori. Scegliere automaticamente RMSE perché è disponibile nel software può ottimizzare una metrica diversa da quella che conta nella decisione.

Il rischio predittivo è E[L(Ynuovo, f̂(Xnuovo))], dove l’aspettativa considera nuovi dati e, quando pertinente, la variabilità della stima. L’errore di addestramento valuta invece gli stessi dati usati per costruire f̂ e tende a essere ottimistico, soprattutto con modelli flessibili. Aggiungere regressori riduce o mantiene RSS nel campione, ma può aumentare l’errore futuro adattandosi al rumore. Questo è il fenomeno di overfitting. La complessità va valutata attraverso un procedimento che simuli il più possibile l’utilizzo reale.

Training, validation e test

Il training set serve a stimare i parametri. Il validation set serve a scegliere complessità, iperparametri o specificazioni. Il test set viene riservato alla valutazione finale di una procedura già scelta. Se il test set viene consultato ripetutamente per modificare il modello, smette di essere un controllo indipendente e diventa parte della selezione. Il confine fra i tre ruoli deve essere mantenuto lungo l’intera analisi, non soltanto dichiarato in un paragrafo metodologico.

Tutte le trasformazioni apprese dai dati devono rispettare la separazione. Medie e deviazioni standard usate per standardizzare, imputazioni, selezione delle variabili, riduzione dimensionale e scelta dei nodi devono essere stimati nel training e applicati agli altri insiemi. Calcolarli sull’intero campione prima della divisione può introdurre data leakage, cioè trasferimento di informazione dal campione di valutazione alla procedura di stima. Il problema può essere sottile anche quando non si usa direttamente l’esito futuro.

Validazione incrociata

Nella K-fold cross-validation, il campione viene diviso in K parti; a turno una parte è usata per validare e le altre per stimare. Si aggregano le perdite fuori campione ottenute nei K turni. La procedura permette di usare efficacemente dati limitati, ma la divisione deve rispettare dipendenza e obiettivo. Per valutare previsioni su nuove imprese, le osservazioni della stessa impresa dovrebbero rimanere nello stesso gruppo di divisione. Distribuire anni della medesima impresa fra training e test può misurare un problema diverso, relativo a unità già conosciute.

La validazione annidata separa la scelta degli iperparametri dalla valutazione esterna: un ciclo interno sceglie il modello e un ciclo esterno ne valuta la prestazione. È utile quando molte alternative vengono confrontate. Le medesime trasformazioni devono essere ripetute all’interno di ciascun training fold, non apprese una volta sull’intero dataset. Il costo computazionale aumenta, ma si evita di presentare come prestazione finale la migliore fra molte valutazioni già utilizzate per scegliere. La selezione è parte dell’algoritmo che deve essere validato.

Dati temporali e origine mobile

Nelle serie storiche, una divisione casuale può consentire al modello di usare il futuro per prevedere il passato. La valutazione dovrebbe rispettare l’ordine temporale, con finestre di addestramento che terminano prima delle osservazioni previste. Nell’origine mobile si stima usando le informazioni disponibili fino a una data, si prevede uno o più passi avanti e si sposta l’origine. Finestre espandenti utilizzano tutta la storia disponibile; finestre mobili mantengono una lunghezza fissa e possono adattarsi meglio a cambiamenti strutturali, al costo di meno informazione.

Se l’esito usa intervalli sovrapposti, come un rendimento a dodici mesi calcolato ogni mese, può essere necessario separare training e test con un intervallo adeguato per evitare sovrapposizioni informative. Anche le revisioni dei dati macroeconomici contano: una valutazione realistica dovrebbe usare, quando possibile, le informazioni effettivamente disponibili alla data della previsione. Usare dati rivisti successivamente può sovrastimare la prestazione operativa. Il riferimento R3 approfondisce la logica della valutazione temporale e dei benchmark previsivi.

Metriche di errore

L’errore quadratico medio è MSE = ntest^-1∑e_i² e RMSE è la sua radice. RMSE è espresso nell’unità dell’esito e penalizza molto gli errori grandi. MAE = ntest^-1∑|e_i| è meno sensibile agli estremi e corrisponde a una perdita assoluta. La scelta dipende dal costo degli errori e dalla distribuzione. Un modello può avere MAE inferiore e RMSE superiore a un altro se produce raramente errori molto grandi. Non esiste contraddizione: le metriche attribuiscono pesi diversi alle code.

MAPE usa errori percentuali assoluti e può essere indefinito o instabile quando gli esiti sono zero o vicini a zero. Inoltre penalizza in modo asimmetrico certi confronti di scala. Metriche scalate rispetto a un benchmark, come MASE nelle serie storiche, permettono confronti più interpretabili in alcuni contesti. Qualunque metrica deve specificare denominatore, campione e trattamento dei valori problematici. Un R² fuori campione può essere negativo quando il modello prevede peggio del benchmark usato nel denominatore: non è limitato fra zero e uno come il consueto R² di addestramento con intercetta.

AIC, BIC e modelli confrontabili

AIC = −2ℓ̂ + 2p e BIC = −2ℓ̂ + p ln(n), dove ℓ̂ è la log-verosimiglianza massimizzata e p il numero dei parametri stimati pertinenti, compresi eventuali parametri di scala. Valori inferiori indicano il modello preferito secondo il criterio, fra quelli confrontati. AIC e BIC hanno motivazioni teoriche diverse e possono scegliere complessità differenti. Il confronto richiede che le verosimiglianze si riferiscano allo stesso esito, alle stesse osservazioni e a densità definite in modo coerente.

Con errori normali e varianza stimata, AIC può essere espresso, a meno di costanti comuni, tramite nln(RSS/n) più una penalità per il numero di parametri. Confrontare una regressione di Y con una di ln(Y) attraverso log-verosimiglianze non corrette per il cambiamento di variabile è scorretto: la densità deve essere riferita alla stessa scala e includere il Jacobiano pertinente. Confrontare modelli su campioni diversi può premiare semplicemente un insieme di osservazioni più facile. I criteri non sostituiscono né validazione fuori campione né identificazione causale.

Intervalli per media e nuova osservazione

Nel modello lineare classico, la previsione della media in x₀ è ŷ₀ = x₀′β̂ e la sua varianza stimata è s²x₀′(X′X)^-1x₀. Per una nuova osservazione indipendente con la stessa varianza dell’errore, la varianza dell’errore di previsione è s²[1 + x₀′(X′X)^-1x₀]. Il termine uno rappresenta il rumore individuale futuro. La distanza di x₀ dal supporto osservato può aumentare l’incertezza parametrica, ma la formula non rappresenta necessariamente tutta l’incertezza da extrapolazione o da misspecificazione della forma funzionale.

Con eteroschedasticità, l’incertezza della media può usare x₀′V̂robustx₀, ma per l’osservazione futura occorre anche una stima di Var(u₀|x₀). Una covarianza robusta dei coefficienti non basta a costruire automaticamente un intervallo predittivo valido. Analogamente, nei modelli logaritmici occorre gestire ritrasformazione e asimmetria. La copertura va valutata empiricamente su dati non usati per calibrare l’intervallo, distinguendo ampiezza, frequenza di copertura e differenze fra sottogruppi.

Introduzione alla previsione conformale

La previsione conformale costruisce insiemi predittivi usando una misura di errore su dati di calibrazione. Nella versione split conformal per regressione, si stima f̂ su un training separato e si calcolano residui assoluti su m osservazioni di calibrazione. Un quantile opportunamente corretto di tali residui determina un intervallo f̂(x) ± q. Sotto scambiabilità delle osservazioni e con la separazione prevista, si ottiene una garanzia di copertura marginale in campioni finiti senza imporre una forma parametrica della distribuzione dell’esito. Il riferimento R12 illustra il metodo e le sue condizioni.

La garanzia marginale non significa copertura esatta per ogni valore di x o per ogni sottogruppo. Inoltre, la scambiabilità può fallire in serie storiche, dati dipendenti o cambiamenti di distribuzione; servono estensioni e ipotesi specifiche. Usare il campione di calibrazione per scegliere ripetutamente il modello può compromettere la garanzia della procedura semplice. La previsione conformale quantifica incertezza predittiva, non identifica effetti causali. Il suo interesse sta nel collegare un algoritmo di previsione a una regola esplicita di copertura, mantenendone visibili i limiti.

Esercizio svolto: due modelli, due criteri

Su quattro osservazioni di test, il modello A ha errori 1, −1, 1, −1; il modello B ha errori 0, 0, 0, 3. Per A, MAE = 1 e RMSE = 1. Per B, MAE = 0,75 e RMSE = √(9/4) = 1,5. B è preferibile sotto perdita assoluta media, A sotto perdita quadratica. Se l’errore di tre unità comporta un costo molto elevato, RMSE può rappresentare meglio la decisione; se contano costi lineari e simmetrici, MAE può essere più pertinente. La scelta non può essere risolta dichiarando una metrica universalmente superiore senza specificare l’obiettivo economico.