43. Previsioni temporali e valutazione degli errori
L’insieme informativo del previsore
Una previsione formulata al tempo t deve utilizzare soltanto informazioni disponibili entro t. Questo include date di pubblicazione, ritardi di registrazione e versioni dei dati. Una variabile riferita al mese t può essere pubblicata nel mese t + 1 e non essere disponibile quando la previsione viene effettuata. Usare il valore definitivo rivisto mesi dopo può rendere la valutazione troppo ottimistica. L’orizzonte h e la data di origine devono essere registrati insieme a ogni previsione.
Il nowcasting stima un periodo corrente o appena concluso i cui dati non sono ancora completamente disponibili; il forecasting riguarda periodi futuri. Entrambi richiedono un calendario informativo coerente. Un modello può avere molti regressori, ma alla data di origine alcuni saranno mancanti per ritardo di pubblicazione. Il trattamento di questo ragged edge fa parte della procedura, non può essere risolto inserendo ex post informazioni non disponibili. La valutazione deve riprodurre il problema operativo reale.
Previsione puntuale e distributiva
Sotto perdita quadratica, la previsione puntuale ottimale è E(Yt+ₕ|It), dove It è l’informazione disponibile. Una previsione distributiva specifica l’intera distribuzione condizionata, permettendo quantili, probabilità di superare soglie e intervalli. Due modelli con la stessa media possono avere rischi molto diversi nelle code. La scelta della quantità da prevedere deve essere collegata alla decisione: inventario, liquidità e capacità produttiva possono richiedere quantili o probabilità, non soltanto una media.
La previsione puntuale non è una promessa del valore futuro. Anche un modello correttamente specificato lascia innovazioni non prevedibili. La distanza fra previsione e realizzazione non dimostra da sola che il modello fosse irrazionale o sbagliato; va confrontata con la distribuzione dell’errore e con benchmark. Un singolo errore piccolo non dimostra superiorità. La valutazione richiede una sequenza di origini previsive e un criterio fissato in modo coerente.
Previsioni iterate e dirette
Una previsione iterata stima un modello a un passo e lo applica ricorsivamente per raggiungere h passi. Può sfruttare una struttura dinamica parsimoniosa, ma propaga eventuali misspecificazioni del modello. Una previsione diretta stima un’equazione separata di Yt+ₕ sulle informazioni in t per ciascun h. Può essere più robusta a certe misspecificazioni, ma usa meno coppie osservabili per orizzonti lunghi e stima più parametri. Nessuna strategia domina universalmente.
Per un AR(1) correttamente specificato, l’iterazione usa la struttura geometrica e può essere efficiente. Se la dinamica vera è più complessa, una regressione diretta può approssimare meglio un particolare orizzonte. La scelta va valutata fuori campione, evitando di confrontare prestazioni ottenute su origini diverse senza chiarirlo. Orizzonti multipli generano errori sovrapposti e dipendenza che devono entrare nell’inferenza dei confronti.
Covariate future e scenari
Una regressione che prevede Yt+ₕ usando Xt+ₕ richiede una previsione anche di X oppure un valore futuro noto. Inserire la realizzazione effettiva di Xt+ₕ produce una previsione condizionata a informazione futura, diversa da quella operativa. Gli errori di previsione delle covariate possono aumentare l’incertezza dell’esito e devono essere propagati attraverso simulazione o un modello congiunto. Trattare le covariate previste come certe può rendere gli intervalli troppo stretti.
Uno scenario fissa intenzionalmente un percorso di X e calcola cosa prevede il modello sotto quel percorso. Non assegna automaticamente una probabilità allo scenario e non è necessariamente una previsione incondizionata. Se lo scenario è un intervento causale, occorrono inoltre parametri strutturali o ipotesi di invariabilità adeguate. Una proiezione condizionata «se X seguisse questo percorso» deve essere distinta dall’affermazione «X seguirà questo percorso».
Finestre espandenti e mobili
Una finestra espandente usa tutte le osservazioni disponibili fino a ogni origine. Può migliorare precisione quando il processo è stabile. Una finestra mobile usa soltanto un numero fisso di periodi recenti, riducendo il peso di regimi lontani ma aumentando la varianza della stima. La lunghezza della finestra è un iperparametro da scegliere senza contaminare il test finale. Una valutazione che decide ex post la finestra migliore sullo stesso periodo di test sovrastima la prestazione della procedura selezionata.
La valutazione rolling-origin produce previsioni ripetute: si stima fino a t, si prevede t + h, si sposta l’origine e si ripete. Trasformazioni, selezione dei ritardi e standardizzazioni devono essere ricalcolate usando soltanto il training di ciascuna origine. Una destagionalizzazione o un filtro stimato sull’intera serie può trasferire informazione futura anche se la regressione finale usa soltanto ritardi. Il controllo del leakage deve comprendere tutto il flusso analitico.
Benchmark previsivi
Un benchmark semplice è indispensabile per capire se la complessità aggiunge valore. Per una serie persistente, la previsione naive usa l’ultimo valore; per una serie stagionale, la seasonal naive usa l’ultimo valore della stessa stagione; per una serie con crescita stabile si può considerare un drift stimato nel training. La media storica è pertinente per alcune serie stazionarie. Il benchmark deve essere plausibile per il problema, non deliberatamente debole per favorire il modello proposto.
Superare un benchmark su un breve periodo non garantisce un vantaggio stabile. Il risultato può dipendere da pochi eventi o da un regime particolare. È utile esaminare prestazioni per orizzonte, sottoperiodo e scala dell’errore, mantenendo trasparente il numero dei confronti. Il riferimento R3 offre una trattazione operativa della previsione temporale e dei benchmark. Il criterio centrale rimane la prestazione su informazioni realisticamente disponibili, non la sofisticazione del nome del modello.
Metriche scalate e asimmetriche
RMSE e MAE sono espressi nell’unità dell’esito. Per confrontare serie di scale diverse, MASE divide l’errore assoluto medio di test per un errore naive medio calcolato nel training, con lag stagionale quando pertinente. Il denominatore deve essere positivo e definito: una serie costante può renderlo nullo. MAPE è problematico con zeri e valori piccoli e non deve essere applicato senza valutare supporto e significato delle percentuali.
Se sottostimare costa più che sovrastimare, una perdita asimmetrica può essere più appropriata. La pinball loss per un quantile τ è ρτ(e) = e[τ − 1(e < 0)], con e = y − q̂τ. Un quantile alto riduce il rischio di sottostima al costo di più sovrastima. La scelta di τ dovrebbe riflettere i costi marginali della decisione. Il modello migliore sotto RMSE può non essere quello economicamente preferibile sotto una perdita asimmetrica.
Confronto di accuratezza e test diebold–mariano
Per due modelli A e B, si definisce dt = L(eA,t) − L(eB,t). La nulla di uguale accuratezza media è E(dt) = 0. Una statistica di Diebold–Mariano standardizza la media dei differenziali attraverso una stima della sua varianza di lungo periodo. Con errori previsivi sovrapposti o altra dipendenza, non basta la varianza campionaria i.i.d. di dt. L’orizzonte e il procedimento di stima influenzano la struttura temporale del confronto.
L’approssimazione può essere scadente con poche previsioni, forte dipendenza o modelli annidati, per i quali la differenza di perdita può avere un comportamento particolare sotto la nulla. Esistono correzioni e test specifici, ma non è corretto applicare una formula universale a ogni confronto. Un non rifiuto non dimostra che i modelli siano equivalenti: può mancare potenza. La grandezza della differenza di errore e la sua rilevanza economica vanno riportate insieme all’incertezza.
Calibrazione delle previsioni
Una verifica descrittiva di calibrazione può regredire l’esito realizzato sulla previsione e testare intercetta zero e pendenza uno, con covarianza coerente con la dipendenza. La regressione di Mincer–Zarnowitz valuta certe implicazioni della previsione, ma non esaurisce ogni forma di efficienza rispetto all’informazione disponibile. Parametri stimati, orizzonti sovrapposti e selezione dei modelli possono influire sulla distribuzione del test. Una pendenza diversa da uno può indicare previsioni troppo variabili o troppo compresse, nel contesto del confronto.
Si può anche verificare se gli errori siano prevedibili attraverso informazioni note all’origine. Se una variabile disponibile spiega sistematicamente l’errore, il modello potrebbe non utilizzare pienamente l’informazione pertinente. Il test deve evitare di usare variabili note soltanto dopo la previsione. L’efficienza è sempre relativa a un insieme informativo e a una funzione di perdita. Non esiste una verifica che certifichi in generale la migliore previsione possibile rispetto a ogni informazione concepibile.
Intervalli previsivi e copertura
Un intervallo al 90% dovrebbe contenere la realizzazione con frequenza coerente con il livello nel quadro probabilistico specificato. La copertura marginale complessiva può nascondere problemi: il modello potrebbe coprire troppo nei periodi tranquilli e troppo poco in quelli turbolenti. Ampiezza e copertura vanno valutate insieme, perché intervalli enormi possono coprire bene senza essere utili. La valutazione di intervalli usa criteri che penalizzano sia larghezza sia mancate coperture, con pesi coerenti con il livello.
Gli intervalli devono includere innovazioni future e, quando rilevante, incertezza dei parametri e delle covariate. Una fan chart visualizza quantili diversi, non percorsi equiprobabili del futuro. Per variabili positive o logaritmiche, gli intervalli possono essere asimmetrici dopo ritrasformazione. La copertura di ogni singolo orizzonte non coincide con la probabilità che l’intera traiettoria rimanga contemporaneamente entro le bande. Questa distinzione è importante quando si pianifica su molti periodi.
Valutazione delle densità
Una previsione distributiva può essere valutata con log score o altri punteggi propri, che incentivano probabilità ben calibrate rispetto alla distribuzione vera nel quadro atteso. Il probability integral transform usa F̂t(Yt) per esiti continui: sotto una distribuzione condizionata corretta, questi valori hanno proprietà uniformi e, con condizioni informative appropriate, assenza di dipendenza prevedibile. Deviazioni possono segnalare bias, dispersione sbagliata o code mal rappresentate. Per esiti discreti occorrono adattamenti, non la stessa uniforme continua applicata meccanicamente.
Un modello può prevedere bene la media e male le code, oppure avere intervalli ben calibrati ma una media non ottimale per una perdita specifica. La valutazione dovrebbe riflettere l’uso: probabilità di carenza, superamento di limiti o esiti estremi richiedono attenzione alle regioni pertinenti della distribuzione. Se gli eventi estremi sono rari, la loro valutazione è necessariamente incerta. Molte simulazioni generate dal modello non sostituiscono molte realizzazioni indipendenti di eventi rari.
Combinare previsioni e gestire cambiamenti
Una combinazione semplice di previsioni può ridurre la variabilità dovuta alla scelta del modello, soprattutto quando gli errori non sono perfettamente correlati. Pesi stimati possono migliorare l’adattamento ma anche sovra-adattarsi a un periodo breve; una media semplice è un benchmark utile. La combinazione non elimina un bias condiviso da tutti i modelli né protegge automaticamente da un cambiamento strutturale. Diversità reale delle fonti informative conta più del numero di modelli quasi identici.
La prestazione dovrebbe essere monitorata con regole definite, distinguendo rumore ordinario e deterioramento persistente. Ristimare continuamente in risposta a ogni errore può introdurre instabilità; non aggiornare dopo un cambiamento può rendere il modello obsoleto. Il compromesso può essere studiato attraverso validazione temporale. Un’analisi riproducibile conserva previsioni formulate, versioni dei dati e decisioni di aggiornamento, evitando di sostituire retroattivamente le previsioni sbagliate con quelle ottenute usando informazione successiva.
Esercizio svolto: benchmark e perdita
In quattro origini, il modello A ha errori 2, −2, 2, −2 e il benchmark errori 1, −1, 4, −4. Il MSE di A è quattro; quello del benchmark è 8,5. Il rapporto è 4/8,5 ≈ 0,4706 e la riduzione relativa del MSE è circa 52,94%. Questo è un risultato descrittivo su quattro errori, non una prova di superiorità generale. Per inferenza servono una sequenza più informativa, la dipendenza dei differenziali e un confronto pianificato. La grandezza percentuale può sembrare notevole anche quando il campione di valutazione è troppo piccolo per una conclusione stabile.