Bottleneck dell'Informazione Glocale per l'Imputazione di Serie Temporali

Glocal Information Bottleneck for Time Series Imputation

October 6, 2025

Autori: Jie Yang, Kexin Zhang, Guibin Zhang, Philip S. Yu, Kaize Ding

cs.AI

Abstract

L'imputazione di serie temporali (Time Series Imputation, TSI), che mira a recuperare i valori mancanti nei dati temporali, rimane una sfida fondamentale a causa della complessità e dell'elevata frequenza di dati mancanti negli scenari reali. I modelli esistenti ottimizzano tipicamente la perdita di ricostruzione punto per punto, concentrandosi sul recupero di valori numerici (informazioni locali). Tuttavia, osserviamo che, in presenza di alti tassi di dati mancanti, questi modelli continuano a performare bene durante la fase di addestramento, ma producono imputazioni scarse e distribuzioni distorte delle rappresentazioni latenti (informazioni globali) nella fase di inferenza. Ciò rivela un dilemma critico di ottimizzazione: gli obiettivi attuali mancano di una guida globale, portando i modelli a sovradattarsi al rumore locale e a non catturare le informazioni globali dei dati. Per affrontare questo problema, proponiamo un nuovo paradigma di addestramento, il Global Information Bottleneck (Glocal-IB). Glocal-IB è indipendente dal modello e estende il framework IB standard introducendo una perdita di Allineamento Globale, derivata da un'approssimazione trattabile dell'informazione mutua. Questa perdita allinea le rappresentazioni latenti degli input mascherati con quelle delle loro controparti originariamente osservate. Aiuta il modello a mantenere la struttura globale e i dettagli locali, sopprimendo al contempo il rumore causato dai valori mancanti, portando a una migliore generalizzazione in presenza di alti tassi di dati mancanti. Esperimenti estesi su nove dataset confermano che Glocal-IB porta a un miglioramento consistente delle prestazioni e a rappresentazioni latenti allineate in presenza di dati mancanti. La nostra implementazione del codice è disponibile su https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.

English

Time Series Imputation (TSI), which aims to recover missing values in temporal data, remains a fundamental challenge due to the complex and often high-rate missingness in real-world scenarios. Existing models typically optimize the point-wise reconstruction loss, focusing on recovering numerical values (local information). However, we observe that under high missing rates, these models still perform well in the training phase yet produce poor imputations and distorted latent representation distributions (global information) in the inference phase. This reveals a critical optimization dilemma: current objectives lack global guidance, leading models to overfit local noise and fail to capture global information of the data. To address this issue, we propose a new training paradigm, Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostic and extends the standard IB framework by introducing a Global Alignment loss, derived from a tractable mutual information approximation. This loss aligns the latent representations of masked inputs with those of their originally observed counterparts. It helps the model retain global structure and local details while suppressing noise caused by missing values, giving rise to better generalization under high missingness. Extensive experiments on nine datasets confirm that Glocal-IB leads to consistently improved performance and aligned latent representations under missingness. Our code implementation is available in https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.