Bottleneck d'Information Glocal pour l'Imputation de Séries Temporelles

Glocal Information Bottleneck for Time Series Imputation

October 6, 2025

papers.authors: Jie Yang, Kexin Zhang, Guibin Zhang, Philip S. Yu, Kaize Ding

cs.AI

papers.abstract

L'imputation de séries temporelles (Time Series Imputation, TSI), qui vise à reconstituer les valeurs manquantes dans les données temporelles, reste un défi fondamental en raison de la complexité et du taux souvent élevé de valeurs manquantes dans les scénarios réels. Les modèles existants optimisent généralement la perte de reconstruction point par point, en se concentrant sur la récupération des valeurs numériques (informations locales). Cependant, nous observons que sous des taux de valeurs manquantes élevés, ces modèles continuent de bien performer pendant la phase d'entraînement, mais produisent des imputations médiocres et des distributions de représentations latentes déformées (informations globales) lors de la phase d'inférence. Cela révèle un dilemme d'optimisation critique : les objectifs actuels manquent de guidance globale, conduisant les modèles à sur-apprendre le bruit local et à échouer à capturer les informations globales des données. Pour résoudre ce problème, nous proposons un nouveau paradigme d'entraînement, le Glocal Information Bottleneck (Glocal-IB). Glocal-IB est indépendant du modèle et étend le cadre standard de l'IB en introduisant une perte d'alignement global, dérivée d'une approximation tractable de l'information mutuelle. Cette perte aligne les représentations latentes des entrées masquées avec celles de leurs contreparties originales observées. Elle aide le modèle à conserver la structure globale et les détails locaux tout en supprimant le bruit causé par les valeurs manquantes, favorisant ainsi une meilleure généralisation sous des taux de valeurs manquantes élevés. Des expériences approfondies sur neuf ensembles de données confirment que Glocal-IB conduit à une amélioration constante des performances et à des représentations latentes alignées en présence de valeurs manquantes. Notre implémentation de code est disponible sur https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.

English

Time Series Imputation (TSI), which aims to recover missing values in temporal data, remains a fundamental challenge due to the complex and often high-rate missingness in real-world scenarios. Existing models typically optimize the point-wise reconstruction loss, focusing on recovering numerical values (local information). However, we observe that under high missing rates, these models still perform well in the training phase yet produce poor imputations and distorted latent representation distributions (global information) in the inference phase. This reveals a critical optimization dilemma: current objectives lack global guidance, leading models to overfit local noise and fail to capture global information of the data. To address this issue, we propose a new training paradigm, Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostic and extends the standard IB framework by introducing a Global Alignment loss, derived from a tractable mutual information approximation. This loss aligns the latent representations of masked inputs with those of their originally observed counterparts. It helps the model retain global structure and local details while suppressing noise caused by missing values, giving rise to better generalization under high missingness. Extensive experiments on nine datasets confirm that Glocal-IB leads to consistently improved performance and aligned latent representations under missingness. Our code implementation is available in https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.