Glokaler Informationsengpass für die Imputation von Zeitreihen

Glocal Information Bottleneck for Time Series Imputation

October 6, 2025

papers.authors: Jie Yang, Kexin Zhang, Guibin Zhang, Philip S. Yu, Kaize Ding

cs.AI

papers.abstract

Zeitreihenimputation (Time Series Imputation, TSI), die darauf abzielt, fehlende Werte in zeitlichen Daten wiederherzustellen, bleibt aufgrund der komplexen und oft hohen Fehlraten in realen Szenarien eine grundlegende Herausforderung. Bestehende Modelle optimieren typischerweise den punktweisen Rekonstruktionsverlust, wobei der Schwerpunkt auf der Wiederherstellung numerischer Werte (lokale Informationen) liegt. Wir beobachten jedoch, dass diese Modelle bei hohen Fehlraten in der Trainingsphase zwar weiterhin gut abschneiden, in der Inferenzphase jedoch schlechte Imputationen und verzerrte Verteilungen latenter Repräsentationen (globale Informationen) erzeugen. Dies offenbart ein kritisches Optimierungsdilemma: Die aktuellen Ziele fehlen globaler Führung, was dazu führt, dass Modelle lokales Rauschen überanpassen und globale Informationen der Daten nicht erfassen. Um dieses Problem zu lösen, schlagen wir ein neues Trainingsparadigma vor, den Glocal Information Bottleneck (Glocal-IB). Glocal-IB ist modellagnostisch und erweitert das Standard-IB-Framework durch die Einführung eines Global Alignment Loss, der aus einer handhabbaren Approximation der gegenseitigen Information abgeleitet wird. Dieser Verlust richtet die latenten Repräsentationen maskierter Eingaben an denen ihrer ursprünglich beobachteten Gegenstücke aus. Es hilft dem Modell, globale Struktur und lokale Details beizubehalten, während Rauschen durch fehlende Werte unterdrückt wird, was zu einer besseren Generalisierung bei hohen Fehlraten führt. Umfangreiche Experimente auf neun Datensätzen bestätigen, dass Glocal-IB zu einer konsistent verbesserten Leistung und ausgerichteten latenten Repräsentationen bei Fehlraten führt. Unsere Code-Implementierung ist verfügbar unter https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.

English

Time Series Imputation (TSI), which aims to recover missing values in temporal data, remains a fundamental challenge due to the complex and often high-rate missingness in real-world scenarios. Existing models typically optimize the point-wise reconstruction loss, focusing on recovering numerical values (local information). However, we observe that under high missing rates, these models still perform well in the training phase yet produce poor imputations and distorted latent representation distributions (global information) in the inference phase. This reveals a critical optimization dilemma: current objectives lack global guidance, leading models to overfit local noise and fail to capture global information of the data. To address this issue, we propose a new training paradigm, Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostic and extends the standard IB framework by introducing a Global Alignment loss, derived from a tractable mutual information approximation. This loss aligns the latent representations of masked inputs with those of their originally observed counterparts. It helps the model retain global structure and local details while suppressing noise caused by missing values, giving rise to better generalization under high missingness. Extensive experiments on nine datasets confirm that Glocal-IB leads to consistently improved performance and aligned latent representations under missingness. Our code implementation is available in https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.