Globaal-Lokaal Informatie Bottleneck voor Tijdreeksimputatie

Glocal Information Bottleneck for Time Series Imputation

October 6, 2025

Auteurs: Jie Yang, Kexin Zhang, Guibin Zhang, Philip S. Yu, Kaize Ding

cs.AI

Samenvatting

Time Series Imputation (TSI), dat als doel heeft ontbrekende waarden in temporele data te herstellen, blijft een fundamentele uitdaging vanwege de complexe en vaak hoge mate van ontbrekende waarden in realistische scenario's. Bestaande modellen optimaliseren doorgaans het puntgewijze reconstructieverlies, waarbij de focus ligt op het herstellen van numerieke waarden (lokale informatie). We observeren echter dat bij hoge ontbrekingspercentages deze modellen nog steeds goed presteren tijdens de trainingsfase, maar slechte imputaties en vervormde latente representatiedistributies (globale informatie) produceren in de inferentiefase. Dit onthult een kritisch optimalisatiedilemma: huidige doelstellingen missen globale begeleiding, waardoor modellen overfit raken op lokaal lawaai en er niet in slagen om globale informatie van de data vast te leggen. Om dit probleem aan te pakken, stellen we een nieuw trainingsparadigma voor, het Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostisch en breidt het standaard IB-raamwerk uit door een Global Alignment-verlies te introduceren, afgeleid van een behandelbare benadering van wederzijdse informatie. Dit verlies brengt de latente representaties van gemaskeerde invoeren in overeenstemming met die van hun oorspronkelijk waargenomen tegenhangers. Het helpt het model om globale structuur en lokale details te behouden terwijl het lawaai veroorzaakt door ontbrekende waarden onderdrukt, wat leidt tot betere generalisatie bij hoge ontbrekingspercentages. Uitgebreide experimenten op negen datasets bevestigen dat Glocal-IB leidt tot consistent verbeterde prestaties en uitgelijnde latente representaties bij ontbrekende waarden. Onze code-implementatie is beschikbaar op https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.

English

Time Series Imputation (TSI), which aims to recover missing values in temporal data, remains a fundamental challenge due to the complex and often high-rate missingness in real-world scenarios. Existing models typically optimize the point-wise reconstruction loss, focusing on recovering numerical values (local information). However, we observe that under high missing rates, these models still perform well in the training phase yet produce poor imputations and distorted latent representation distributions (global information) in the inference phase. This reveals a critical optimization dilemma: current objectives lack global guidance, leading models to overfit local noise and fail to capture global information of the data. To address this issue, we propose a new training paradigm, Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostic and extends the standard IB framework by introducing a Global Alignment loss, derived from a tractable mutual information approximation. This loss aligns the latent representations of masked inputs with those of their originally observed counterparts. It helps the model retain global structure and local details while suppressing noise caused by missing values, giving rise to better generalization under high missingness. Extensive experiments on nine datasets confirm that Glocal-IB leads to consistently improved performance and aligned latent representations under missingness. Our code implementation is available in https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.