Cuello de Botella de Información Glocal para la Imputación de Series Temporales

Glocal Information Bottleneck for Time Series Imputation

October 6, 2025

Autores: Jie Yang, Kexin Zhang, Guibin Zhang, Philip S. Yu, Kaize Ding

cs.AI

Resumen

La Imputación de Series Temporales (TSI, por sus siglas en inglés), que tiene como objetivo recuperar valores faltantes en datos temporales, sigue siendo un desafío fundamental debido a la complejidad y a menudo a las altas tasas de valores faltantes en escenarios del mundo real. Los modelos existentes suelen optimizar la pérdida de reconstrucción punto por punto, centrándose en recuperar valores numéricos (información local). Sin embargo, observamos que, bajo tasas altas de valores faltantes, estos modelos aún funcionan bien en la fase de entrenamiento, pero producen imputaciones deficientes y distribuciones distorsionadas de representaciones latentes (información global) en la fase de inferencia. Esto revela un dilema crítico de optimización: los objetivos actuales carecen de orientación global, lo que lleva a los modelos a sobreajustarse al ruido local y a no capturar la información global de los datos. Para abordar este problema, proponemos un nuevo paradigma de entrenamiento, el Cuello de Botella de Información Glocal (Glocal-IB, por sus siglas en inglés). Glocal-IB es independiente del modelo y extiende el marco estándar de IB mediante la introducción de una pérdida de Alineación Global, derivada de una aproximación manejable de la información mutua. Esta pérdida alinea las representaciones latentes de las entradas enmascaradas con las de sus contrapartes originalmente observadas. Ayuda al modelo a retener la estructura global y los detalles locales mientras suprime el ruido causado por los valores faltantes, lo que da lugar a una mejor generalización bajo altas tasas de valores faltantes. Experimentos exhaustivos en nueve conjuntos de datos confirman que Glocal-IB conduce a un rendimiento consistentemente mejorado y a representaciones latentes alineadas en presencia de valores faltantes. Nuestra implementación de código está disponible en https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.

English

Time Series Imputation (TSI), which aims to recover missing values in temporal data, remains a fundamental challenge due to the complex and often high-rate missingness in real-world scenarios. Existing models typically optimize the point-wise reconstruction loss, focusing on recovering numerical values (local information). However, we observe that under high missing rates, these models still perform well in the training phase yet produce poor imputations and distorted latent representation distributions (global information) in the inference phase. This reveals a critical optimization dilemma: current objectives lack global guidance, leading models to overfit local noise and fail to capture global information of the data. To address this issue, we propose a new training paradigm, Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostic and extends the standard IB framework by introducing a Global Alignment loss, derived from a tractable mutual information approximation. This loss aligns the latent representations of masked inputs with those of their originally observed counterparts. It helps the model retain global structure and local details while suppressing noise caused by missing values, giving rise to better generalization under high missingness. Extensive experiments on nine datasets confirm that Glocal-IB leads to consistently improved performance and aligned latent representations under missingness. Our code implementation is available in https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.