Gargalo de Informação Glocal para Imputação de Séries Temporais

Glocal Information Bottleneck for Time Series Imputation

October 6, 2025

Autores: Jie Yang, Kexin Zhang, Guibin Zhang, Philip S. Yu, Kaize Ding

cs.AI

Resumo

A Imputação de Séries Temporais (TSI), que visa recuperar valores ausentes em dados temporais, continua sendo um desafio fundamental devido à complexidade e à alta taxa de valores ausentes em cenários do mundo real. Os modelos existentes normalmente otimizam a perda de reconstrução ponto a ponto, focando na recuperação de valores numéricos (informação local). No entanto, observamos que, sob altas taxas de valores ausentes, esses modelos ainda apresentam bom desempenho na fase de treinamento, mas produzem imputações ruins e distribuições distorcidas de representações latentes (informação global) na fase de inferência. Isso revela um dilema crítico de otimização: os objetivos atuais carecem de orientação global, levando os modelos a se ajustarem excessivamente ao ruído local e a falharem em capturar a informação global dos dados. Para resolver esse problema, propomos um novo paradigma de treinamento, o Global Information Bottleneck (Glocal-IB). O Glocal-IB é independente de modelo e estende o framework padrão de IB ao introduzir uma perda de Alinhamento Global, derivada de uma aproximação tratável de informação mútua. Essa perda alinha as representações latentes de entradas mascaradas com as de suas contrapartes originalmente observadas. Isso ajuda o modelo a reter a estrutura global e os detalhes locais, enquanto suprime o ruído causado pelos valores ausentes, resultando em uma melhor generalização sob altas taxas de valores ausentes. Experimentos extensivos em nove conjuntos de dados confirmam que o Glocal-IB leva a um desempenho consistentemente melhorado e a representações latentes alinhadas sob valores ausentes. Nossa implementação de código está disponível em https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.

English

Time Series Imputation (TSI), which aims to recover missing values in temporal data, remains a fundamental challenge due to the complex and often high-rate missingness in real-world scenarios. Existing models typically optimize the point-wise reconstruction loss, focusing on recovering numerical values (local information). However, we observe that under high missing rates, these models still perform well in the training phase yet produce poor imputations and distorted latent representation distributions (global information) in the inference phase. This reveals a critical optimization dilemma: current objectives lack global guidance, leading models to overfit local noise and fail to capture global information of the data. To address this issue, we propose a new training paradigm, Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostic and extends the standard IB framework by introducing a Global Alignment loss, derived from a tractable mutual information approximation. This loss aligns the latent representations of masked inputs with those of their originally observed counterparts. It helps the model retain global structure and local details while suppressing noise caused by missing values, giving rise to better generalization under high missingness. Extensive experiments on nine datasets confirm that Glocal-IB leads to consistently improved performance and aligned latent representations under missingness. Our code implementation is available in https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.