時系列データ補完のためのグローカル情報ボトルネック

Glocal Information Bottleneck for Time Series Imputation

October 6, 2025

著者: Jie Yang, Kexin Zhang, Guibin Zhang, Philip S. Yu, Kaize Ding

cs.AI

要旨

時系列データの欠損値補完（Time Series Imputation, TSI）は、現実世界のシナリオにおいて複雑でしばしば高頻度に発生する欠損のため、依然として根本的な課題となっています。既存のモデルは通常、点ごとの再構成誤差を最適化し、数値的な値（ローカル情報）の回復に焦点を当てています。しかし、高欠損率の下では、これらのモデルは学習フェーズでは良好な性能を示すものの、推論フェーズでは不十分な補完結果と歪んだ潜在表現分布（グローバル情報）を生成することが観察されています。これは、現在の目的関数がグローバルなガイダンスを欠いており、モデルがローカルなノイズに過剰適合し、データのグローバル情報を捉えられないという重大な最適化ジレンマを明らかにしています。 この問題に対処するため、我々は新しい学習パラダイムであるGlocal Information Bottleneck（Glocal-IB）を提案します。Glocal-IBはモデルに依存せず、標準的なIBフレームワークを拡張し、扱いやすい相互情報量近似から導出されたGlobal Alignment損失を導入します。この損失は、マスクされた入力の潜在表現を、元の観測された対応物の潜在表現と整合させることで、モデルがグローバルな構造とローカルな詳細を保持しつつ、欠損値によるノイズを抑制することを可能にし、高欠損率下での汎化性能を向上させます。9つのデータセットを用いた広範な実験により、Glocal-IBが欠損下での一貫した性能向上と整合した潜在表現をもたらすことが確認されました。我々のコード実装はhttps://github.com/Muyiiiii/NeurIPS-25-Glocal-IBで公開されています。

English

Time Series Imputation (TSI), which aims to recover missing values in temporal data, remains a fundamental challenge due to the complex and often high-rate missingness in real-world scenarios. Existing models typically optimize the point-wise reconstruction loss, focusing on recovering numerical values (local information). However, we observe that under high missing rates, these models still perform well in the training phase yet produce poor imputations and distorted latent representation distributions (global information) in the inference phase. This reveals a critical optimization dilemma: current objectives lack global guidance, leading models to overfit local noise and fail to capture global information of the data. To address this issue, we propose a new training paradigm, Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostic and extends the standard IB framework by introducing a Global Alignment loss, derived from a tractable mutual information approximation. This loss aligns the latent representations of masked inputs with those of their originally observed counterparts. It helps the model retain global structure and local details while suppressing noise caused by missing values, giving rise to better generalization under high missingness. Extensive experiments on nine datasets confirm that Glocal-IB leads to consistently improved performance and aligned latent representations under missingness. Our code implementation is available in https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.