Глокальный информационный бутылочное горлышко для восстановления временных рядов

Glocal Information Bottleneck for Time Series Imputation

October 6, 2025

Авторы: Jie Yang, Kexin Zhang, Guibin Zhang, Philip S. Yu, Kaize Ding

cs.AI

Аннотация

Восстановление временных рядов (Time Series Imputation, TSI), направленное на восстановление пропущенных значений во временных данных, остается фундаментальной задачей из-за сложного и часто высокого уровня пропусков в реальных сценариях. Существующие модели обычно оптимизируют потери при точечной реконструкции, сосредотачиваясь на восстановлении числовых значений (локальная информация). Однако мы наблюдаем, что при высоких уровнях пропусков эти модели по-прежнему хорошо работают на этапе обучения, но дают плохие результаты восстановления и искажают распределения латентных представлений (глобальная информация) на этапе вывода. Это раскрывает критическую дилемму оптимизации: текущие цели не учитывают глобальное руководство, что приводит к переобучению моделей на локальных шумах и неспособности улавливать глобальную информацию данных. Для решения этой проблемы мы предлагаем новую парадигму обучения — Глобально-локальный информационный бутылочный метод (Glocal Information Bottleneck, Glocal-IB). Glocal-IB является модель-независимым и расширяет стандартную структуру IB, вводя функцию потерь глобального выравнивания, основанную на вычислимом приближении взаимной информации. Эта функция потерь выравнивает латентные представления замаскированных входных данных с их изначально наблюдаемыми аналогами. Это помогает модели сохранять глобальную структуру и локальные детали, подавляя шумы, вызванные пропущенными значениями, что способствует лучшей обобщаемости при высоких уровнях пропусков. Многочисленные эксперименты на девяти наборах данных подтверждают, что Glocal-IB приводит к стабильно улучшенной производительности и выровненным латентным представлениям при наличии пропусков. Наша реализация кода доступна по адресу https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.

English

Time Series Imputation (TSI), which aims to recover missing values in temporal data, remains a fundamental challenge due to the complex and often high-rate missingness in real-world scenarios. Existing models typically optimize the point-wise reconstruction loss, focusing on recovering numerical values (local information). However, we observe that under high missing rates, these models still perform well in the training phase yet produce poor imputations and distorted latent representation distributions (global information) in the inference phase. This reveals a critical optimization dilemma: current objectives lack global guidance, leading models to overfit local noise and fail to capture global information of the data. To address this issue, we propose a new training paradigm, Glocal Information Bottleneck (Glocal-IB). Glocal-IB is model-agnostic and extends the standard IB framework by introducing a Global Alignment loss, derived from a tractable mutual information approximation. This loss aligns the latent representations of masked inputs with those of their originally observed counterparts. It helps the model retain global structure and local details while suppressing noise caused by missing values, giving rise to better generalization under high missingness. Extensive experiments on nine datasets confirm that Glocal-IB leads to consistently improved performance and aligned latent representations under missingness. Our code implementation is available in https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB.