Удивленные вниманием: предсказуемая динамика запросов для обнаружения аномалий во временных рядах

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

March 13, 2026

Авторы: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler

cs.AI

Аннотация

Аномалии в многомерных временных рядах часто проявляются как изменения в межканальных зависимостях, а не как простые отклонения амплитуды. Например, в автономном вождении команда рулевого управления может быть внутренне согласованной, но рассогласованной с результирующим боковым ускорением. Остаточные детекторы могут пропускать такие аномалии, когда гибкие последовательностные модели все еще правдоподобно восстанавливают сигналы, несмотря на измененную координацию. Мы представляем AxonAD, неконтролируемый детектор, который рассматривает эволюцию запросов многоголового внимания как предсказуемый процесс на коротком горизонте. Градиентно-обновляемый путь реконструкции сочетается с предиктором, использующим только историю, который прогнозирует будущие векторы запросов из прошлого контекста. Это обучается с помощью маскированной цели "предиктор-цель" против целевого кодера с экспоненциальным скользящим средним (EMA). На этапе вывода ошибка реконструкции комбинируется с агрегированным показателем несоответствия запросов на хвосте распределения, который измеряет косинусное отклонение между прогнозируемыми и целевыми запросами на последних временных шагах. Такой двойной подход обеспечивает чувствительность к структурным сдвигам зависимостей, сохраняя при этом детектирование на уровне амплитуды. На проприетарной телеметрии бортовых систем с интервальными разметками и на многовариантном наборе TSB-AD (17 наборов данных, 180 рядов) с метриками, не зависящими от порога и учитывающими временные интервалы, AxonAD улучшает качество ранжирования и временной локализации по сравнению с сильными базовыми методами. Абляционные исследования подтверждают, что прогнозирование запросов и комбинированная оценка являются основными факторами наблюдаемого улучшения. Код доступен по URL https://github.com/iis-esslingen/AxonAD.

English

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.