注意を引く驚き：時系列異常検知のための予測可能なクエリ動態

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

March 13, 2026

著者: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler

cs.AI

要旨

多変量時系列異常は、単純な振幅の逸脱ではなく、チャネル間依存関係の変化として現れることが多い。例えば自動運転において、ステアリング指令は内部的に一貫しているが、結果として生じる横加速度から切り離される場合がある。残差ベースの検出器は、柔軟なシーケンスモデルが調整が変化したにもかかわらず信号を妥当に再構築する場合、このような異常を見逃す可能性がある。本論文では、マルチヘッド注意機構のクエリ進化を短期予測可能なプロセスとして扱う教師なし検出器AxonADを提案する。勾配更新による再構築経路と、過去の文脈から将来のクエリベクトルを予測する履歴専用予測器を組み合わせる。これは指数移動平均（EMA）ターゲットエンコーダに対するマスク化予測-ターゲット目的関数により学習される。推論時には、再構築誤差と、最近の時間ステップにおける予測クエリとターゲットクエリのコサイン偏差を測定する尾部集約クエリ不一致スコアを組み合わせる。この二重アプローチにより、振幅レベルの検出を維持しつつ、構造的依存関係の変化に対する感度を提供する。区間注釈付きの独自車載テレメトリデータ、および閾値非依存かつ範囲認識メトリクスを用いたTSB-AD多変量スイート（17データセット、180系列）において、AxonADは強力なベースラインを上回るランキング品質と時間的局在化を実現した。アブレーション研究により、クエリ予測と複合スコアリングが性能向上の主要因であることを確認した。コードはhttps://github.com/iis-esslingen/AxonAD で公開されている。

English

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.