Surpris par l'attention : Dynamique prévisible des requêtes pour la détection d'anomalies dans les séries temporelles

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

March 13, 2026

Auteurs: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler

cs.AI

Résumé

Les anomalies des séries temporelles multivariées se manifestent souvent par des changements dans les dépendances inter-canaux plutôt que par de simples excursions d'amplitude. Dans la conduite autonome, par exemple, une commande de direction peut être intrinsèquement cohérente mais se découpler de l'accélération latérale résultante. Les détecteurs basés sur les résidus peuvent manquer de telles anomalies lorsque des modèles séquentiels flexibles reconstruisent encore les signaux de manière plausible malgré une coordination altérée. Nous présentons AxonAD, un détecteur non supervisé qui traite l'évolution des requêtes d'attention multi-têtes comme un processus prévisible à court terme. Une voie de reconstruction mise à jour par gradient est couplée à un prédicteur basé uniquement sur l'historique qui prévoit les futurs vecteurs de requête à partir du contexte passé. Ce système est entraîné via un objectif de prédiction masquée contre un encodeur cible à moyenne mobile exponentielle (EMA). Lors de l'inférence, l'erreur de reconstruction est combinée à un score d'inadéquation des requêtes agrégé en queue de distribution, qui mesure l'écart cosinus entre les requêtes prédites et cibles sur les derniers pas de temps. Cette double approche offre une sensibilité aux changements structurels de dépendance tout en conservant la détection au niveau de l'amplitude. Sur des données de télémétrie véhiculaire propriétaires avec annotations d'intervalles, et sur la suite multivariée TSB-AD (17 jeux de données, 180 séries) avec des métriques sans seuil et sensibles à l'étendue, AxonAD améliore la qualité du classement et la localisation temporelle par rapport à des bases de référence solides. Les études d'ablation confirment que la prédiction des requêtes et la notation combinée sont les principaux facteurs des gains observés. Le code est disponible à l'URL https://github.com/iis-esslingen/AxonAD.

English

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.