Sorpresi dall'Attenzione: Dinamiche Prevedibili delle Query per il Rilevamento di Anomalie nelle Serie Temporali

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

March 13, 2026

Autori: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler

cs.AI

Abstract

Le anomalie delle serie temporali multivariate spesso si manifestano come cambiamenti nelle dipendenze tra canali piuttosto che come semplici deviazioni di ampiezza. Nella guida autonoma, ad esempio, un comando di sterzata potrebbe essere internamente coerente ma disaccoppiato dall'accelerazione laterale risultante. I rilevatori basati su residui possono trascurare tali anomalie quando modelli sequenziali flessibili ricostruiscono comunque i segnali in modo plausibile nonostante l'alterata coordinazione. Introduciamo AxonAD, un rilevatore non supervisionato che tratta l'evoluzione delle query di multi-head attention come un processo prevedibile a breve orizzonte. Un percorso di ricostruzione aggiornato tramite gradienti è accoppiato a un predittore basato solo sulla cronologia che prevede i vettori query futuri dal contesto passato. Questo viene addestrato mediante un obiettivo di predizione mascherata contro un codificatore target a media mobile esponenziale (EMA). In fase di inferenza, l'errore di ricostruzione è combinato con un punteggio di disallineamento delle query aggregato sulla coda, che misura la deviazione coseno tra le query predette e quelle target sugli ultimi intervalli temporali. Questo approccio duale fornisce sensibilità agli spostamenti strutturali delle dipendenze mantenendo il rilevamento a livello di ampiezza. Su dati telemetrici proprietari veicolari con annotazioni di intervallo e sulla suite multivariata TSB-AD (17 dataset, 180 serie) con metriche senza soglia e consapevoli dell'intervallo, AxonAD migliora la qualità del ranking e la localizzazione temporale rispetto a baseline solide. Le ablazioni confermano che la predizione delle query e il punteggio combinato sono i principali responsabili dei miglioramenti osservati. Il codice è disponibile all'URL https://github.com/iis-esslingen/AxonAD.

English

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.