Verrast door Aandacht: Voorspelbare Query-dynamiek voor Anomaliedetectie in Tijdreeksen

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

March 13, 2026

Auteurs: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler

cs.AI

Samenvatting

Multivariate tijdreeksanomalieën manifesteren zich vaak als verschuivingen in kruiskanaalafhankelijkheden in plaats van als eenvoudige amplitude-afwijkingen. In autonoom rijden kan een stuurcommando bijvoorbeeld intern consistent zijn, maar losgekoppeld raken van de resulterende laterale versnelling. Op residuen gebaseerde detectoren kunnen dergelijke anomalieën missen wanneer flexibele sequentiemodellen de signalen ondanks veranderde coördinatie nog steeds plausibel reconstrueren. Wij introduceren AxonAD, een onbewaakte detector die de evolutie van multi-head attention queries behandelt als een voorspelbaar proces met een korte horizon. Een met gradiënten bijgewerkt reconstructiepad wordt gekoppeld aan een uitsluitend op historie gebaseerde voorspeller die toekomstige queryvectoren uit eerdere context voorspelt. Dit wordt getraind via een gemaskeerd voorspeller-doelwitdoel tegen een exponentieel voortschrijdend gemiddelde (EMA) doelencodering. Tijdens inferentie wordt de reconstructiefout gecombineerd met een 'tail-aggregated' query-mismatchscore, die de cosinusafwijking meet tussen voorspelde en doelwit-queries op recente tijdstappen. Deze dubbele aanpak biedt gevoeligheid voor structurele afhankelijkheidsverschuivingen terwijl detectie op amplitudeniveau behouden blijft. Op propriëtaire voertuigtelemeterie met intervalannotaties en op de TSB-AD multivariate suite (17 datasets, 180 series) met drempelvrije en bereiksbewuste metrieken verbetert AxonAD de rangschikkingskwaliteit en temporele lokalisatie ten opzichte van sterke baseline-methoden. Ablatiestudies bevestigen dat queryvoorspelling en gecombineerde scoring de primaire drijvers zijn van de waargenomen verbeteringen. Code is beschikbaar op de URL https://github.com/iis-esslingen/AxonAD.

English

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.