Überrascht von der Aufmerksamkeit: Vorhersehbare Abfragedynamik für die Anomalieerkennung in Zeitreihen

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

March 13, 2026

Autoren: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler

cs.AI

Zusammenfassung

Multivariate Zeitreihenanomalien manifestieren sich häufig als Verschiebungen in kanalübergreifenden Abhängigkeiten und nicht als einfache Amplitudenabweichungen. Im autonomen Fahren könnte beispielsweise ein Lenkbefehl intern konsistent sein, sich jedoch von der resultierenden lateralen Beschleunigung entkoppeln. Residuenbasierte Detektoren können solche Anomalien übersehen, wenn flexible Sequenzmodelle die Signale trotz veränderter Koordination plausibel rekonstruieren. Wir stellen AxonAD vor, einen unüberwachten Detektor, der die Entwicklung von Multi-Head-Attention-Queries als einen kurzzeitig vorhersagbaren Prozess behandelt. Ein gradientenbasiert aktualisierter Rekonstruktionspfad wird mit einem rein auf Vergangenheitsdaten basierenden Prädiktor gekoppelt, der zukünftige Query-Vektoren aus dem vergangenen Kontext vorhersagt. Dies wird mittels eines maskierten Prädiktor-Ziel-Ziels gegen einen exponentiell gleitenden Durchschnitts-Zielencoder trainiert. Bei der Inferenz wird der Rekonstruktionsfehler mit einer tail-aggregierten Query-Abweichungsbewertung kombiniert, die die Kosinusabweichung zwischen vorhergesagten und Ziel-Queries auf recenten Zeitschritten misst. Dieser duale Ansatz bietet Sensitivität für strukturelle Abhängigkeitsverschiebungen bei gleichzeitiger Beibehaltung der Amplitudenebenen-Erkennung. Auf proprietären Fahrzeugtelemetriedaten mit Intervallannotationen und auf dem TSB-AD-Multivariaten-Suite (17 Datensätze, 180 Reihen) mit schwellwertfreien und bereichsbewussten Metriken verbessert AxonAD die Ranking-Qualität und temporale Lokalisierung gegenüber starken Baseline-Modellen. Ablationstudien bestätigen, dass Query-Vorhersage und kombinierte Bewertung die Haupttreiber der beobachteten Verbesserungen sind. Der Code ist unter der URL https://github.com/iis-esslingen/AxonAD verfügbar.

English

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.