Sorprendidos por la Atención: Dinámicas Predecibles de Consultas para la Detección de Anomalías en Series Temporales

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

March 13, 2026

Autores: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler

cs.AI

Resumen

Las anomalías en series temporales multivariantes a menudo se manifiestan como cambios en las dependencias entre canales, en lugar de simples desviaciones de amplitud. En la conducción autónoma, por ejemplo, un comando de dirección podría ser internamente coherente pero desacoplarse de la aceleración lateral resultante. Los detectores basados en residuos pueden pasar por alto tales anomalías cuando los modelos flexibles de secuencias aún reconstruyen las señales de manera plausible a pesar de la alteración en la coordinación. Presentamos AxonAD, un detector no supervisado que trata la evolución de las consultas de atención multi-cabeza como un proceso predecible a corto plazo. Una vía de reconstrucción actualizada por gradientes se combina con un predictor basado únicamente en el historial que pronostica vectores de consulta futuros a partir del contexto pasado. Esto se entrena mediante un objetivo de predictor enmascarado frente a un codificador objetivo de media móvil exponencial (EMA). En la inferencia, el error de reconstrucción se combina con una puntuación de discrepancia de consultas agregada en la cola, que mide la desviación del coseno entre las consultas pronosticadas y las objetivo en los intervalos de tiempo recientes. Este enfoque dual proporciona sensibilidad a los cambios estructurales en las dependencias, al tiempo que conserva la detección a nivel de amplitud. En telemetría vehicular propietaria con anotaciones de intervalo y en el conjunto multivariante TSB-AD (17 conjuntos de datos, 180 series) con métricas libres de umbral y conscientes del rango, AxonAD mejora la calidad de la clasificación y la localización temporal respecto a líneas base sólidas. Los estudios de ablación confirman que la predicción de consultas y la puntuación combinada son los principales impulsores de las mejoras observadas. El código está disponible en la URL https://github.com/iis-esslingen/AxonAD.

English

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.