Surpreendido pela Atenção: Dinâmica Previsível de Consultas para Detecção de Anomalias em Séries Temporais
Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection
March 13, 2026
Autores: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler
cs.AI
Resumo
As anomalias em séries temporais multivariadas frequentemente se manifestam como mudanças nas dependências entre canais, em vez de simples desvios de amplitude. Na condução autónoma, por exemplo, um comando de direção pode ser internamente consistente, mas dissociar-se da aceleração lateral resultante. Os detetores baseados em resíduos podem falhar tais anomalias quando modelos flexíveis de sequência ainda reconstroem os sinais de forma plausível, apesar da coordenação alterada. Apresentamos o AxonAD, um detetor não supervisionado que trata a evolução das queries de atenção multi-head como um processo previsível de curto prazo. Um caminho de reconstrução atualizado por gradiente é acoplado a um preditor baseado apenas no histórico, que prevê vetores de query futuros a partir do contexto passado. Este é treinado através de um objetivo de predição mascarada contra um codificador de destino de média móvel exponencial (EMA). Na inferência, o erro de reconstrução é combinado com uma pontuação de discrepância de queries agregada em cauda, que mede o desvio de cosseno entre as queries previstas e as alvo em intervalos recentes. Esta abordagem dupla fornece sensibilidade a mudanças estruturais de dependência, mantendo a deteção a nível de amplitude. Em telemetria proprietária de veículos com anotações de intervalo e no conjunto multi-variado TSB-AD (17 conjuntos de dados, 180 séries) com métricas livres de limiar e conscientes do intervalo, o AxonAD melhora a qualidade de ordenação e a localização temporal em relação a linhas de base robustas. Ablações confirmam que a predição de queries e a pontuação combinada são os principais impulsionadores dos ganhos observados. O código está disponível no URL https://github.com/iis-esslingen/AxonAD.
English
Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.