주의를 놀라게 하는 예측 가능한 쿼리 동역학: 시계열 이상 감지를 위한

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

March 13, 2026

저자: Kadir-Kaan Özer, René Ebeling, Markus Enzweiler

cs.AI

초록

다변량 시계열 이상치는 단순한 진폭 변화보다는 채널 간 의존성 변화로 나타나는 경우가 많습니다. 예를 들어 자율 주행에서는 조향 명령이 내부적으로는 일관되지만 결과적인 측면 가속도와의 연관성이 끊어질 수 있습니다. 잔차 기반 감지기는 시퀀스 모델이 조정 변화에도 불구하고 신호를 그럴듯하게 재구성할 경우 이러한 이상을 놓칠 수 있습니다. 본 연구에서는 다중 헤드 어텐션 쿼리 변화를 단기 예측 가능한 과정으로 취급하는 비지도 감지기인 AxonAD를 소개합니다. 그래디언트 업데이트 재구성 경로는 과거 컨텍스트로부터 미래 쿼리 벡터를 예측하는 역사 전용 예측기와 결합됩니다. 이는 지수 이동 평균(EMA) 타겟 인코더에 대한 마스크 예측-타겟 목적 함수를 통해 학습됩니다. 추론 단계에서는 재구성 오류를 최근 타임스텝에서 예측된 쿼리와 타겟 쿼리 간의 코사인 편차를 측정하는 꼬리 집계 쿼리 불일치 점수와 결합합니다. 이 이중 접근법은 구조적 의존성 변화에 대한 민감도를 유지하면서 진폭 수준 감지 능력을 보존합니다. 구간 주석이 포함된 자체 차량 내부 원격 측정 데이터와 TSB-AD 다변량 벤치마크(17개 데이터셋, 180개 시계열)에서 임계값 무관 및 범위 인식 메트릭을 사용한 평가 결과, AxonAD는 강력한 베이스라인 대비 랭킹 품질과 시간적 위치 정확도를 향상시켰습니다. ablation 연구를 통해 쿼리 예측과 결합 점수화가 관찰된 성능 향상의 주요 원인임이 확인되었습니다. 코드는 https://github.com/iis-esslingen/AxonAD 에서 이용 가능합니다.

English

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.