ZARA: Zero-shot Tijdreeksanalyse van Beweging via Kennis- en Retrieval-gestuurde LLM-agents

ZARA: Zero-shot Motion Time-Series Analysis via Knowledge and Retrieval Driven LLM Agents

August 6, 2025

Auteurs: Zechen Li, Baiyu Chen, Hao Xue, Flora D. Salim

cs.AI

Samenvatting

Bewegingssensortijdreeksen zijn essentieel voor herkenning van menselijke activiteiten (HAR), met toepassingen in gezondheid, sport en slimme apparaten. Bestaande methoden zijn echter getraind voor vaste activiteitensets en vereisen kostbare hertraining wanneer nieuwe gedragingen of sensoropstellingen opduiken. Recente pogingen om grote taalmodelen (LLMs) te gebruiken voor HAR, meestal door signalen om te zetten in tekst of afbeeldingen, lijden onder beperkte nauwkeurigheid en een gebrek aan verifieerbare interpreteerbaarheid. Wij stellen ZARA voor, het eerste agentgebaseerde framework voor zero-shot, verklaarbare HAR rechtstreeks vanuit ruwe bewegingsgegevens. ZARA integreert een automatisch afgeleide paarsgewijze kenmerkenkennisbank die discriminerende statistieken vastlegt voor elk activiteitenpaar, een multisensor-retrievalmodule die relevante bewijzen naar voren haalt, en een hiërarchische agentpijplijn die de LLM begeleidt om iteratief kenmerken te selecteren, gebruik te maken van dit bewijs, en zowel activiteitsvoorspellingen als natuurlijketaaluitleg te produceren. ZARA maakt flexibele en interpreteerbare HAR mogelijk zonder enige fine-tuning of taakspecifieke classificatoren. Uitgebreide experimenten op 8 HAR-benchmarks tonen aan dat ZARA state-of-the-art zero-shot prestaties bereikt, met duidelijke redeneringen terwijl het de sterkste baselines met 2,53x in macro F1 overtreft. Ablatiestudies bevestigen verder de noodzaak van elke module, wat ZARA markeert als een veelbelovende stap naar betrouwbare, plug-and-play analyse van bewegingsgegevens. Onze codes zijn beschikbaar op https://github.com/zechenli03/ZARA.

English

Motion sensor time-series are central to human activity recognition (HAR), with applications in health, sports, and smart devices. However, existing methods are trained for fixed activity sets and require costly retraining when new behaviours or sensor setups appear. Recent attempts to use large language models (LLMs) for HAR, typically by converting signals into text or images, suffer from limited accuracy and lack verifiable interpretability. We propose ZARA, the first agent-based framework for zero-shot, explainable HAR directly from raw motion time-series. ZARA integrates an automatically derived pair-wise feature knowledge base that captures discriminative statistics for every activity pair, a multi-sensor retrieval module that surfaces relevant evidence, and a hierarchical agent pipeline that guides the LLM to iteratively select features, draw on this evidence, and produce both activity predictions and natural-language explanations. ZARA enables flexible and interpretable HAR without any fine-tuning or task-specific classifiers. Extensive experiments on 8 HAR benchmarks show that ZARA achieves SOTA zero-shot performance, delivering clear reasoning while exceeding the strongest baselines by 2.53x in macro F1. Ablation studies further confirm the necessity of each module, marking ZARA as a promising step toward trustworthy, plug-and-play motion time-series analysis. Our codes are available at https://github.com/zechenli03/ZARA.