RHYTHM: Redeneren met Hiërarchische Temporele Tokenisatie voor Menselijke Mobiliteit

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

Auteurs: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

Samenvatting

Het voorspellen van menselijke mobiliteit is inherent uitdagend vanwege complexe langeafstandsafhankelijkheden en multischalige periodieke gedragingen. Om dit aan te pakken, introduceren we RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), een uniform raamwerk dat grote taalmodelen (LLM's) benut als algemene ruimtelijk-temporele voorspellers en trajectredeneerders. Methodologisch gezien gebruikt RHYTHM temporele tokenisatie om elk traject op te delen in dagelijkse segmenten en deze te coderen als discrete tokens met hiërarchische aandacht die zowel dagelijkse als wekelijkse afhankelijkheden vastlegt, waardoor de sequentielengte aanzienlijk wordt verminderd terwijl cyclische informatie behouden blijft. Daarnaast verrijken we de tokenrepresentaties door vooraf berekende prompt-embeddings toe te voegen voor trajectsegmenten en voorspeldoelen via een bevroren LLM, en voeden we deze gecombineerde embeddings terug in de LLM-backbone om complexe onderlinge afhankelijkheden vast te leggen. Computationeel bevriest RHYTHM de vooraf getrainde LLM-backbone om de aandachtcomplexiteit en geheugenkosten te verminderen. We evalueren ons model tegen state-of-the-art methoden met behulp van drie real-world datasets. Opmerkelijk is dat RHYTHM een verbetering van 2,4% in algehele nauwkeurigheid, een toename van 5,0% in weekenden en een reductie van 24,6% in trainings tijd bereikt. De code is publiekelijk beschikbaar op https://github.com/he-h/rhythm.

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.