RHYTHM : Raisonnement avec Tokenisation Temporelle Hiérarchique pour la Mobilité Humaine

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

papers.authors: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

papers.abstract

Prédire la mobilité humaine est intrinsèquement complexe en raison des dépendances à longue portée et des comportements périodiques multi-échelles. Pour y remédier, nous présentons RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), un cadre unifié qui exploite les grands modèles de langage (LLMs) comme prédicteurs spatio-temporels polyvalents et raisonneurs de trajectoires. Méthodologiquement, RHYTHM utilise une tokenisation temporelle pour diviser chaque trajectoire en segments quotidiens et les encoder en tokens discrets avec une attention hiérarchique qui capture à la fois les dépendances quotidiennes et hebdomadaires, réduisant ainsi significativement la longueur des séquences tout en préservant les informations cycliques. De plus, nous enrichissons les représentations des tokens en ajoutant des embeddings de prompts pré-calculés pour les segments de trajectoire et les cibles de prédiction via un LLM figé, puis en réinjectant ces embeddings combinés dans le cœur du LLM pour capturer les interdépendances complexes. Sur le plan computationnel, RHYTHM fige le cœur pré-entraîné du LLM pour réduire la complexité de l'attention et les coûts mémoire. Nous évaluons notre modèle par rapport aux méthodes de pointe sur trois jeux de données réels. Notamment, RHYTHM obtient une amélioration de 2,4 % en précision globale, une augmentation de 5,0 % les week-ends, et une réduction de 24,6 % du temps d'entraînement. Le code est disponible publiquement à l'adresse https://github.com/he-h/rhythm.

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.