RHYTHM: Ragionamento con Tokenizzazione Temporale Gerarchica per la Mobilità Umana

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

Autori: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

Abstract

Prevedere la mobilità umana è intrinsecamente complesso a causa di dipendenze a lungo raggio complesse e comportamenti periodici su più scale. Per affrontare questa sfida, introduciamo RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), un framework unificato che sfrutta i grandi modelli linguistici (LLM) come predittori spazio-temporali general-purpose e ragionatori di traiettorie. Metodologicamente, RHYTHM utilizza la tokenizzazione temporale per suddividere ciascuna traiettoria in segmenti giornalieri e codificarli come token discreti con un'attenzione gerarchica che cattura sia le dipendenze giornaliere che settimanali, riducendo significativamente la lunghezza della sequenza pur preservando le informazioni cicliche. Inoltre, arricchiamo le rappresentazioni dei token aggiungendo incorporamenti di prompt pre-calcolati per i segmenti di traiettoria e i target di previsione tramite un LLM congelato, e alimentando questi incorporamenti combinati nuovamente nel backbone dell'LLM per catturare interdipendenze complesse. Dal punto di vista computazionale, RHYTHM congela il backbone pre-addestrato dell'LLM per ridurre la complessità dell'attenzione e il costo di memoria. Valutiamo il nostro modello rispetto ai metodi più avanzati utilizzando tre dataset del mondo reale. In particolare, RHYTHM ottiene un miglioramento del 2,4% nell'accuratezza complessiva, un aumento del 5,0% nei fine settimana e una riduzione del 24,6% nel tempo di addestramento. Il codice è disponibile pubblicamente all'indirizzo https://github.com/he-h/rhythm.

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.