RHYTHM: Raciocínio com Tokenização Temporal Hierárquica para Mobilidade Humana

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

Autores: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

Resumo

Prever a mobilidade humana é intrinsecamente desafiador devido a complexas dependências de longo alcance e comportamentos periódicos em múltiplas escalas. Para abordar isso, introduzimos o RHYTHM (Raciocínio com Tokenização Temporal Hierárquica para Mobilidade Humana), um framework unificado que aproveita modelos de linguagem de grande escala (LLMs) como preditores espaço-temporais de propósito geral e raciocinadores de trajetórias. Metodologicamente, o RHYTHM emprega tokenização temporal para dividir cada trajetória em segmentos diários e codificá-los como tokens discretos com atenção hierárquica que captura dependências tanto diárias quanto semanais, reduzindo significativamente o comprimento da sequência enquanto preserva informações cíclicas. Além disso, enriquecemos as representações dos tokens adicionando embeddings de prompt pré-computados para segmentos de trajetória e alvos de predição por meio de um LLM congelado, e alimentamos esses embeddings combinados de volta no núcleo do LLM para capturar interdependências complexas. Computacionalmente, o RHYTHM congela o núcleo pré-treinado do LLM para reduzir a complexidade da atenção e o custo de memória. Avaliamos nosso modelo em comparação com métodos state-of-the-art usando três conjuntos de dados do mundo real. Notavelmente, o RHYTHM alcança uma melhoria de 2,4% na precisão geral, um aumento de 5,0% nos fins de semana e uma redução de 24,6% no tempo de treinamento. O código está disponível publicamente em https://github.com/he-h/rhythm.

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.