RITMO: Razonamiento con Tokenización Temporal Jerárquica para la Movilidad Humana

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

Autores: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

Resumen

Predecir la movilidad humana es inherentemente desafiante debido a las complejas dependencias de largo alcance y los comportamientos periódicos multi-escala. Para abordar esto, presentamos RHYTHM (Razonamiento con Tokenización Temporal Jerárquica para la Movilidad Humana), un marco unificado que aprovecha los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) como predictores espacio-temporales de propósito general y razonadores de trayectorias. Metodológicamente, RHYTHM emplea la tokenización temporal para dividir cada trayectoria en segmentos diarios y codificarlos como tokens discretos con atención jerárquica que captura tanto las dependencias diarias como semanales, reduciendo significativamente la longitud de la secuencia mientras se preserva la información cíclica. Además, enriquecemos las representaciones de los tokens añadiendo incrustaciones de prompts precalculadas para segmentos de trayectorias y objetivos de predicción mediante un LLM congelado, y alimentamos estas incrustaciones combinadas de vuelta al núcleo del LLM para capturar interdependencias complejas. Computacionalmente, RHYTHM congela el núcleo preentrenado del LLM para reducir la complejidad de la atención y el costo de memoria. Evaluamos nuestro modelo frente a métodos de vanguardia utilizando tres conjuntos de datos del mundo real. Notablemente, RHYTHM logra una mejora del 2.4% en la precisión general, un aumento del 5.0% en los fines de semana y una reducción del 24.6% en el tiempo de entrenamiento. El código está disponible públicamente en https://github.com/he-h/rhythm.

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.