RHYTHM: Рассуждения с использованием иерархической временной токенизации для анализа мобильности человека

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

Авторы: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

Аннотация

Прогнозирование мобильности людей является сложной задачей из-за наличия сложных долгосрочных зависимостей и многоуровневых периодических поведений. Для решения этой проблемы мы представляем RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility) — унифицированную структуру, которая использует большие языковые модели (LLM) в качестве универсальных пространственно-временных предсказателей и анализаторов траекторий. Методологически RHYTHM применяет временную токенизацию для разделения каждой траектории на ежедневные сегменты и их кодирования в виде дискретных токенов с использованием иерархического внимания, которое учитывает как ежедневные, так и еженедельные зависимости, что значительно сокращает длину последовательности, сохраняя при этом циклическую информацию. Дополнительно мы обогащаем представления токенов, добавляя предварительно вычисленные встраивания подсказок для сегментов траекторий и целей прогнозирования через замороженную LLM, и передаем эти комбинированные встраивания обратно в основу LLM для учета сложных взаимозависимостей. С вычислительной точки зрения RHYTHM замораживает предварительно обученную основу LLM, чтобы снизить сложность внимания и затраты на память. Мы оцениваем нашу модель в сравнении с современными методами, используя три реальных набора данных. Примечательно, что RHYTHM демонстрирует улучшение общей точности на 2,4%, увеличение точности на выходных днях на 5,0% и сокращение времени обучения на 24,6%. Код доступен по адресу https://github.com/he-h/rhythm.

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.