RHYTHM: Reasoning mit hierarchischer temporaler Tokenisierung für menschliche Mobilität

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

papers.authors: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

papers.abstract

Die Vorhersage menschlicher Mobilität ist aufgrund komplexer langfristiger Abhängigkeiten und mehrskaliger periodischer Verhaltensweisen von Natur aus schwierig. Um dies zu bewältigen, stellen wir RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility) vor, ein einheitliches Framework, das große Sprachmodelle (LLMs) als allgemeine räumlich-zeitliche Prädiktoren und Trajektorien-Analysatoren nutzt. Methodisch verwendet RHYTHM eine zeitliche Tokenisierung, um jede Trajektorie in tägliche Segmente zu unterteilen und diese als diskrete Tokens mit hierarchischer Aufmerksamkeit zu kodieren, die sowohl tägliche als auch wöchentliche Abhängigkeiten erfasst, wodurch die Sequenzlänge erheblich reduziert wird, während zyklische Informationen erhalten bleiben. Zusätzlich bereichern wir die Token-Darstellungen, indem wir vorberechnete Prompt-Embeddings für Trajektoriensegmente und Vorhersageziele über ein eingefrorenes LLM hinzufügen und diese kombinierten Embeddings wieder in das LLM-Backbone einspeisen, um komplexe Interdependenzen zu erfassen. Rechnerisch friert RHYTHM das vortrainierte LLM-Backbone ein, um die Aufmerksamkeitskomplexität und Speicherkosten zu reduzieren. Wir bewerten unser Modell im Vergleich zu state-of-the-art Methoden anhand von drei realen Datensätzen. Bemerkenswerterweise erzielt RHYTHM eine Verbesserung der Gesamtgenauigkeit um 2,4 %, eine Steigerung von 5,0 % an Wochenenden und eine Reduzierung der Trainingszeit um 24,6 %. Der Code ist öffentlich verfügbar unter https://github.com/he-h/rhythm.

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.