RHYTHM：人間の移動パターンにおける階層的時間トークン化を用いた推論

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

著者: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

要旨

人間の移動予測は、複雑な長距離依存性と多スケールの周期的行動のため、本質的に困難な課題です。この問題に対処するため、我々はRHYTHM（Reasoning with Hierarchical Temporal Tokenization for Human Mobility）を提案します。これは、大規模言語モデル（LLMs）を汎用的な時空間予測器および軌跡推論器として活用する統一フレームワークです。方法論的には、RHYTHMは時間的トークン化を用いて各軌跡を日単位のセグメントに分割し、日次および週次の依存関係を捉える階層的注意機構を持つ離散トークンとしてエンコードします。これにより、周期的情報を保持しながらシーケンス長を大幅に削減します。さらに、事前計算されたプロンプト埋め込みを軌跡セグメントと予測ターゲットに追加し、これらの結合された埋め込みをLLMのバックボーンにフィードバックすることで、複雑な相互依存関係を捉えます。計算的には、RHYTHMは事前学習済みLLMのバックボーンを凍結し、注意複雑性とメモリコストを削減します。我々は、3つの実世界データセットを用いて、最先端の手法に対するモデルの評価を行いました。特に、RHYTHMは全体精度で2.4%の向上、週末では5.0%の増加、そして訓練時間で24.6%の削減を達成しました。コードはhttps://github.com/he-h/rhythmで公開されています。

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.