RHYTHM: 인간 이동성 분석을 위한 계층적 시간적 토큰화 기반 추론

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

September 27, 2025

저자: Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

cs.AI

초록

인간의 이동성을 예측하는 것은 복잡한 장거리 의존성과 다중 스케일 주기적 행동으로 인해 본질적으로 어려운 과제입니다. 이를 해결하기 위해 우리는 RHYTHM(Reasoning with Hierarchical Temporal Tokenization for Human Mobility)이라는 통합 프레임워크를 제안합니다. 이 프레임워크는 대규모 언어 모델(LLM)을 일반적인 시공간 예측기 및 궤적 추론기로 활용합니다. 방법론적으로, RHYTHM은 시간적 토큰화를 사용하여 각 궤적을 일일 세그먼트로 분할하고, 일일 및 주간 의존성을 모두 포착하는 계층적 주의 메커니즘을 통해 이들을 이산 토큰으로 인코딩함으로써 순차 길이를 크게 줄이면서도 주기적 정보를 보존합니다. 또한, 우리는 사전 계산된 프롬프트 임베딩을 궤적 세그먼트 및 예측 대상에 추가하여 토큰 표현을 풍부하게 하고, 이러한 결합된 임베딩을 LLM 백본에 다시 입력함으로써 복잡한 상호 의존성을 포착합니다. 계산적으로, RHYTHM은 사전 훈련된 LLM의 백본을 고정하여 주의 복잡성과 메모리 비용을 줄입니다. 우리는 세 가지 실제 데이터셋을 사용하여 최신 방법들과 비교 평가를 수행했습니다. 특히, RHYTHM은 전체 정확도에서 2.4% 향상, 주말에 5.0% 증가, 그리고 훈련 시간에서 24.6% 감소를 달성했습니다. 코드는 https://github.com/he-h/rhythm에서 공개적으로 이용 가능합니다.

English

Predicting human mobility is inherently challenging due to complex long-range dependencies and multi-scale periodic behaviors. To address this, we introduce RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility), a unified framework that leverages large language models (LLMs) as general-purpose spatio-temporal predictors and trajectory reasoners. Methodologically, RHYTHM employs temporal tokenization to partition each trajectory into daily segments and encode them as discrete tokens with hierarchical attention that captures both daily and weekly dependencies, thereby significantly reducing the sequence length while preserving cyclical information. Additionally, we enrich token representations by adding pre-computed prompt embeddings for trajectory segments and prediction targets via a frozen LLM, and feeding these combined embeddings back into the LLM backbone to capture complex interdependencies. Computationally, RHYTHM freezes the pretrained LLM's backbone to reduce attention complexity and memory cost. We evaluate our model against state-of-the-art methods using three real-world datasets. Notably, RHYTHM achieves a 2.4% improvement in overall accuracy, a 5.0% increase on weekends, and a 24.6% reduction in training time. Code is publicly available at https://github.com/he-h/rhythm.