HyTRec: 장기 행동 순차 추천을 위한 하이브리드 시간 인식 어텐션 아키텍처

HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

February 20, 2026

저자: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng

cs.AI

초록

사용자 행동의 긴 시퀀스를 모델링하는 것은 생성 추천 시스템에서 중요한 과제로 부상했습니다. 그러나 기존 솔루션은 딜레마에 직면해 있습니다: 선형 어텐션 메커니즘은 제한된 상태 용량으로 인해 검색 정밀도를 희생하면서 효율성을 달성하는 반면, 소프트맥스 어텐션은 감당하기 어려운 계산 부담을 겪습니다. 이러한 문제를 해결하기 위해 우리는 장기적 안정적 선호도와 단기적 의도 급증을 명시적으로 분리하는 하이브리드 어텐션 아키텍처를 특징으로 하는 HyTRec 모델을 제안합니다. 방대한 역사적 시퀀스는 선형 어텐션 브랜치에 할당하고 최근 상호작용은 전용 소프트맥스 어텐션 브랜치에 남겨둠으로써, 우리의 접근 방식은 수만 건의 상호작용이 포함된 산업 규모의 맥락 내에서 정밀한 검색 능력을 회복합니다. 선형 레이어 내에서 빠른 관심사 변화를 포착하는 데 따른 지연을 완화하기 위해, 우리는 또한 역사적 노이즈를 효과적으로 억제하면서 신선한 행동 신호를 동적으로 가중치 부여하는 시간 인식 델타 네트워크(Temporal-Aware Delta Network, TADN)를 설계합니다. 산업 규모 데이터셋에 대한 실험 결과는 우리 모델이 선형 추론 속도를 유지하면서 강력한 기준선을 능가하고, 특히 초장기 시퀀스를 가진 사용자에 대해 히트율에서 8% 이상의 향상을 높은 효율성으로 제공하는 우수성을 확인합니다.

English

Modeling long sequences of user behaviors has emerged as a critical frontier in generative recommendation. However, existing solutions face a dilemma: linear attention mechanisms achieve efficiency at the cost of retrieval precision due to limited state capacity, while softmax attention suffers from prohibitive computational overhead. To address this challenge, we propose HyTRec, a model featuring a Hybrid Attention architecture that explicitly decouples long-term stable preferences from short-term intent spikes. By assigning massive historical sequences to a linear attention branch and reserving a specialized softmax attention branch for recent interactions, our approach restores precise retrieval capabilities within industrial-scale contexts involving ten thousand interactions. To mitigate the lag in capturing rapid interest drifts within the linear layers, we furthermore design Temporal-Aware Delta Network (TADN) to dynamically upweight fresh behavioral signals while effectively suppressing historical noise. Empirical results on industrial-scale datasets confirm the superiority that our model maintains linear inference speed and outperforms strong baselines, notably delivering over 8% improvement in Hit Rate for users with ultra-long sequences with great efficiency.