HyTRec: 長期的行動シーケンス推薦のためのハイブリッド時間認識アテンションアーキテクチャ

HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

February 20, 2026

著者: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng

cs.AI

要旨

ユーザーの長い行動シーケンスのモデリングは、生成的推薦における重要なフロンティアとして台頭してきました。しかし、既存のソリューションはジレンマに直面しています。線形注意機構は状態容量が限られているため、検索精度を犠牲にして効率性を達成しますが、ソフトマックス注意機構は計算コストが膨大になるという問題があります。この課題に対処するため、我々はHyTRecを提案します。これは、長期的な安定した嗜好と短期的な意図の急増を明示的に分離するハイブリッド注意アーキテクチャを特徴とするモデルです。大規模な過去のシーケンスを線形注意ブランチに割り当て、最近のインタラクションには専用のソフトマックス注意ブランチを確保することで、1万件のインタラクションを含む産業規模の文脈において、高精度な検索機能を回復させます。線形層内での急速な興味の変動の捕捉の遅れを緩和するため、さらに、新しい行動信号を動的に強調しつつ過去のノイズを効果的に抑制する時間認識デルタネットワーク（TADN）を設計しました。産業規模のデータセットでの実証結果は、我々のモデルが線形の推論速度を維持しつつ強力なベースラインを上回り、特に超長シーケンスを持つユーザーのヒット率で8%以上の改善を高い効率性で達成する優位性を確認しています。

English

Modeling long sequences of user behaviors has emerged as a critical frontier in generative recommendation. However, existing solutions face a dilemma: linear attention mechanisms achieve efficiency at the cost of retrieval precision due to limited state capacity, while softmax attention suffers from prohibitive computational overhead. To address this challenge, we propose HyTRec, a model featuring a Hybrid Attention architecture that explicitly decouples long-term stable preferences from short-term intent spikes. By assigning massive historical sequences to a linear attention branch and reserving a specialized softmax attention branch for recent interactions, our approach restores precise retrieval capabilities within industrial-scale contexts involving ten thousand interactions. To mitigate the lag in capturing rapid interest drifts within the linear layers, we furthermore design Temporal-Aware Delta Network (TADN) to dynamically upweight fresh behavioral signals while effectively suppressing historical noise. Empirical results on industrial-scale datasets confirm the superiority that our model maintains linear inference speed and outperforms strong baselines, notably delivering over 8% improvement in Hit Rate for users with ultra-long sequences with great efficiency.