HyTRec : Une architecture d'attention hybride sensible au temps pour la recommandation séquentielle basée sur les comportements longs

HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

February 20, 2026

papers.authors: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng

cs.AI

papers.abstract

La modélisation des longues séquences de comportements utilisateurs est devenue une frontière critique dans la recommandation générative. Cependant, les solutions existantes font face à un dilemme : les mécanismes d'attention linéaire atteignent une efficacité au détriment de la précision du rappel en raison d'une capacité d'état limitée, tandis que l'attention softmax souffre de coûts computationnels prohibitifs. Pour relever ce défi, nous proposons HyTRec, un modèle doté d'une architecture d'Attention Hybride qui dissocie explicitement les préférences stables à long terme des pics d'intention à court terme. En affectant les séquences historiques massives à une branche d'attention linéaire et en réservant une branche d'attention softmax spécialisée pour les interactions récentes, notre approche restaure des capacités de rappel précises dans des contextes à l'échelle industrielle impliquant des dizaines de milliers d'interactions. Pour atténuer le décalage dans la capture des dérives d'intérêt rapides au sein des couches linéaires, nous concevons en outre un Réseau Delta Temporellement Conscient (TADN) pour revaloriser dynamiquement les signaux comportementaux récents tout en supprimant efficacement le bruit historique. Les résultats empiriques sur des jeux de données à l'échelle industrielle confirment la supériorité de notre modèle, qui maintient une vitesse d'inférence linéaire et surpasse les solides bases de référence, offrant notamment une amélioration de plus de 8% du Taux de Succès pour les utilisateurs aux séquences ultra-longues avec une grande efficacité.

English

Modeling long sequences of user behaviors has emerged as a critical frontier in generative recommendation. However, existing solutions face a dilemma: linear attention mechanisms achieve efficiency at the cost of retrieval precision due to limited state capacity, while softmax attention suffers from prohibitive computational overhead. To address this challenge, we propose HyTRec, a model featuring a Hybrid Attention architecture that explicitly decouples long-term stable preferences from short-term intent spikes. By assigning massive historical sequences to a linear attention branch and reserving a specialized softmax attention branch for recent interactions, our approach restores precise retrieval capabilities within industrial-scale contexts involving ten thousand interactions. To mitigate the lag in capturing rapid interest drifts within the linear layers, we furthermore design Temporal-Aware Delta Network (TADN) to dynamically upweight fresh behavioral signals while effectively suppressing historical noise. Empirical results on industrial-scale datasets confirm the superiority that our model maintains linear inference speed and outperforms strong baselines, notably delivering over 8% improvement in Hit Rate for users with ultra-long sequences with great efficiency.