HyTRec: Een hybride temporeel-bewuste aandachtarchitectuur voor aanbevelingen op basis van lange gedragssequenties

HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

February 20, 2026

Auteurs: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng

cs.AI

Samenvatting

Het modelleren van lange sequenties van gebruikersgedrag is uitgegroeid tot een cruciaal front in generatieve aanbevelingssystemen. Bestaande oplossingen kampen echter met een dilemma: lineaire aandachtmechanismen bereiken efficiëntie ten koste van retrievalsnelheid door beperkte staatscapaciteit, terwijl softmax-aandacht lijdt onder buitensporige computationele kosten. Om deze uitdaging aan te pakken, stellen we HyTRec voor, een model met een hybride aandachtarchitectuur die langetermijnvoorkuren expliciet ontkoppelt van kortetermijnintentpieken. Door omvangrijke historische sequenties aan een lineaire aandachtstak toe te wijzen en een gespecialiseerde softmax-aandachtstak te reserveren voor recente interacties, herstelt onze aanpak precieze retrievalmogelijkheden binnen industriële contexten met tienduizenden interacties. Om de vertraging in het vastleggen van snelle interesseverschuivingen binnen de lineaire lagen te mitigeren, ontwerpen we verder het Temporeel Bewuste Delta-netwerk (TADN) om verse gedragssignalen dynamisch zwaarder te wegen en tegelijkertijd historische ruis effectief te onderdrukken. Empirische resultaten op industriële datasets bevestigen de superioriteit van ons model, dat lineaire inferentiesnelheid handhaaft en sterke baseline-modellen overtreft, met name door meer dan 8% verbetering in Trefferaandeel te leveren voor gebruikers met ultra-lange sequenties, met grote efficiëntie.

English

Modeling long sequences of user behaviors has emerged as a critical frontier in generative recommendation. However, existing solutions face a dilemma: linear attention mechanisms achieve efficiency at the cost of retrieval precision due to limited state capacity, while softmax attention suffers from prohibitive computational overhead. To address this challenge, we propose HyTRec, a model featuring a Hybrid Attention architecture that explicitly decouples long-term stable preferences from short-term intent spikes. By assigning massive historical sequences to a linear attention branch and reserving a specialized softmax attention branch for recent interactions, our approach restores precise retrieval capabilities within industrial-scale contexts involving ten thousand interactions. To mitigate the lag in capturing rapid interest drifts within the linear layers, we furthermore design Temporal-Aware Delta Network (TADN) to dynamically upweight fresh behavioral signals while effectively suppressing historical noise. Empirical results on industrial-scale datasets confirm the superiority that our model maintains linear inference speed and outperforms strong baselines, notably delivering over 8% improvement in Hit Rate for users with ultra-long sequences with great efficiency.