HyTRec: un'architettura ibrida con attenzione temporale per la raccomandazione sequenziale di comportamenti lunghi
HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation
February 20, 2026
Autori: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng
cs.AI
Abstract
La modellazione di sequenze lunghe di comportamenti utente è emersa come una frontiera critica nella raccomandazione generativa. Tuttavia, le soluzioni esistenti affrontano un dilemma: i meccanismi di attenzione lineare raggiungono l'efficienza a scapito della precisione di recupero a causa di una capacità di stato limitata, mentre l'attenzione softmax soffre di un sovraccarico computazionale proibitivo. Per affrontare questa sfida, proponiamo HyTRec, un modello caratterizzato da un'architettura di Attenzione Ibrida che disaccoppia esplicitamente le preferenze stabili a lungo termine dai picchi d'intento a breve termine. Assegnando sequenze storiche massive a un ramo di attenzione lineare e riservando un ramo specializzato di attenzione softmax per le interazioni recenti, il nostro approccio ripristina capacità di recupero precise in contesti di scala industriale che coinvolgono decine di migliaia di interazioni. Per mitigare il ritardo nella cattura di rapidi cambiamenti d'interesse all'interno degli strati lineari, progettiamo inoltre la Temporal-Aware Delta Network (TADN) per valorizzare dinamicamente i segnali comportamentali recenti sopprimendo efficacemente il rumore storico. I risultati empirici su dataset di scala industriale confermano la superiorità del nostro modello, che mantiene una velocità di inferenza lineare e supera i baseline di riferimento, registrando in particolare un miglioramento superiore all'8% nell'Hit Rate per utenti con sequenze ultra-lunghe, mantenendo un'elevata efficienza.
English
Modeling long sequences of user behaviors has emerged as a critical frontier in generative recommendation. However, existing solutions face a dilemma: linear attention mechanisms achieve efficiency at the cost of retrieval precision due to limited state capacity, while softmax attention suffers from prohibitive computational overhead. To address this challenge, we propose HyTRec, a model featuring a Hybrid Attention architecture that explicitly decouples long-term stable preferences from short-term intent spikes. By assigning massive historical sequences to a linear attention branch and reserving a specialized softmax attention branch for recent interactions, our approach restores precise retrieval capabilities within industrial-scale contexts involving ten thousand interactions. To mitigate the lag in capturing rapid interest drifts within the linear layers, we furthermore design Temporal-Aware Delta Network (TADN) to dynamically upweight fresh behavioral signals while effectively suppressing historical noise. Empirical results on industrial-scale datasets confirm the superiority that our model maintains linear inference speed and outperforms strong baselines, notably delivering over 8% improvement in Hit Rate for users with ultra-long sequences with great efficiency.