HyTRec: Una Arquitectura Híbrida de Atención Temporal para la Recomendación Secuencial de Comportamientos Largos
HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation
February 20, 2026
Autores: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng
cs.AI
Resumen
El modelado de secuencias largas de comportamiento de usuarios se ha convertido en una frontera crítica en la recomendación generativa. Sin embargo, las soluciones existentes enfrentan un dilema: los mecanismos de atención lineal logran eficiencia a costa de la precisión de recuperación debido a una capacidad de estado limitada, mientras que la atención softmax sufre de una sobrecarga computacional prohibitiva. Para abordar este desafío, proponemos HyTRec, un modelo que presenta una arquitectura de Atención Híbrida que desacopla explícitamente las preferencias estables a largo plazo de los picos de intención a corto plazo. Al asignar secuencias históricas masivas a una rama de atención lineal y reservar una rama especializada de atención softmax para las interacciones recientes, nuestro enfoque restaura capacidades de recuperación precisas dentro de contextos de escala industrial que involucran decenas de miles de interacciones. Para mitigar el retraso en la captura de cambios rápidos de interés dentro de las capas lineales, además diseñamos la Red Delta con Conciencia Temporal (TADN) para ponderar dinámicamente las señales conductuales frescas mientras suprime efectivamente el ruido histórico. Los resultados empíricos en conjuntos de datos de escala industrial confirman la superioridad de nuestro modelo, que mantiene una velocidad de inferencia lineal y supera a los baselines sólidos, logrando notablemente una mejora de más del 8% en la Tasa de Aciertos para usuarios con secuencias ultra largas, con gran eficiencia.
English
Modeling long sequences of user behaviors has emerged as a critical frontier in generative recommendation. However, existing solutions face a dilemma: linear attention mechanisms achieve efficiency at the cost of retrieval precision due to limited state capacity, while softmax attention suffers from prohibitive computational overhead. To address this challenge, we propose HyTRec, a model featuring a Hybrid Attention architecture that explicitly decouples long-term stable preferences from short-term intent spikes. By assigning massive historical sequences to a linear attention branch and reserving a specialized softmax attention branch for recent interactions, our approach restores precise retrieval capabilities within industrial-scale contexts involving ten thousand interactions. To mitigate the lag in capturing rapid interest drifts within the linear layers, we furthermore design Temporal-Aware Delta Network (TADN) to dynamically upweight fresh behavioral signals while effectively suppressing historical noise. Empirical results on industrial-scale datasets confirm the superiority that our model maintains linear inference speed and outperforms strong baselines, notably delivering over 8% improvement in Hit Rate for users with ultra-long sequences with great efficiency.