HyTRec: Uma Arquitetura Híbrida de Atenção Temporal para Recomendação Sequencial de Comportamentos Longos

HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

February 20, 2026

Autores: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng

cs.AI

Resumo

A modelagem de longas sequências de comportamentos do usuário emergiu como uma fronteira crítica na recomendação generativa. No entanto, as soluções existentes enfrentam um dilema: os mecanismos de atenção linear alcançam eficiência ao custo da precisão de recuperação devido à capacidade limitada de estado, enquanto a atenção softmax sofre com uma sobrecarga computacional proibitiva. Para enfrentar este desafio, propomos o HyTRec, um modelo que apresenta uma arquitetura de Atenção Híbrida que desacopla explicitamente as preferências estáveis de longo prazo dos picos de intenção de curto prazo. Atribuindo sequências históricas massivas a um ramo de atenção linear e reservando um ramo especializado de atenção softmax para interações recentes, nossa abordagem restaura capacidades de recuperação precisas em contextos de escala industrial envolvendo dez mil interações. Para mitigar o atraso na captura de mudanças rápidas de interesse dentro das camadas lineares, projetamos ainda a Rede Delta com Consciência Temporal (TADN) para ponderar dinamicamente os sinais comportamentais recentes, suprimindo efetivamente o ruído histórico. Resultados empíricos em conjuntos de dados de escala industrial confirmam a superioridade do nosso modelo, que mantém a velocidade de inferência linear e supera bases de comparação robustas, destacando-se por entregar uma melhoria de mais de 8% na Taxa de Acerto para usuários com sequências ultra-longas, com grande eficiência.

English

Modeling long sequences of user behaviors has emerged as a critical frontier in generative recommendation. However, existing solutions face a dilemma: linear attention mechanisms achieve efficiency at the cost of retrieval precision due to limited state capacity, while softmax attention suffers from prohibitive computational overhead. To address this challenge, we propose HyTRec, a model featuring a Hybrid Attention architecture that explicitly decouples long-term stable preferences from short-term intent spikes. By assigning massive historical sequences to a linear attention branch and reserving a specialized softmax attention branch for recent interactions, our approach restores precise retrieval capabilities within industrial-scale contexts involving ten thousand interactions. To mitigate the lag in capturing rapid interest drifts within the linear layers, we furthermore design Temporal-Aware Delta Network (TADN) to dynamically upweight fresh behavioral signals while effectively suppressing historical noise. Empirical results on industrial-scale datasets confirm the superiority that our model maintains linear inference speed and outperforms strong baselines, notably delivering over 8% improvement in Hit Rate for users with ultra-long sequences with great efficiency.