Comment les LLM à décodeur uniquement perçoivent-ils les utilisateurs ? Repenser le masquage de l'attention pour l'apprentissage de la représentation utilisateur
How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
February 11, 2026
papers.authors: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang
cs.AI
papers.abstract
Les grands modèles de langage de type décodeur uniquement sont de plus en plus utilisés comme encodeurs comportementaux pour l'apprentissage de représentations d'utilisateurs, mais l'impact du masquage de l'attention sur la qualité des embeddings utilisateurs reste peu exploré. Dans ce travail, nous menons une étude systématique des masques d'attention causals, hybrides et bidirectionnels dans un cadre d'apprentissage par contraste unifié, entraîné sur des données Alipay à grande échelle intégrant des comportements utilisateurs hétérogènes sur le long terme. Pour améliorer la dynamique d'entraînement lors de la transition entre l'attention causale et bidirectionnelle, nous proposons le Masquage Souple Guidé par Gradient, un préchauffage basé sur les gradients appliqué avant un planificateur linéaire qui ouvre progressivement l'attention future durant l'optimisation. Évaluée sur 9 benchmarks industriels de cognition utilisateur couvrant des tâches de prédiction, de préférence et de sensibilité marketing, notre approche produit systématiquement un entraînement plus stable et des représentations bidirectionnelles de meilleure qualité comparée aux bases de référence causales, hybrides et utilisant uniquement un planificateur, tout en restant compatible avec le pré-entraînement des décodeurs. Globalement, nos résultats soulignent l'importance de la conception du masquage et de la transition d'entraînement pour adapter les LLMs de type décodeur uniquement à un apprentissage efficace des représentations utilisateurs. Notre code est disponible à l'adresse https://github.com/JhCircle/Deepfind-GGSM.
English
Decoder-only large language models are increasingly used as behavioral encoders for user representation learning, yet the impact of attention masking on the quality of user embeddings remains underexplored. In this work, we conduct a systematic study of causal, hybrid, and bidirectional attention masks within a unified contrastive learning framework trained on large-scale real-world Alipay data that integrates long-horizon heterogeneous user behaviors. To improve training dynamics when transitioning from causal to bidirectional attention, we propose Gradient-Guided Soft Masking, a gradient-based pre-warmup applied before a linear scheduler that gradually opens future attention during optimization. Evaluated on 9 industrial user cognition benchmarks covering prediction, preference, and marketing sensitivity tasks, our approach consistently yields more stable training and higher-quality bidirectional representations compared with causal, hybrid, and scheduler-only baselines, while remaining compatible with decoder pretraining. Overall, our findings highlight the importance of masking design and training transition in adapting decoder-only LLMs for effective user representation learning. Our code is available at https://github.com/JhCircle/Deepfind-GGSM.