Wie nehmen Nur-Decoder-LLMs Nutzer wahr? Ein Umdenken bei Attention-Masking für das Lernen von Nutzerrepräsentationen
How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
February 11, 2026
papers.authors: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang
cs.AI
papers.abstract
Decoder-only Large Language Models werden zunehmend als Verhaltensencoder für das Lernen von Benutzerrepräsentationen eingesetzt, doch die Auswirkungen von Attention-Masking auf die Qualität von Benutzer-Embeddings sind noch unzureichend erforscht. In dieser Arbeit führen wir eine systematische Untersuchung von kausalen, hybriden und bidirektionalen Attention-Masks innerhalb eines einheitlichen Contrastive-Learning-Frameworks durch, das auf groß angelegten Echtweltdaten von Alipay trainiert wurde und langfristige heterogene Benutzerverhalten integriert. Um die Trainingsdynamik beim Übergang von kausaler zu bidirektionaler Attention zu verbessern, schlagen wir Gradient-Guided Soft Masking vor, ein gradientenbasiertes Pre-Warmup, das vor einem linearen Scheduler angewendet wird und die zukünftige Attention während der Optimierung schrittweise freigibt. Die Auswertung auf 9 industriellen Benchmarks zur Benutzerkognition, die Vorhersage-, Präferenz- und Marketing-Sensitivitätsaufgaben abdecken, zeigt, dass unser Ansatz im Vergleich zu kausalen, hybriden und nur scheduler-basierten Baseline-Modellen konsistent stabileres Training und qualitativ hochwertigere bidirektionale Repräsentationen liefert, während die Kompatibilität mit dem Pre-training von Decodern erhalten bleibt. Insgesamt unterstreichen unsere Ergebnisse die Bedeutung von Masking-Design und Trainingsübergängen bei der Anpassung von Decoder-only-LLMs für effektives Lernen von Benutzerrepräsentationen. Unser Code ist verfügbar unter https://github.com/JhCircle/Deepfind-GGSM.
English
Decoder-only large language models are increasingly used as behavioral encoders for user representation learning, yet the impact of attention masking on the quality of user embeddings remains underexplored. In this work, we conduct a systematic study of causal, hybrid, and bidirectional attention masks within a unified contrastive learning framework trained on large-scale real-world Alipay data that integrates long-horizon heterogeneous user behaviors. To improve training dynamics when transitioning from causal to bidirectional attention, we propose Gradient-Guided Soft Masking, a gradient-based pre-warmup applied before a linear scheduler that gradually opens future attention during optimization. Evaluated on 9 industrial user cognition benchmarks covering prediction, preference, and marketing sensitivity tasks, our approach consistently yields more stable training and higher-quality bidirectional representations compared with causal, hybrid, and scheduler-only baselines, while remaining compatible with decoder pretraining. Overall, our findings highlight the importance of masking design and training transition in adapting decoder-only LLMs for effective user representation learning. Our code is available at https://github.com/JhCircle/Deepfind-GGSM.