Hoe nemen decoder-only LLM's gebruikers waar? Een heroverweging van attention masking voor gebruikersrepresentatieleren.
How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
February 11, 2026
Auteurs: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang
cs.AI
Samenvatting
Decoder-only grote taalmodellen worden steeds vaker gebruikt als gedragsencoders voor gebruikersrepresentatieleren, maar de impact van attention masking op de kwaliteit van gebruikersembeddingen blijft onderbelicht. In dit werk voeren we een systematische studie uit naar causale, hybride en bidirectionele attention masks binnen een uniform contrastief leerframework, getraind op grootschalige real-world Alipay-gegevens die langetermijn heterogeen gebruikersgedrag integreren. Om de traindynamiek te verbeteren bij de overgang van causale naar bidirectionele attention, stellen we Gradient-Guided Soft Masking voor, een op gradienten gebaseerde pre-warmup toegepast vóór een lineaire scheduler die geleidelijk toekomstige attention vrijgeeft tijdens optimalisatie. Geëvalueerd op 9 industriële gebruikerscognitiebenchmarks die voorspellings-, voorkeurs- en marketinggevoeligheidstaken beslaan, levert onze aanpak consistent stabielere training en hogere kwaliteit bidirectionele representaties op in vergelijking met causale, hybride en scheduler-only baseline-methoden, terwijl compatibiliteit met decoder pretraining behouden blijft. Over het algemeen benadrukken onze bevindingen het belang van masking-ontwerp en trainovergang bij het aanpassen van decoder-only LLM's voor effectief gebruikersrepresentatieleren. Onze code is beschikbaar op https://github.com/JhCircle/Deepfind-GGSM.
English
Decoder-only large language models are increasingly used as behavioral encoders for user representation learning, yet the impact of attention masking on the quality of user embeddings remains underexplored. In this work, we conduct a systematic study of causal, hybrid, and bidirectional attention masks within a unified contrastive learning framework trained on large-scale real-world Alipay data that integrates long-horizon heterogeneous user behaviors. To improve training dynamics when transitioning from causal to bidirectional attention, we propose Gradient-Guided Soft Masking, a gradient-based pre-warmup applied before a linear scheduler that gradually opens future attention during optimization. Evaluated on 9 industrial user cognition benchmarks covering prediction, preference, and marketing sensitivity tasks, our approach consistently yields more stable training and higher-quality bidirectional representations compared with causal, hybrid, and scheduler-only baselines, while remaining compatible with decoder pretraining. Overall, our findings highlight the importance of masking design and training transition in adapting decoder-only LLMs for effective user representation learning. Our code is available at https://github.com/JhCircle/Deepfind-GGSM.