¿Cómo Perciben los Usuarios los LLMs Solo de Decodificación? Replanteamiento del Enmascaramiento de Atención para el Aprendizaje de Representaciones de Usuarios

How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning

February 11, 2026

Autores: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang

cs.AI

Resumen

Los modelos de lenguaje grandes de solo decodificador se utilizan cada vez más como codificadores conductuales para el aprendizaje de representaciones de usuarios; sin embargo, el impacto del enmascaramiento de atención en la calidad de los embeddings de usuario sigue estando poco explorado. En este trabajo, realizamos un estudio sistemático de máscaras de atención causales, híbridas y bidireccionales dentro de un marco unificado de aprendizaje contrastivo, entrenado en datos a gran escala del mundo real de Alipay que integra comportamientos de usuario heterogéneos de largo horizonte. Para mejorar la dinámica de entrenamiento al transicionar de atención causal a bidireccional, proponemos Enmascaramiento Suave Guiado por Gradientes, un precalentamiento basado en gradientes aplicado antes de un programador lineal que abre gradualmente la atención futura durante la optimización. Evaluado en 9 benchmarks industriales de cognición de usuario que cubren tareas de predicción, preferencia y sensibilidad de marketing, nuestro enfoque genera consistentemente un entrenamiento más estable y representaciones bidireccionales de mayor calidad en comparación con líneas base causales, híbridas y solo con programador, manteniendo la compatibilidad con el preentrenamiento del decodificador. En general, nuestros hallazgos destacan la importancia del diseño del enmascaramiento y la transición de entrenamiento para adaptar los LLMs de solo decodificador a un aprendizaje efectivo de representaciones de usuario. Nuestro código está disponible en https://github.com/JhCircle/Deepfind-GGSM.

English

Decoder-only large language models are increasingly used as behavioral encoders for user representation learning, yet the impact of attention masking on the quality of user embeddings remains underexplored. In this work, we conduct a systematic study of causal, hybrid, and bidirectional attention masks within a unified contrastive learning framework trained on large-scale real-world Alipay data that integrates long-horizon heterogeneous user behaviors. To improve training dynamics when transitioning from causal to bidirectional attention, we propose Gradient-Guided Soft Masking, a gradient-based pre-warmup applied before a linear scheduler that gradually opens future attention during optimization. Evaluated on 9 industrial user cognition benchmarks covering prediction, preference, and marketing sensitivity tasks, our approach consistently yields more stable training and higher-quality bidirectional representations compared with causal, hybrid, and scheduler-only baselines, while remaining compatible with decoder pretraining. Overall, our findings highlight the importance of masking design and training transition in adapting decoder-only LLMs for effective user representation learning. Our code is available at https://github.com/JhCircle/Deepfind-GGSM.