Как декодерные языковые модели воспринимают пользователей? Переосмысление механизма маскирования внимания для обучения представлений пользователей

How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning

February 11, 2026

Авторы: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang

cs.AI

Аннотация

Односторонние декодерные большие языковые модели все чаще используются в качестве поведенческих энкодеров для обучения представлений пользователей, однако влияние маскирования внимания на качество пользовательских эмбеддингов остается малоизученным. В данной работе мы проводим систематическое исследование каузальных, гибридных и двунаправленных масок внимания в рамках единой контрастной архитектуры, обученной на крупномасштабных реальных данных Alipay, интегрирующих долгосрочные гетерогенные поведенческие паттерны пользователей. Для улучшения динамики обучения при переходе от каузального к двунаправленному вниманию мы предлагаем метод градиентно-управляемого мягкого маскирования — градиентную предразминку, применяемую перед линейным планировщиком, который постепенно открывает будущее внимание в процессе оптимизации. Оценка на 9 промышленных бенчмарках пользовательского восприятия, охватывающих задачи прогнозирования, предпочтений и маркетинговой чувствительности, демонстрирует, что наш подход обеспечивает более стабильное обучение и двунаправленные представления более высокого качества по сравнению с каузальными, гибридными базовыми методами и методами только с планировщиком, сохраняя совместимость с предобучением декодера. В целом, наши результаты подчеркивают важность проектирования маскирования и плавного перехода обучения при адаптации односторонних декодерных LLM для эффективного обучения пользовательских представлений. Наш код доступен по адресу https://github.com/JhCircle/Deepfind-GGSM.

English

Decoder-only large language models are increasingly used as behavioral encoders for user representation learning, yet the impact of attention masking on the quality of user embeddings remains underexplored. In this work, we conduct a systematic study of causal, hybrid, and bidirectional attention masks within a unified contrastive learning framework trained on large-scale real-world Alipay data that integrates long-horizon heterogeneous user behaviors. To improve training dynamics when transitioning from causal to bidirectional attention, we propose Gradient-Guided Soft Masking, a gradient-based pre-warmup applied before a linear scheduler that gradually opens future attention during optimization. Evaluated on 9 industrial user cognition benchmarks covering prediction, preference, and marketing sensitivity tasks, our approach consistently yields more stable training and higher-quality bidirectional representations compared with causal, hybrid, and scheduler-only baselines, while remaining compatible with decoder pretraining. Overall, our findings highlight the importance of masking design and training transition in adapting decoder-only LLMs for effective user representation learning. Our code is available at https://github.com/JhCircle/Deepfind-GGSM.