Запрос как якорь: сценарий-адаптивное представление пользователя с помощью больших языковых моделей
Query as Anchor: Scenario-Adaptive User Representation via Large Language Model
February 16, 2026
Авторы: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie
cs.AI
Аннотация
Промышленное обучение представлений пользователей требует баланса между устойчивой универсальностью и острой чувствительностью к задаче. Однако существующие парадигмы в основном создают статические, не зависящие от задачи эмбеддинги, которые с трудом согласуют противоречивые требования различных сценариев в единых векторных пространствах. Более того, гетерогенные многоканальные данные вносят присущие им шумы и модальные конфликты, ухудшая качество представлений. Мы предлагаем Query-as-Anchor — фреймворк, который переводит моделирование пользователей со статического кодирования на динамический, учитывающий запрос синтез. Чтобы наделить большие языковые модели (LLM) глубоким пониманием пользователей, мы сначала создали UserU, промышленный набор данных для предварительного обучения, который выравнивает многомодальные поведенческие последовательности с семантикой понимания пользователя. Наша архитектура Q-Anchor Embedding интегрирует иерархические кодировщики от грубого к точному в двухбашенные LLM посредством совместной контрастно-авторегрессионной оптимизации для получения учитывающего запрос представления пользователя. Чтобы сократить разрыв между общим предварительным обучением и специализированной бизнес-логикой, мы дополнительно вводим кластерную настройку мягких промптов для обеспечения дискриминативных латентных структур, эффективно выравнивая внимание модели со специфичными для сценария модальностями. Для развертывания, якорение запросов в концах последовательностей позволяет использовать ускоренный KV-кэшем вывод с пренебрежимо малым дополнительным временем задержки. Оценки на 10 промышленных бенчмарках Alipay демонстрируют стабильное состояние современных достижений (SOTA), высокую масштабируемость и эффективное развертывание. Крупномасштабное онлайн A/B-тестирование в производственной системе Alipay в двух реальных сценариях дополнительно подтверждает практическую эффективность. Наш код подготовлен для публичного релиза и будет доступен по адресу: https://github.com/JhCircle/Q-Anchor.
English
Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.