Requête comme Ancre : Représentation Utilisateur Adaptative au Scénario via un Grand Modèle de Langage
Query as Anchor: Scenario-Adaptive User Representation via Large Language Model
February 16, 2026
papers.authors: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie
cs.AI
papers.abstract
L'apprentissage de représentation d'utilisateurs à l'échelle industrielle nécessite un équilibre entre une robuste universalité et une sensibilité aiguë aux tâches. Cependant, les paradigmes existants produisent principalement des embeddings statiques et agnostiques aux tâches, qui peinent à concilier les exigences divergentes des scénarios en aval au sein d'espaces vectoriels unifiés. De plus, les données hétérogènes multi-sources introduisent un bruit inhérent et des conflits de modalité, dégradant la représentation. Nous proposons Query-as-Anchor, un cadre qui fait évoluer la modélisation utilisateur d'un encodage statique vers une synthèse dynamique et sensible à la requête. Pour doter les Grands Modèles de Langage (LLMs) d'une compréhension approfondie des utilisateurs, nous construisons d'abord UserU, un jeu de données de pré-entraînement à l'échelle industrielle qui aligne des séquences comportementales multimodales avec une sémantique de compréhension utilisateur. Notre architecture Q-Anchor Embedding intègre des encodeurs hiérarchiques allant du grossier au fin dans des LLMs à double tour via une optimisation conjointe contrastive et autorégressive pour une représentation utilisateur sensible à la requête. Pour combler l'écart entre le pré-entraînement général et la logique métier spécialisée, nous introduisons en outre le Réglage par Invites Souples basé sur les Clusters pour imposer des structures latentes discriminantes, alignant efficacement l'attention du modèle avec les modalités spécifiques au scénario. Pour le déploiement, l'ancrage des requêtes aux extrémités des séquences permet une inférence accélérée par cache KV avec une latence incrémentielle négligeable. Les évaluations sur 10 benchmarks industriels d'Alipay montrent des performances SOTA constantes, une forte évolutivité et un déploiement efficace. Des tests A/B en ligne à grande échelle dans le système de production d'Alipay sur deux scénarios réels valident en outre son efficacité pratique. Notre code est préparé pour une diffusion publique et sera disponible à l'adresse : https://github.com/JhCircle/Q-Anchor.
English
Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.