Vraag als Anker: Scenario-adaptieve Gebruikersrepresentatie via Groot Taalmodel
Query as Anchor: Scenario-Adaptive User Representation via Large Language Model
February 16, 2026
Auteurs: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie
cs.AI
Samenvatting
Industriële schaalgrootte bij het leren van gebruikersrepresentaties vereist een balans tussen robuuste universaliteit en acute taakgevoeligheid. Bestaande paradigma's produceren echter voornamelijk statische, taakonafhankelijke inbeddingen die moeite hebben om de uiteenlopende vereisten van downstream-scenario's binnen verenigde vectorruimten te verzoenen. Bovendien introduceert heterogene multi-brongegevens inherente ruis en modaliteitsconflicten, wat de representatiedegradatie versterkt. Wij stellen Query-as-Anchor voor, een raamwerk dat gebruikersmodellering verschuift van statische codering naar dynamische, querybewuste synthese. Om Large Language Models (LLM's) te voorzien van diepgaand gebruikersbegrip, construeren we eerst UserU, een industriële pre-trainingsdataset die multimodale gedragssequenties uitlijnt met gebruikersbegripsemantiek. Onze Q-Anchor Embedding-architectuur integreert hiërarchische coarse-to-fine encoders in dual-tower LLM's via gezamenlijke contrastief-autoregressieve optimalisatie voor querybewuste gebruikersrepresentatie. Om de kloof tussen algemene pre-training en gespecialiseerde bedrijfslogica te overbruggen, introduceren we verder Cluster-based Soft Prompt Tuning om onderscheidende latente structuren af te dwingen, waardoor de modelaandacht effectief wordt uitgelijnd met scenariospecifieke modaliteiten. Voor implementatie maakt het verankeren van queries aan sequentietermini KV-cache-versnelde inferentie mogelijk met verwaarloosbare incrementele latentie. Evaluaties op 10 Alipay-industriële benchmarks tonen consistente state-of-the-art prestaties, sterke schaalbaarheid en efficiënte implementatie. Grootschalige online A/B-testen in het productiesysteem van Alipay in twee real-world scenario's valideren verder de praktische effectiviteit. Onze code is voorbereid voor openbare release en zal beschikbaar zijn op: https://github.com/JhCircle/Q-Anchor.
English
Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.