Query come Ancora: Rappresentazione Utente Adattiva allo Scenario tramite Modelli Linguistici di Grande Dimensione
Query as Anchor: Scenario-Adaptive User Representation via Large Language Model
February 16, 2026
Autori: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie
cs.AI
Abstract
L'apprendimento della rappresentazione degli utenti su scala industriale richiede un bilanciamento tra robusta universalità e acuta sensibilità al compito. Tuttavia, i paradigmi esistenti producono principalmente embedding statici e indipendenti dal compito, che faticano a conciliare i requisiti divergenti degli scenari downstream all'interno di spazi vettoriali unificati. Inoltre, dati eterogenei multi-sorgente introducono rumore intrinseco e conflitti di modalità, degradando la rappresentazione. Proponiamo Query-as-Anchor, un framework che sposta la modellazione utente dalla codifica statica a una sintesi dinamica e consapevole della query. Per dotare i Large Language Model (LLM) di una profonda comprensione dell'utente, costruiamo prima UserU, un dataset di pre-addestramento su scala industriale che allinea sequenze comportamentali multi-modali con la semantica della comprensione dell'utente. La nostra architettura Q-Anchor Embedding integra encoder gerarchici coarse-to-fine in LLM a doppia torre tramite un'ottimizzazione congiunta contrastivo-autoregressiva per la rappresentazione utente consapevole della query. Per colmare il divario tra il pre-addestramento generale e la logica di business specializzata, introduciamo inoltre il Cluster-based Soft Prompt Tuning per imporre strutture latenti discriminative, allineando efficacemente l'attenzione del modello con le modalità specifiche dello scenario. Per il deployment, l'ancoraggio delle query alle estremità delle sequenze abilita un'inferenza accelerata da KV-cache con una latenza incrementale trascurabile. Le valutazioni su 10 benchmark industriali di Alipay mostrano prestazioni SOTA consistenti, una forte scalabilità e un deployment efficiente. Test A/B online su larga scala nel sistema di produzione di Alipay, in due scenari reali, convalidano ulteriormente la sua efficacia pratica. Il nostro codice è pronto per il rilascio pubblico e sarà disponibile all'indirizzo: https://github.com/JhCircle/Q-Anchor.
English
Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.