Consulta como Ancla: Representación de Usuario Adaptativa a Escenarios mediante Modelos de Lenguaje Grande
Query as Anchor: Scenario-Adaptive User Representation via Large Language Model
February 16, 2026
Autores: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie
cs.AI
Resumen
El aprendizaje de representación de usuarios a escala industrial requiere equilibrar una robusta universalidad con una aguda sensibilidad a la tarea. Sin embargo, los paradigmas existentes producen principalmente *embeddings* estáticos y agnósticos a la tarea que luchan por reconciliar los requisitos divergentes de los escenarios posteriores dentro de espacios vectoriales unificados. Además, los datos heterogéneos multi-fuente introducen ruido inherente y conflictos de modalidad, degradando la representación. Proponemos *Query-as-Anchor*, un marco que cambia el modelado de usuarios de una codificación estática a una síntesis dinámica y consciente de la consulta. Para dotar a los Modelos de Lenguaje Grande (*Large Language Models*, LLMs) de una comprensión profunda del usuario, primero construimos UserU, un conjunto de datos de pre-entrenamiento a escala industrial que alinea secuencias de comportamiento multimodales con semánticas de comprensión del usuario, y nuestra arquitectura Q-Anchor Embedding integra codificadores jerárquicos de coarse-to-fine en LLMs de doble torre mediante una optimización conjunta contrastiva-autoregresiva para la representación de usuarios consciente de la consulta. Para salvar la brecha entre el pre-entrenamiento general y la lógica empresarial especializada, introducimos además el *Cluster-based Soft Prompt Tuning* para imponer estructuras latentes discriminativas, alineando efectivamente la atención del modelo con modalidades específicas del escenario. Para el despliegue, el anclaje de consultas en los extremos de la secuencia permite una inferencia acelerada por *KV-cache* con una latencia incremental insignificante. Las evaluaciones en 10 benchmarks industriales de Alipay muestran un rendimiento SOTA consistente, una fuerte escalabilidad y un despliegue eficiente. Las pruebas A/B online a gran escala en el sistema de producción de Alipay en dos escenarios del mundo real validan aún más su efectividad práctica. Nuestro código está preparado para su lanzamiento público y estará disponible en: https://github.com/JhCircle/Q-Anchor.
English
Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.