Consulta como Âncora: Representação de Usuário Adaptativa a Cenários via Modelo de Linguagem de Grande Porte
Query as Anchor: Scenario-Adaptive User Representation via Large Language Model
February 16, 2026
Autores: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie
cs.AI
Resumo
A aprendizagem de representação de utilizadores em escala industrial exige um equilíbrio entre uma robusta universalidade e uma aguda sensibilidade à tarefa. No entanto, os paradigmas existentes produzem principalmente *embeddings* estáticos e independentes da tarefa, que lutam para reconciliar os requisitos divergentes de cenários subsequentes dentro de espaços vetoriais unificados. Além disso, dados heterogéneos de múltiplas fontes introduzem ruído inerente e conflitos de modalidade, degradando a representação. Propomos o *Query-as-Anchor*, um *framework* que muda a modelação de utilizadores de uma codificação estática para uma síntese dinâmica e consciente da consulta. Para capacitar os Modelos de Linguagem de Grande Escala (*Large Language Models* - LLMs) com uma compreensão profunda do utilizador, construímos primeiro o UserU, um conjunto de dados de pré-treinamento em escala industrial que alinha sequências comportamentais multimodais com semânticas de compreensão do utilizador, e a nossa arquitetura Q-Anchor Embedding integra codificadores hierárquicos do geral-para-o-detalhado em LLMs de torre dupla através de uma otimização conjunta contrastiva-autorregressiva para representação do utilizador consciente da consulta. Para colmatar o fosso entre o pré-treinamento geral e a lógica de negócio especializada, introduzimos ainda o *Cluster-based Soft Prompt Tuning* para impor estruturas latentes discriminativas, alinhando eficazmente a atenção do modelo com modalidades específicas do cenário. Para implantação, a ancoragem de consultas no término das sequências permite inferência acelerada por *KV-cache* com latência incremental insignificante. As avaliações em 10 *benchmarks* industriais do Alipay mostram um desempenho SOTA consistente, forte escalabilidade e implantação eficiente. Testes A/B online em larga escala no sistema de produção do Alipay em dois cenários do mundo real validam ainda mais a sua eficácia prática. O nosso código está preparado para lançamento público e estará disponível em: https://github.com/JhCircle/Q-Anchor.
English
Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.