Abfrage als Anker: Szenario-adaptive Benutzerrepräsentation mittels Large Language Model

papers.abstract

Industrielles Nutzerrepräsentationslernen erfordert eine Balance zwischen robuster Universalität und akuter Aufgabenbezogenheit. Bisherige Paradigmen erzeugen jedoch primär statische, aufgabenagnostische Einbettungen, die divergierende Anforderungen nachgelagerter Szenarien in vereinheitlichten Vektorräumen nur unzureichend vereinen können. Zudem führen heterogene Multi-Source-Daten zu inhärentem Rauschen und Modalitätskonflikten, was die Repräsentationsqualität beeinträchtigt. Wir stellen Query-as-Anchor vor – ein Framework, das Nutzermodellierung von statischer Kodierung zu dynamischer, abfragebewusster Synthese weiterentwickelt. Um Large Language Models (LLMs) mit tiefgehendem Nutzerverständnis auszustatten, konstruieren wir zunächst UserU, einen industriellen Vortrainingsdatensatz, der multimodale Verhaltenssequenzen mit Nutzerverständnissemantik abgleicht. Unsere Q-Anchor-Embedding-Architektur integriert hierarchische Grob-zu-Fein-Encoder via joint contrastive-autoregressiver Optimierung in dual-tower LLMs für abfragebewusste Nutzerrepräsentation. Um die Lücke zwischen allgemeinem Vortraining und spezifischer Geschäftslogik zu überbrücken, führen wir Cluster-based Soft Prompt Tuning ein, das diskriminative latente Strukturen erzwingt und die Modellaufmerksamkeit effektiv mit szenariospezifischen Modalitäten abstimmt. Für das Deployment ermöglicht das Verankern von Abfragen an Sequenzenden KV-Cache-beschleunigte Inferenz mit vernachlässigbarer Latenzzunahme. Evaluationen auf 10 industriellen Alipay-Benchmarks zeigen durchgängige State-of-the-Art-Leistung, hohe Skalierbarkeit und effiziente Deployment-Fähigkeit. Großangelegte Online-A/B-Tests im Alipay-Produktivsystem über zwei reale Szenarien validieren die praktische Wirksamkeit. Unser Code wird zur Veröffentlichung vorbereitet und unter https://github.com/JhCircle/Q-Anchor verfügbar sein.

English

Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.

Abfrage als Anker: Szenario-adaptive Benutzerrepräsentation mittels Large Language Model

Query as Anchor: Scenario-Adaptive User Representation via Large Language Model

papers.abstract

Support