クエリをアンカーとして：大規模言語モデルによるシナリオ適応型ユーザー表現（またはより自然な日本語表現として）問い合わせを基点とした大規模言語モデルによる状況適応型ユーザー表現

要旨

産業規模のユーザー表現学習には、頑健な普遍性と鋭敏なタスク感応性のバランスが求められる。しかし、既存のパラダイムでは主に静的なタスク非依存の埋め込みが生成され、統一されたベクトル空間内で下流シナリオの相反する要求を調和させることに課題を抱えている。さらに、異種マルチソースデータは固有のノイズとモダリティ衝突をもたらし、表現品質を劣化させる。我々はQuery-as-Anchorを提案する。これはユーザーモデリングを静的な符号化から動的でクエリ認識型の合成へと転換するフレームワークである。大規模言語モデル（LLM）に深いユーザー理解能力を付与するため、まずマルチモーダル行動シーケンスとユーザー理解意味論を整合させた産業規模の事前学習データセットUserUを構築し、Q-Anchor埋め込みアーキテクチャでは階層的な粗密エンコーダをデュアルタワーLLMに統合し、対照的自己回帰最適化による共同学習でクエリ認識型ユーザー表現を実現する。一般的な事前学習と専門的な業務ロジックの間の隔たりを埋めるため、クラスタベースのソフトプロンプトチューニングを導入し、識別的な潜在構造を強化することでモデルの注意機構をシナリオ特有のモダリティに効果的に整合させる。デプロイメントでは、シーケンス末端にクエリを固定化することでKVキャッシュ加速推論を可能にし、無視できる程度の追加遅延で処理を実現する。Alipayの10の産業ベンチマークによる評価では、一貫したSOTA性能、強力な拡張性、効率的なデプロイメント性能を実証した。Alipay生産システムにおける2つの実世界シナリオでの大規模オンラインA/Bテストでは、その実用的有効性をさらに裏付けている。コードは公開準備が整っており、https://github.com/JhCircle/Q-Anchor で公開予定である。

English

Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.

クエリをアンカーとして：大規模言語モデルによるシナリオ適応型ユーザー表現（またはより自然な日本語表現として）問い合わせを基点とした大規模言語モデルによる状況適応型ユーザー表現

Query as Anchor: Scenario-Adaptive User Representation via Large Language Model

要旨

Support