질의를 앵커로: 대규모 언어 모델 기반 시나리오 적응형 사용자 표현

초록

산업 규모의 사용자 표현 학습은 강력한 보편성과 세밀한 작업 민감성 사이의 균형을 요구합니다. 그러나 기존 패러다임은 주로 정적이고 작업에 무관심한 임베딩을 생성하며, 이는 통합 벡터 공간 내에서 상이한 다운스트림 시나리오 요구사항을 조화시키는 데 어려움을 겪습니다. 더욱이 이질적인 다중 출처 데이터는 내재적 노이즈와 양식 충돌을 초래하여 표현의 품질을 저하시킵니다. 본 연구는 정적 인코딩에서 동적이고 쿼리 인식 합성으로 사용자 모델링을 전환하는 Query-as-Anchor 프레임워크를 제안합니다. 대규모 언어 모델(LLM)에 깊은 사용자 이해 능력을 부여하기 위해, 먼저 다중 양식 행동 시퀀스와 사용자 이해 의미론을 정렬한 산업 규모의 사전 학습 데이터셋인 UserU를 구축합니다. 또한 Q-Anchor 임베딩 아키텍처는 계층적 coarse-to-fine 인코더를 이중 타워 LLM에 통합하여 쿼리 인식 사용자 표현을 위한 공동 대조-자기회귀 최적화를 수행합니다. 일반적인 사전 학습과 특화된 비즈니스 로직 간의 격차를 해소하기 위해, 클러스터 기반 소프트 프롬프트 튜닝을 추가로 도입하여 판별 잠재 구조를 강화하고 모델의 주의를 시나리오 특정 양식에 효과적으로 정렬합니다. 배포를 위해 시퀀스 말단에 쿼리를 고정함으로써 KV 캐시 가속 추론이 가능하며 증가 지연 시간은 무시할 수준입니다. Alipay의 10개 산업 벤치마크에 대한 평가에서 일관된 SOTA 성능, 강력한 확장성 및 효율적인 배포 가능성을 확인했습니다. Alipay 프로덕션 시스템 내 두 가지 실제 시나리오에서의 대규모 온라인 A/B 테스트는 이를 추가로 검증합니다. 본 연구의 코드는 공개 예정이며 https://github.com/JhCircle/Q-Anchor에서 확인할 수 있을 것입니다.

English

Industrial-scale user representation learning requires balancing robust universality with acute task-sensitivity. However, existing paradigms primarily yield static, task-agnostic embeddings that struggle to reconcile the divergent requirements of downstream scenarios within unified vector spaces. Furthermore, heterogeneous multi-source data introduces inherent noise and modality conflicts, degrading representation. We propose Query-as-Anchor, a framework shifting user modeling from static encoding to dynamic, query-aware synthesis. To empower Large Language Models (LLMs) with deep user understanding, we first construct UserU, an industrial-scale pre-training dataset that aligns multi-modal behavioral sequences with user understanding semantics, and our Q-Anchor Embedding architecture integrates hierarchical coarse-to-fine encoders into dual-tower LLMs via joint contrastive-autoregressive optimization for query-aware user representation. To bridge the gap between general pre-training and specialized business logic, we further introduce Cluster-based Soft Prompt Tuning to enforce discriminative latent structures, effectively aligning model attention with scenario-specific modalities. For deployment, anchoring queries at sequence termini enables KV-cache-accelerated inference with negligible incremental latency. Evaluations on 10 Alipay industrial benchmarks show consistent SOTA performance, strong scalability, and efficient deployment. Large-scale online A/B testing in Alipay's production system across two real-world scenarios further validates its practical effectiveness. Our code is prepared for public release and will be available at: https://github.com/JhCircle/Q-Anchor.

질의를 앵커로: 대규모 언어 모델 기반 시나리오 적응형 사용자 표현

Query as Anchor: Scenario-Adaptive User Representation via Large Language Model

초록

Support