SAIL-임베딩 기술 보고서: 오므니-모달 임베딩 파운데이션 모델

초록

멀티모달 임베딩 모델은 다양한 크로스모달 작업을 가능하게 하는 정보성 높은 통합 표현을 생성하는 것을 목표로 합니다. CLIP 기반의 듀얼-타워 아키텍처에서 대규모 비전-언어 모델로의 진화 과정에서 유망한 발전이 있었음에도 불구하고, 기존 연구들은 여전히 현실 세계의 애플리케이션과 비즈니스 시나리오에서 제한된 모달리티 지원, 불안정한 훈련 메커니즘, 산업 도메인 간의 격차와 같은 불가피한 문제에 직면해 있습니다. 본 연구에서는 이러한 문제를 맞춤형 훈련 전략과 아키텍처 설계를 통해 해결하는 오므니모달 임베딩 기반 모델인 SAIL-Embedding을 소개합니다. 최적화 과정에서, 우리는 표현 학습의 다면적 효과를 증진시키기 위해 다단계 훈련 방식을 제안합니다. 구체적으로, 콘텐츠 인지적 점진적 훈련은 모델의 다양한 다운스트림 작업에 대한 적응력을 강화하고 풍부한 크로스모달 숙련도를 습득하는 것을 목표로 합니다. 협업 인지적 추천 강화 훈련은 시퀀스-투-아이템 및 ID-투-아이템 임베딩에서 지식을 추출하고 사용자의 역사적 관심사를 발굴함으로써 추천 시나리오에 맞게 멀티모달 표현을 더욱 적응시킵니다. 동시에, 우리는 모델 훈련의 유연성과 일반화 능력을 강화하기 위해 확률적 전문화와 데이터셋 기반 패턴 매칭을 개발합니다. 실험 결과는 SAIL-Embedding이 다양한 검색 작업에서 다른 방법들에 비해 SOTA 성능을 달성함을 보여줍니다. 우리 모델과 통합된 다양한 현실 세계 시나리오에서의 온라인 실험에서는 추천 경험의 중요한 지표인 Lifetime (LT)이 크게 증가하는 것을 관찰했습니다. 예를 들어, Douyin-Selected 시나리오에서 모델은 7일 LT 이득 +0.158%와 14일 LT 이득 +0.144%를 제공합니다. Douyin 피드 순위 모델의 경우, SAIL-Embedding이 생성한 매치 특징은 +0.08% AUC 이득을 가져옵니다.

English

Multimodal embedding models aim to yield informative unified representations that empower diverse cross-modal tasks. Despite promising developments in the evolution from CLIP-based dual-tower architectures to large vision-language models, prior works still face unavoidable challenges in real-world applications and business scenarios, such as the limited modality support, unstable training mechanisms, and industrial domain gaps. In this work, we introduce SAIL-Embedding, an omni-modal embedding foundation model that addresses these issues through tailored training strategies and architectural design. In the optimization procedure, we propose a multi-stage training scheme to boost the multifaceted effectiveness of representation learning. Specifically, the content-aware progressive training aims to enhance the model's adaptability to diverse downstream tasks and master enriched cross-modal proficiency. The collaboration-aware recommendation enhancement training further adapts multimodal representations for recommendation scenarios by distilling knowledge from sequence-to-item and ID-to-item embeddings while mining user historical interests. Concurrently, we develop the stochastic specialization and dataset-driven pattern matching to strengthen model training flexibility and generalizability. Experimental results show that SAIL-Embedding achieves SOTA performance compared to other methods in different retrieval tasks. In online experiments across various real-world scenarios integrated with our model, we observe a significant increase in Lifetime (LT), which is a crucial indicator for the recommendation experience. For instance, the model delivers the 7-day LT gain of +0.158% and the 14-day LT gain of +0.144% in the Douyin-Selected scenario. For the Douyin feed rank model, the match features produced by SAIL-Embedding yield a +0.08% AUC gain.

SAIL-임베딩 기술 보고서: 오므니-모달 임베딩 파운데이션 모델

SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

초록

Support