SAIL-Embedding Technisch Rapport: Omni-modale Embedding Fundamentmodel

SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

October 14, 2025

Auteurs: Lin Lin, Jiefeng Long, Zhihe Wan, Yuchi Wang, Dingkang Yang, Shuang Yang, Yueyang Yao, Xu Chen, Zirui Guo, Shengqiang Li, Weiran Li, Hanyu Li, Yaling Mou, Yan Qiu, Haiyang Yu, Xiao Liang, Hongsheng Li, Chao Feng

cs.AI

Samenvatting

Multimodale inbeddingsmodellen streven naar het creëren van informatieve, verenigde representaties die diverse cross-modale taken mogelijk maken. Ondanks veelbelovende ontwikkelingen in de evolutie van CLIP-gebaseerde dual-tower-architecturen naar grote visie-taalmodellen, worden eerdere werken nog steeds geconfronteerd met onvermijdelijke uitdagingen in real-world toepassingen en zakelijke scenario's, zoals beperkte modale ondersteuning, instabiele trainingsmechanismen en industriële domeinkloof. In dit werk introduceren we SAIL-Embedding, een omni-modale inbeddingsfundamentmodel dat deze problemen aanpakt via op maat gemaakte trainingsstrategieën en architectonisch ontwerp. In het optimalisatieproces stellen we een meerfasig trainingsschema voor om de veelzijdige effectiviteit van representatieleren te bevorderen. Specifiek richt de inhoudsbewuste progressieve training zich op het verbeteren van de aanpassingsvermogen van het model aan diverse downstream taken en het beheersen van verrijkte cross-modale vaardigheden. De samenwerkingsbewuste aanbevelingsverbeteringstraining past multimodale representaties verder aan voor aanbevelingsscenario's door kennis te destilleren uit sequence-to-item en ID-to-item inbeddingen, terwijl historische gebruikersinteressen worden ontgonnen. Tegelijkertijd ontwikkelen we stochastische specialisatie en dataset-gestuurde patroonherkenning om de flexibiliteit en generaliseerbaarheid van modeltraining te versterken. Experimentele resultaten tonen aan dat SAIL-Embedding state-of-the-art (SOTA) prestaties behaalt in vergelijking met andere methoden in verschillende retrievalthandelingen. In online experimenten in diverse real-world scenario's geïntegreerd met ons model, observeren we een significante toename in Lifetime (LT), een cruciale indicator voor de aanbevelingservaring. Zo levert het model een 7-daagse LT-winst van +0,158% en een 14-daagse LT-winst van +0,144% op in het Douyin-Selected scenario. Voor het Douyin feed rank-model resulteren de matchfeatures gegenereerd door SAIL-Embedding in een +0,08% AUC-winst.

English

Multimodal embedding models aim to yield informative unified representations that empower diverse cross-modal tasks. Despite promising developments in the evolution from CLIP-based dual-tower architectures to large vision-language models, prior works still face unavoidable challenges in real-world applications and business scenarios, such as the limited modality support, unstable training mechanisms, and industrial domain gaps. In this work, we introduce SAIL-Embedding, an omni-modal embedding foundation model that addresses these issues through tailored training strategies and architectural design. In the optimization procedure, we propose a multi-stage training scheme to boost the multifaceted effectiveness of representation learning. Specifically, the content-aware progressive training aims to enhance the model's adaptability to diverse downstream tasks and master enriched cross-modal proficiency. The collaboration-aware recommendation enhancement training further adapts multimodal representations for recommendation scenarios by distilling knowledge from sequence-to-item and ID-to-item embeddings while mining user historical interests. Concurrently, we develop the stochastic specialization and dataset-driven pattern matching to strengthen model training flexibility and generalizability. Experimental results show that SAIL-Embedding achieves SOTA performance compared to other methods in different retrieval tasks. In online experiments across various real-world scenarios integrated with our model, we observe a significant increase in Lifetime (LT), which is a crucial indicator for the recommendation experience. For instance, the model delivers the 7-day LT gain of +0.158% and the 14-day LT gain of +0.144% in the Douyin-Selected scenario. For the Douyin feed rank model, the match features produced by SAIL-Embedding yield a +0.08% AUC gain.