SAIL-Embedding Technischer Bericht: Omni-modales Embedding-Foundation-Modell

SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

October 14, 2025

papers.authors: Lin Lin, Jiefeng Long, Zhihe Wan, Yuchi Wang, Dingkang Yang, Shuang Yang, Yueyang Yao, Xu Chen, Zirui Guo, Shengqiang Li, Weiran Li, Hanyu Li, Yaling Mou, Yan Qiu, Haiyang Yu, Xiao Liang, Hongsheng Li, Chao Feng

cs.AI

papers.abstract

Multimodale Embedding-Modelle zielen darauf ab, informative vereinheitlichte Repräsentationen zu erzeugen, die vielfältige cross-modale Aufgaben ermöglichen. Trotz vielversprechender Entwicklungen im Wandel von CLIP-basierten Dual-Tower-Architekturen hin zu großen Vision-Language-Modellen stehen frühere Arbeiten weiterhin vor unvermeidlichen Herausforderungen in realen Anwendungen und Geschäftsszenarien, wie begrenzte Modalitätsunterstützung, instabile Trainingsmechanismen und industrielle Domänenlücken. In dieser Arbeit stellen wir SAIL-Embedding vor, ein omni-modales Embedding-Foundation-Modell, das diese Probleme durch maßgeschneiderte Trainingsstrategien und Architekturdesigns adressiert. Im Optimierungsprozess schlagen wir ein mehrstufiges Trainingsschema vor, um die vielseitige Effektivität des Repräsentationslernens zu steigern. Insbesondere zielt das inhaltsbewusste progressive Training darauf ab, die Anpassungsfähigkeit des Modells an diverse Downstream-Aufgaben zu verbessern und eine bereicherte cross-modale Kompetenz zu erlangen. Das kollaborationsbewusste Empfehlungsverstärkungstraining passt multimodale Repräsentationen weiterhin für Empfehlungsszenarien an, indem Wissen aus Sequence-to-Item- und ID-to-Item-Embeddings destilliert wird, während historische Benutzerinteressen analysiert werden. Gleichzeitig entwickeln wir die stochastische Spezialisierung und datensatzgetriebene Mustererkennung, um die Flexibilität und Generalisierbarkeit des Modelltrainings zu stärken. Experimentelle Ergebnisse zeigen, dass SAIL-Embedding im Vergleich zu anderen Methoden in verschiedenen Retrieval-Aufgaben State-of-the-Art (SOTA)-Leistungen erzielt. In Online-Experimenten über verschiedene reale Szenarien, die mit unserem Modell integriert sind, beobachten wir einen signifikanten Anstieg des Lifetime (LT), einem entscheidenden Indikator für die Empfehlungserfahrung. Beispielsweise erzielt das Modell einen 7-Tage-LT-Gewinn von +0,158 % und einen 14-Tage-LT-Gewinn von +0,144 % im Douyin-Selected-Szenario. Für das Douyin-Feed-Ranking-Modell führen die von SAIL-Embedding erzeugten Match-Features zu einem AUC-Gewinn von +0,08 %.

English

Multimodal embedding models aim to yield informative unified representations that empower diverse cross-modal tasks. Despite promising developments in the evolution from CLIP-based dual-tower architectures to large vision-language models, prior works still face unavoidable challenges in real-world applications and business scenarios, such as the limited modality support, unstable training mechanisms, and industrial domain gaps. In this work, we introduce SAIL-Embedding, an omni-modal embedding foundation model that addresses these issues through tailored training strategies and architectural design. In the optimization procedure, we propose a multi-stage training scheme to boost the multifaceted effectiveness of representation learning. Specifically, the content-aware progressive training aims to enhance the model's adaptability to diverse downstream tasks and master enriched cross-modal proficiency. The collaboration-aware recommendation enhancement training further adapts multimodal representations for recommendation scenarios by distilling knowledge from sequence-to-item and ID-to-item embeddings while mining user historical interests. Concurrently, we develop the stochastic specialization and dataset-driven pattern matching to strengthen model training flexibility and generalizability. Experimental results show that SAIL-Embedding achieves SOTA performance compared to other methods in different retrieval tasks. In online experiments across various real-world scenarios integrated with our model, we observe a significant increase in Lifetime (LT), which is a crucial indicator for the recommendation experience. For instance, the model delivers the 7-day LT gain of +0.158% and the 14-day LT gain of +0.144% in the Douyin-Selected scenario. For the Douyin feed rank model, the match features produced by SAIL-Embedding yield a +0.08% AUC gain.