Rapport technique SAIL-Embedding : Modèle de fondation d'incorporation omni-modale

SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

October 14, 2025

papers.authors: Lin Lin, Jiefeng Long, Zhihe Wan, Yuchi Wang, Dingkang Yang, Shuang Yang, Yueyang Yao, Xu Chen, Zirui Guo, Shengqiang Li, Weiran Li, Hanyu Li, Yaling Mou, Yan Qiu, Haiyang Yu, Xiao Liang, Hongsheng Li, Chao Feng

cs.AI

papers.abstract

Les modèles d'embedding multimodaux visent à produire des représentations unifiées informatives qui renforcent diverses tâches intermodales. Malgré des avancées prometteuses dans l'évolution des architectures à double tour basées sur CLIP vers des modèles de grande envergure vision-langage, les travaux antérieurs continuent de faire face à des défis inévitables dans les applications réelles et les scénarios commerciaux, tels que le support limité des modalités, les mécanismes d'entraînement instables et les écarts de domaines industriels. Dans ce travail, nous présentons SAIL-Embedding, un modèle de fondation d'embedding omni-modal qui aborde ces problèmes grâce à des stratégies d'entraînement et une conception architecturale adaptées. Dans la procédure d'optimisation, nous proposons un schéma d'entraînement multi-étapes pour renforcer l'efficacité multifacette de l'apprentissage de représentations. Plus précisément, l'entraînement progressif basé sur le contenu vise à améliorer l'adaptabilité du modèle à diverses tâches en aval et à maîtriser une compétence intermodale enrichie. L'entraînement d'amélioration des recommandations basé sur la collaboration adapte davantage les représentations multimodales pour les scénarios de recommandation en distillant des connaissances à partir des embeddings séquence-à-élément et ID-à-élément tout en exploitant les intérêts historiques des utilisateurs. Parallèlement, nous développons la spécialisation stochastique et l'appariement de motifs basé sur les ensembles de données pour renforcer la flexibilité et la généralisabilité de l'entraînement du modèle. Les résultats expérimentaux montrent que SAIL-Embedding atteint des performances de pointe (SOTA) par rapport à d'autres méthodes dans différentes tâches de recherche. Dans des expériences en ligne couvrant divers scénarios réels intégrant notre modèle, nous observons une augmentation significative du Lifetime (LT), un indicateur crucial pour l'expérience de recommandation. Par exemple, le modèle offre un gain de LT à 7 jours de +0,158 % et un gain de LT à 14 jours de +0,144 % dans le scénario Douyin-Selected. Pour le modèle de classement du fil d'actualités de Douyin, les caractéristiques d'appariement produites par SAIL-Embedding génèrent un gain d'AUC de +0,08 %.

English

Multimodal embedding models aim to yield informative unified representations that empower diverse cross-modal tasks. Despite promising developments in the evolution from CLIP-based dual-tower architectures to large vision-language models, prior works still face unavoidable challenges in real-world applications and business scenarios, such as the limited modality support, unstable training mechanisms, and industrial domain gaps. In this work, we introduce SAIL-Embedding, an omni-modal embedding foundation model that addresses these issues through tailored training strategies and architectural design. In the optimization procedure, we propose a multi-stage training scheme to boost the multifaceted effectiveness of representation learning. Specifically, the content-aware progressive training aims to enhance the model's adaptability to diverse downstream tasks and master enriched cross-modal proficiency. The collaboration-aware recommendation enhancement training further adapts multimodal representations for recommendation scenarios by distilling knowledge from sequence-to-item and ID-to-item embeddings while mining user historical interests. Concurrently, we develop the stochastic specialization and dataset-driven pattern matching to strengthen model training flexibility and generalizability. Experimental results show that SAIL-Embedding achieves SOTA performance compared to other methods in different retrieval tasks. In online experiments across various real-world scenarios integrated with our model, we observe a significant increase in Lifetime (LT), which is a crucial indicator for the recommendation experience. For instance, the model delivers the 7-day LT gain of +0.158% and the 14-day LT gain of +0.144% in the Douyin-Selected scenario. For the Douyin feed rank model, the match features produced by SAIL-Embedding yield a +0.08% AUC gain.