Relatório Técnico SAIL-Embedding: Modelo de Fundação de Embedding Omni-modal

SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

October 14, 2025

Autores: Lin Lin, Jiefeng Long, Zhihe Wan, Yuchi Wang, Dingkang Yang, Shuang Yang, Yueyang Yao, Xu Chen, Zirui Guo, Shengqiang Li, Weiran Li, Hanyu Li, Yaling Mou, Yan Qiu, Haiyang Yu, Xiao Liang, Hongsheng Li, Chao Feng

cs.AI

Resumo

Modelos de embedding multimodal visam produzir representações unificadas informativas que capacitam diversas tarefas cross-modal. Apesar dos desenvolvimentos promissores na evolução das arquiteturas de torres duplas baseadas em CLIP para grandes modelos de visão e linguagem, trabalhos anteriores ainda enfrentam desafios inevitáveis em aplicações do mundo real e cenários de negócios, como suporte limitado a modalidades, mecanismos de treinamento instáveis e lacunas de domínio industrial. Neste trabalho, apresentamos o SAIL-Embedding, um modelo de embedding omni-modal de base que aborda essas questões por meio de estratégias de treinamento e design arquitetônico personalizados. No procedimento de otimização, propomos um esquema de treinamento em múltiplos estágios para impulsionar a eficácia multifacetada do aprendizado de representação. Especificamente, o treinamento progressivo consciente do conteúdo visa aprimorar a adaptabilidade do modelo a diversas tarefas downstream e dominar a proficiência cross-modal enriquecida. O treinamento de aprimoramento de recomendação consciente da colaboração adapta ainda mais as representações multimodais para cenários de recomendação, destilando conhecimento de embeddings sequência-para-item e ID-para-item, enquanto explora os interesses históricos do usuário. Simultaneamente, desenvolvemos a especialização estocástica e a correspondência de padrões baseada em conjuntos de dados para fortalecer a flexibilidade e a generalizabilidade do treinamento do modelo. Resultados experimentais mostram que o SAIL-Embedding alcança desempenho SOTA em comparação com outros métodos em diferentes tarefas de recuperação. Em experimentos online em vários cenários do mundo real integrados com nosso modelo, observamos um aumento significativo no Lifetime (LT), que é um indicador crucial para a experiência de recomendação. Por exemplo, o modelo entrega um ganho de LT de 7 dias de +0,158% e um ganho de LT de 14 dias de +0,144% no cenário Douyin-Selected. Para o modelo de classificação de feed do Douyin, as características de correspondência produzidas pelo SAIL-Embedding resultam em um ganho de AUC de +0,08%.

English

Multimodal embedding models aim to yield informative unified representations that empower diverse cross-modal tasks. Despite promising developments in the evolution from CLIP-based dual-tower architectures to large vision-language models, prior works still face unavoidable challenges in real-world applications and business scenarios, such as the limited modality support, unstable training mechanisms, and industrial domain gaps. In this work, we introduce SAIL-Embedding, an omni-modal embedding foundation model that addresses these issues through tailored training strategies and architectural design. In the optimization procedure, we propose a multi-stage training scheme to boost the multifaceted effectiveness of representation learning. Specifically, the content-aware progressive training aims to enhance the model's adaptability to diverse downstream tasks and master enriched cross-modal proficiency. The collaboration-aware recommendation enhancement training further adapts multimodal representations for recommendation scenarios by distilling knowledge from sequence-to-item and ID-to-item embeddings while mining user historical interests. Concurrently, we develop the stochastic specialization and dataset-driven pattern matching to strengthen model training flexibility and generalizability. Experimental results show that SAIL-Embedding achieves SOTA performance compared to other methods in different retrieval tasks. In online experiments across various real-world scenarios integrated with our model, we observe a significant increase in Lifetime (LT), which is a crucial indicator for the recommendation experience. For instance, the model delivers the 7-day LT gain of +0.158% and the 14-day LT gain of +0.144% in the Douyin-Selected scenario. For the Douyin feed rank model, the match features produced by SAIL-Embedding yield a +0.08% AUC gain.