Informe Técnico de SAIL-Embedding: Modelo Fundacional de Incrustación Omnimodal

SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

October 14, 2025

Autores: Lin Lin, Jiefeng Long, Zhihe Wan, Yuchi Wang, Dingkang Yang, Shuang Yang, Yueyang Yao, Xu Chen, Zirui Guo, Shengqiang Li, Weiran Li, Hanyu Li, Yaling Mou, Yan Qiu, Haiyang Yu, Xiao Liang, Hongsheng Li, Chao Feng

cs.AI

Resumen

Los modelos de embeddings multimodales buscan generar representaciones unificadas informativas que potencien diversas tareas intermodales. A pesar de los avances prometedores en la evolución desde arquitecturas de doble torre basadas en CLIP hacia grandes modelos de visión y lenguaje, trabajos previos aún enfrentan desafíos inevitables en aplicaciones del mundo real y escenarios empresariales, como el soporte limitado de modalidades, mecanismos de entrenamiento inestables y brechas en dominios industriales. En este trabajo, presentamos SAIL-Embedding, un modelo base de embeddings omni-modal que aborda estos problemas mediante estrategias de entrenamiento y diseños arquitectónicos específicos. En el procedimiento de optimización, proponemos un esquema de entrenamiento multi-etapa para potenciar la efectividad multifacética del aprendizaje de representaciones. Específicamente, el entrenamiento progresivo consciente del contenido busca mejorar la adaptabilidad del modelo a diversas tareas descendentes y dominar una competencia intermodal enriquecida. El entrenamiento de mejora de recomendaciones consciente de la colaboración adapta aún más las representaciones multimodales para escenarios de recomendación, destilando conocimiento desde embeddings de secuencia-a-ítem e ID-a-ítem mientras explora los intereses históricos del usuario. Simultáneamente, desarrollamos la especialización estocástica y la coincidencia de patrones basada en conjuntos de datos para fortalecer la flexibilidad y generalización del entrenamiento del modelo. Los resultados experimentales muestran que SAIL-Embedding alcanza un rendimiento de vanguardia (SOTA) en comparación con otros métodos en diferentes tareas de recuperación. En experimentos en línea a través de varios escenarios del mundo real integrados con nuestro modelo, observamos un aumento significativo en el Lifetime (LT), un indicador crucial para la experiencia de recomendación. Por ejemplo, el modelo logra una ganancia de LT a 7 días de +0.158% y una ganancia de LT a 14 días de +0.144% en el escenario de Douyin-Selected. Para el modelo de clasificación del feed de Douyin, las características de coincidencia producidas por SAIL-Embedding generan una ganancia de AUC de +0.08%.

English

Multimodal embedding models aim to yield informative unified representations that empower diverse cross-modal tasks. Despite promising developments in the evolution from CLIP-based dual-tower architectures to large vision-language models, prior works still face unavoidable challenges in real-world applications and business scenarios, such as the limited modality support, unstable training mechanisms, and industrial domain gaps. In this work, we introduce SAIL-Embedding, an omni-modal embedding foundation model that addresses these issues through tailored training strategies and architectural design. In the optimization procedure, we propose a multi-stage training scheme to boost the multifaceted effectiveness of representation learning. Specifically, the content-aware progressive training aims to enhance the model's adaptability to diverse downstream tasks and master enriched cross-modal proficiency. The collaboration-aware recommendation enhancement training further adapts multimodal representations for recommendation scenarios by distilling knowledge from sequence-to-item and ID-to-item embeddings while mining user historical interests. Concurrently, we develop the stochastic specialization and dataset-driven pattern matching to strengthen model training flexibility and generalizability. Experimental results show that SAIL-Embedding achieves SOTA performance compared to other methods in different retrieval tasks. In online experiments across various real-world scenarios integrated with our model, we observe a significant increase in Lifetime (LT), which is a crucial indicator for the recommendation experience. For instance, the model delivers the 7-day LT gain of +0.158% and the 14-day LT gain of +0.144% in the Douyin-Selected scenario. For the Douyin feed rank model, the match features produced by SAIL-Embedding yield a +0.08% AUC gain.