SAIL-Embedding技術報告書：オムニモーダル埋め込み基盤モデル

要旨

マルチモーダル埋め込みモデルは、多様なクロスモーダルタスクを可能にする情報豊かな統一表現を生成することを目指している。CLIPベースのデュアルタワーアーキテクチャから大規模視覚言語モデルへの進化において有望な進展が見られるものの、従来の研究は現実世界のアプリケーションやビジネスシナリオにおいて、限られたモダリティサポート、不安定なトレーニングメカニズム、産業ドメイン間のギャップといった避けられない課題に直面している。本研究では、これらの課題を解決するために、特化したトレーニング戦略とアーキテクチャ設計を採用したオムニモーダル埋め込み基盤モデルであるSAIL-Embeddingを紹介する。最適化プロセスにおいて、表現学習の多面的な効果を高めるために、多段階トレーニングスキームを提案する。具体的には、コンテンツ認識型の漸進的トレーニングにより、モデルの多様な下流タスクへの適応性を向上させ、豊富なクロスモーダル能力を習得することを目指す。また、コラボレーション認識型の推薦強化トレーニングにより、シーケンスからアイテムへの埋め込みやIDからアイテムへの埋め込みから知識を蒸留し、ユーザーの過去の興味を掘り下げることで、推薦シナリオに適したマルチモーダル表現をさらに適応させる。同時に、確率的専門化とデータセット駆動型のパターンマッチングを開発し、モデルトレーニングの柔軟性と汎化性を強化する。実験結果は、SAIL-Embeddingが異なる検索タスクにおいて他の手法と比較してSOTA性能を達成することを示している。我々のモデルを統合した様々な現実世界のシナリオにおけるオンライン実験では、推薦体験の重要な指標であるLifetime（LT）の著しい増加が観察された。例えば、Douyin-Selectedシナリオでは、7日間のLTゲインが+0.158%、14日間のLTゲインが+0.144%となった。Douyinフィードランクモデルでは、SAIL-Embeddingが生成するマッチ特徴により、+0.08%のAUCゲインが得られた。

English

Multimodal embedding models aim to yield informative unified representations that empower diverse cross-modal tasks. Despite promising developments in the evolution from CLIP-based dual-tower architectures to large vision-language models, prior works still face unavoidable challenges in real-world applications and business scenarios, such as the limited modality support, unstable training mechanisms, and industrial domain gaps. In this work, we introduce SAIL-Embedding, an omni-modal embedding foundation model that addresses these issues through tailored training strategies and architectural design. In the optimization procedure, we propose a multi-stage training scheme to boost the multifaceted effectiveness of representation learning. Specifically, the content-aware progressive training aims to enhance the model's adaptability to diverse downstream tasks and master enriched cross-modal proficiency. The collaboration-aware recommendation enhancement training further adapts multimodal representations for recommendation scenarios by distilling knowledge from sequence-to-item and ID-to-item embeddings while mining user historical interests. Concurrently, we develop the stochastic specialization and dataset-driven pattern matching to strengthen model training flexibility and generalizability. Experimental results show that SAIL-Embedding achieves SOTA performance compared to other methods in different retrieval tasks. In online experiments across various real-world scenarios integrated with our model, we observe a significant increase in Lifetime (LT), which is a crucial indicator for the recommendation experience. For instance, the model delivers the 7-day LT gain of +0.158% and the 14-day LT gain of +0.144% in the Douyin-Selected scenario. For the Douyin feed rank model, the match features produced by SAIL-Embedding yield a +0.08% AUC gain.

SAIL-Embedding技術報告書：オムニモーダル埋め込み基盤モデル

SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

要旨

Support