抖音マルチモーダル埋め込みモデル技術報告書

要旨

マルチモーダル表現学習は現代AIの要である。マルチモーダルなクエリとターゲットをベクトルにエンコードすることで、産業用の検索や推薦を支え、現代のエージェントの基盤となっている。抖音（Douyin）、小红书（Xiaohongshu）、YouTubeのような複雑なモダリティと大規模コンテンツを抱える実世界のプラットフォームでは、十億規模のインデキシング下での効率性と、ハードマッチングのための細粒度の識別の両方が求められる。既存のMLLM埋め込みモデルは、これらの両方を満たすものはほとんどない。対照学習モデルは効率的だが、細粒度の区別には粗すぎるペアレベルの教師信号に依存している。一方、CoTベースのモデルは明示的生成によって識別能力を向上させるが、オンライン推論での実運用は非現実的である。我々は、2段階の訓練により両者の強みを組み合わせたDouyin Multimodal Embedding（DME）を提案する。第1段階では、大規模な対照学習による事前学習を行い、幅広いモダリティとタスクをカバーする統一的なマルチモーダル埋め込み空間を構築する。第2段階では、意味的十分性（埋め込みが検索関連の証拠に基づき、相手側の細粒度の意味を保持するという性質）を、2つのメカニズムによって補完する。証拠に基づく型付き潜在推論（Evidence-Grounded Typed Latent Reasoning）は、隠れ空間における潜在推論を通じて検索証拠を整理し、交差条件付き再構成（Cross-Conditional Reconstruction）は、交差方向の自己回帰再構成を通じて相手側の意味を強制する。両メカニズムは訓練時のみに機能し、クエリ側のオーバーヘッドはわずかであるため、DMEは標準的な対照エンコーダと同等の効率で推論できる。MMEB-v2において、DMEは2Bおよび9Bのバリアントで同等規模の最高水準の結果（74.8および78.4）を達成し、特にビデオおよびビジュアルドキュメントタスクで顕著な性能を示す。本番環境では、DMEは抖音の社内オフライン評価セットで2.92%の相対改善をもたらし、生成検索、画像検索、AI検索などの抖音の各シナリオに展開されている。さらに、抖音検索におけるオンラインA/Bテストでは、0.1%の生涯価値（LT）向上を達成している。

English

Multimodal representation learning is a cornerstone of modern AI. By encoding multimodal queries and targets into vectors, it powers industrial search and recommendation and underpins modern agents. Real-world platforms with complex modalities and massive-scale content, such as Douyin, Xiaohongshu, and YouTube, demand both efficiency under billion-scale indexing and fine-grained discrimination for hard matching. Existing MLLM embedding models rarely satisfy both. Contrastive models are efficient but rely on pair-level supervision too coarse for fine-grained distinctions, while CoT-based models improve discrimination through explicit generation impractical to serve online. We present Douyin Multimodal Embedding (DME), a model trained in two stages to combine both strengths. Stage 1 performs large-scale contrastive pre-training that establishes a unified multimodal embedding space with broad modality and task coverage. Stage 2 supplements semantic sufficiency, the property that an embedding is grounded in retrieval-relevant evidence and preserves fine-grained counterpart-side semantics, via two mechanisms. Evidence-Grounded Typed Latent Reasoning organizes retrieval evidence through hidden-space latent reasoning, and Cross-Conditional Reconstruction enforces counterpart-side semantics through cross-directional autoregressive reconstruction. Both act only during training and add only marginal query-side overhead, so DME serves as efficiently as a standard contrastive encoder. On MMEB-v2, DME reaches state-of-the-art results at comparable scales for its 2B and 9B variants (74.8 and 78.4), with especially strong video and visual-document tasks. In production, DME delivers a 2.92% relative gain on Douyin's in-house offline evaluation set, is deployed across Douyin scenarios such as generative, image, and AI search, and yields a 0.1% Lifetime (LT) gain in online A/B testing on Douyin search.