MagicID: ID一貫性と動的保存を実現するハイブリッド選好最適化によるビデオカスタマイズ

MagicID: Hybrid Preference Optimization for ID-Consistent and Dynamic-Preserved Video Customization

March 16, 2025

著者: Hengjia Li, Lifan Jiang, Xi Xiao, Tianyang Wang, Hongwei Yi, Boxi Wu, Deng Cai

cs.AI

要旨

ビデオIDカスタマイズは、ユーザーの参照画像に基づいて一貫したIDを維持し、顕著なダイナミクスを示す高精細なビデオを生成することを目指しています。しかし、既存のアプローチでは、2つの主要な課題に直面しています。1つは、ビデオの長さが長くなるにつれてIDが劣化すること、もう1つは、主に静的な画像を用いた従来の自己再構成トレーニングに依存しているため、トレーニング中のダイナミクスが低下することです。これらの問題を解決するために、我々はMagicIDを導入しました。これは、ユーザーの好みに合わせたID一貫性とダイナミックなビデオ生成を直接促進する新しいフレームワークです。具体的には、従来の自己再構成に固執するのではなく、明示的なIDとダイナミックな報酬を持つペアワイズ選好ビデオデータを構築して選好学習を行うことを提案します。カスタマイズされた選好データの制約に対処するために、ハイブリッドサンプリング戦略を導入しました。このアプローチでは、まず参照画像から派生した静的なビデオを活用してIDの保存を優先し、次にFrontierベースのサンプリング方法を使用して生成されたビデオの動きの質を向上させます。これらのハイブリッド選好ペアを利用することで、モデルを最適化し、カスタマイズされた選好ペア間の報酬差に合わせます。広範な実験により、MagicIDが一貫したIDと自然なダイナミクスを成功裏に達成し、様々なメトリクスで既存の方法を凌駕することが示されました。

English

Video identity customization seeks to produce high-fidelity videos that maintain consistent identity and exhibit significant dynamics based on users' reference images. However, existing approaches face two key challenges: identity degradation over extended video length and reduced dynamics during training, primarily due to their reliance on traditional self-reconstruction training with static images. To address these issues, we introduce MagicID, a novel framework designed to directly promote the generation of identity-consistent and dynamically rich videos tailored to user preferences. Specifically, we propose constructing pairwise preference video data with explicit identity and dynamic rewards for preference learning, instead of sticking to the traditional self-reconstruction. To address the constraints of customized preference data, we introduce a hybrid sampling strategy. This approach first prioritizes identity preservation by leveraging static videos derived from reference images, then enhances dynamic motion quality in the generated videos using a Frontier-based sampling method. By utilizing these hybrid preference pairs, we optimize the model to align with the reward differences between pairs of customized preferences. Extensive experiments show that MagicID successfully achieves consistent identity and natural dynamics, surpassing existing methods across various metrics.