高忠実度な画像から動画生成のためのチューニング不要ノイズ補正

要旨

画像から動画（I2V）生成タスクでは、オープンドメインにおいて高い忠実度を維持することが常に課題となっています。従来の画像アニメーション技術は、主に顔や人間のポーズなど特定のドメインに焦点を当てており、オープンドメインに一般化することが困難です。最近の拡散モデルに基づくいくつかのI2Vフレームワークは、オープンドメインの画像に対して動的なコンテンツを生成できますが、忠実度を維持することができません。我々は、低い忠実度の主な要因として、画像の詳細の喪失と、ノイズ除去プロセス中のノイズ予測の偏りがあることを発見しました。これに対処するため、主流のビデオ拡散モデルに適用可能な効果的な手法を提案します。この手法は、より正確な画像情報の補完とノイズ補正に基づいて高い忠実度を実現します。具体的には、指定された画像に対して、まず入力画像の潜在表現にノイズを加えて詳細をより多く保持し、その後、適切な補正を行いながらノイズの多い潜在表現を除去することで、ノイズ予測の偏りを軽減します。我々の手法はチューニング不要で、プラグアンドプレイです。実験結果は、生成された動画の忠実度を向上させる我々のアプローチの有効性を示しています。より多くの画像から動画生成の結果については、プロジェクトのウェブサイトをご覧ください：https://noise-rectification.github.io。

English

Image-to-video (I2V) generation tasks always suffer from keeping high fidelity in the open domains. Traditional image animation techniques primarily focus on specific domains such as faces or human poses, making them difficult to generalize to open domains. Several recent I2V frameworks based on diffusion models can generate dynamic content for open domain images but fail to maintain fidelity. We found that two main factors of low fidelity are the loss of image details and the noise prediction biases during the denoising process. To this end, we propose an effective method that can be applied to mainstream video diffusion models. This method achieves high fidelity based on supplementing more precise image information and noise rectification. Specifically, given a specified image, our method first adds noise to the input image latent to keep more details, then denoises the noisy latent with proper rectification to alleviate the noise prediction biases. Our method is tuning-free and plug-and-play. The experimental results demonstrate the effectiveness of our approach in improving the fidelity of generated videos. For more image-to-video generated results, please refer to the project website: https://noise-rectification.github.io.

高忠実度な画像から動画生成のためのチューニング不要ノイズ補正

Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation

要旨

Support