FreeMorph: 拡散モデルを用いたチューニング不要の汎用画像モーフィング

FreeMorph: Tuning-Free Generalized Image Morphing with Diffusion Model

July 2, 2025

著者: Yukang Cao, Chenyang Si, Jinghao Wang, Ziwei Liu

cs.AI

要旨

本論文では、異なるセマンティクスやレイアウトを持つ入力に対応する、初のチューニング不要な画像モーフィング手法であるFreeMorphを提案します。既存の手法は事前学習済み拡散モデルのファインチューニングに依存し、時間的制約やセマンティクス/レイアウトの不一致に制限されるのに対し、FreeMorphはインスタンスごとの学習を必要とせずに高忠実度の画像モーフィングを実現します。チューニング不要な手法は効率性と潜在能力を有するものの、多段階のノイズ除去プロセスの非線形性や事前学習済み拡散モデルから継承されるバイアスにより、高品質な結果を維持する上で課題に直面しています。本論文では、これらの課題に対処するため、2つの主要なイノベーションを統合したFreeMorphを紹介します。1) まず、入力画像からの明示的なガイダンスを組み込むガイダンス対応球面補間設計を提案し、セルフアテンションモジュールを修正することでアイデンティティの喪失を防ぎ、生成シーケンス全体を通じた方向性のある遷移を保証します。2) さらに、各入力画像から導出されたセルフアテンションモジュールをブレンドするステップ指向の変動トレンドを導入し、両方の入力を尊重した制御された一貫性のある遷移を実現します。広範な評価により、FreeMorphが既存の手法を上回り、10倍から50倍の高速化を達成し、画像モーフィングにおける新たな最先端技術を確立することが実証されました。

English

We present FreeMorph, the first tuning-free method for image morphing that accommodates inputs with different semantics or layouts. Unlike existing methods that rely on finetuning pre-trained diffusion models and are limited by time constraints and semantic/layout discrepancies, FreeMorph delivers high-fidelity image morphing without requiring per-instance training. Despite their efficiency and potential, tuning-free methods face challenges in maintaining high-quality results due to the non-linear nature of the multi-step denoising process and biases inherited from the pre-trained diffusion model. In this paper, we introduce FreeMorph to address these challenges by integrating two key innovations. 1) We first propose a guidance-aware spherical interpolation design that incorporates explicit guidance from the input images by modifying the self-attention modules, thereby addressing identity loss and ensuring directional transitions throughout the generated sequence. 2) We further introduce a step-oriented variation trend that blends self-attention modules derived from each input image to achieve controlled and consistent transitions that respect both inputs. Our extensive evaluations demonstrate that FreeMorph outperforms existing methods, being 10x ~ 50x faster and establishing a new state-of-the-art for image morphing.