FreeMorph: Tuning-vrij gegeneraliseerd beeldmorfing met diffusiemodellen

FreeMorph: Tuning-Free Generalized Image Morphing with Diffusion Model

July 2, 2025

Auteurs: Yukang Cao, Chenyang Si, Jinghao Wang, Ziwei Liu

cs.AI

Samenvatting

We presenteren FreeMorph, de eerste afstelmethode voor beeldmorfing die geen afstemming vereist en geschikt is voor invoerbeelden met verschillende semantiek of lay-outs. In tegenstelling tot bestaande methoden die afhankelijk zijn van het finetunen van vooraf getrainde diffusiemodellen en beperkt worden door tijdsbeperkingen en semantische/lay-outverschillen, levert FreeMorph hoogwaardige beeldmorfing zonder per geval training te vereisen. Ondanks hun efficiëntie en potentieel hebben afstelmethode-vrije methoden moeite om hoogwaardige resultaten te behouden vanwege de niet-lineaire aard van het meerstaps denoisingsproces en de vooroordelen die zijn overgenomen van het vooraf getrainde diffusiemodel. In dit artikel introduceren we FreeMorph om deze uitdagingen aan te pakken door twee belangrijke innovaties te integreren. 1) We stellen eerst een richtingsbewuste sferische interpolatieontwerp voor dat expliciete richtlijnen van de invoerbeelden incorporeert door de self-attention modules aan te passen, waardoor identiteitsverlies wordt aangepakt en gerichte overgangen in de gegenereerde reeks worden gegarandeerd. 2) We introduceren verder een stapgerichte variatietrend die self-attention modules van elk invoerbeeld mengt om gecontroleerde en consistente overgangen te bereiken die beide invoerbeelden respecteren. Onze uitgebreide evaluaties tonen aan dat FreeMorph bestaande methoden overtreft, 10x ~ 50x sneller is en een nieuwe standaard zet voor beeldmorfing.

English

We present FreeMorph, the first tuning-free method for image morphing that accommodates inputs with different semantics or layouts. Unlike existing methods that rely on finetuning pre-trained diffusion models and are limited by time constraints and semantic/layout discrepancies, FreeMorph delivers high-fidelity image morphing without requiring per-instance training. Despite their efficiency and potential, tuning-free methods face challenges in maintaining high-quality results due to the non-linear nature of the multi-step denoising process and biases inherited from the pre-trained diffusion model. In this paper, we introduce FreeMorph to address these challenges by integrating two key innovations. 1) We first propose a guidance-aware spherical interpolation design that incorporates explicit guidance from the input images by modifying the self-attention modules, thereby addressing identity loss and ensuring directional transitions throughout the generated sequence. 2) We further introduce a step-oriented variation trend that blends self-attention modules derived from each input image to achieve controlled and consistent transitions that respect both inputs. Our extensive evaluations demonstrate that FreeMorph outperforms existing methods, being 10x ~ 50x faster and establishing a new state-of-the-art for image morphing.