Alias-Vrije Latente Diffusiemodellen: Verbetering van Fractionele Shift Equivariantie in de Diffusie Latente Ruimte

Alias-Free Latent Diffusion Models:Improving Fractional Shift Equivariance of Diffusion Latent Space

March 12, 2025

Auteurs: Yifan Zhou, Zeqi Xiao, Shuai Yang, Xingang Pan

cs.AI

Samenvatting

Latent Diffusion Models (LDMs) staan bekend om hun onstabiele generatieproces, waarbij zelfs kleine verstoringen of verschuivingen in de invoerruis kunnen leiden tot aanzienlijk verschillende uitvoeren. Dit belemmert hun toepasbaarheid in situaties waar consistente resultaten vereist zijn. In dit werk herontwerpen we LDMs om de consistentie te verbeteren door ze shift-equivariant te maken. Hoewel het introduceren van anti-aliasingbewerkingen de shift-equivariantie gedeeltelijk kan verbeteren, blijven aanzienlijke aliasing en inconsistentie bestaan vanwege de unieke uitdagingen in LDMs, waaronder 1) aliasingversterking tijdens VAE-training en meerdere U-Net-inferenties, en 2) self-attentionmodules die van nature geen shift-equivariantie bezitten. Om deze problemen aan te pakken, herontwerpen we de attentionmodules om shift-equivariant te zijn en introduceren we een equivariantieverlies dat effectief de frequentiebandbreedte van de features in het continue domein onderdrukt. De resulterende alias-vrije LDM (AF-LDM) bereikt een sterke shift-equivariantie en is ook robuust tegen onregelmatige vervormingen. Uitgebreide experimenten tonen aan dat AF-LDM aanzienlijk consistentere resultaten oplevert dan de standaard LDM in diverse toepassingen, waaronder videobewerking en beeld-naar-beeldvertaling. Code is beschikbaar op: https://github.com/SingleZombie/AFLDM.

English

Latent Diffusion Models (LDMs) are known to have an unstable generation process, where even small perturbations or shifts in the input noise can lead to significantly different outputs. This hinders their applicability in applications requiring consistent results. In this work, we redesign LDMs to enhance consistency by making them shift-equivariant. While introducing anti-aliasing operations can partially improve shift-equivariance, significant aliasing and inconsistency persist due to the unique challenges in LDMs, including 1) aliasing amplification during VAE training and multiple U-Net inferences, and 2) self-attention modules that inherently lack shift-equivariance. To address these issues, we redesign the attention modules to be shift-equivariant and propose an equivariance loss that effectively suppresses the frequency bandwidth of the features in the continuous domain. The resulting alias-free LDM (AF-LDM) achieves strong shift-equivariance and is also robust to irregular warping. Extensive experiments demonstrate that AF-LDM produces significantly more consistent results than vanilla LDM across various applications, including video editing and image-to-image translation. Code is available at: https://github.com/SingleZombie/AFLDM