Verfijning van Conditiefouten in Autoregressieve Beeldgeneratie met Diffusieverlies

Condition Errors Refinement in Autoregressive Image Generation with Diffusion Loss

February 2, 2026

Auteurs: Yucheng Zhou, Hao Li, Jianbing Shen

cs.AI

Samenvatting

Recente studies hebben autoregressieve modellen voor beeldgeneratie onderzocht met veelbelovende resultaten, en hebben diffusiemodellen gecombineerd met autoregressieve raamwerken om beeldgeneratie via diffusieverliezen te optimaliseren. In deze studie presenteren wij een theoretische analyse van diffusie- en autoregressieve modellen met diffusieverlies, waarbij we de voordelen van de laatste benadrukken. Wij presenteren een theoretische vergelijking van conditionele diffusie en autoregressieve diffusie met diffusieverlies, waaruit blijkt dat patch-denoisingsoptimalisatie in autoregressieve modellen conditiefouten effectief vermindert en leidt tot een stabiele conditieverdeling. Onze analyse toont ook aan dat autoregressieve conditiegeneratie de conditie verfijnt, waardoor de invloed van conditiefouten exponentieel afneemt. Daarnaast introduceren wij een nieuwe conditieverfijningsaanpak gebaseerd op de optimale transporttheorie (OT) om "conditie-inconsistentie" aan te pakken. Wij tonen theoretisch aan dat het formuleren van conditieverfijning als een Wasserstein-gradiëntstroom convergentie naar de ideale conditieverdeling garandeert, waardoor conditie-inconsistentie effectief wordt verminderd. Experimenten tonen de superioriteit van onze methode aan boven diffusie- en autoregressieve modellen met diffusieverliesmethoden.

English

Recent studies have explored autoregressive models for image generation, with promising results, and have combined diffusion models with autoregressive frameworks to optimize image generation via diffusion losses. In this study, we present a theoretical analysis of diffusion and autoregressive models with diffusion loss, highlighting the latter's advantages. We present a theoretical comparison of conditional diffusion and autoregressive diffusion with diffusion loss, demonstrating that patch denoising optimization in autoregressive models effectively mitigates condition errors and leads to a stable condition distribution. Our analysis also reveals that autoregressive condition generation refines the condition, causing the condition error influence to decay exponentially. In addition, we introduce a novel condition refinement approach based on Optimal Transport (OT) theory to address ``condition inconsistency''. We theoretically demonstrate that formulating condition refinement as a Wasserstein Gradient Flow ensures convergence toward the ideal condition distribution, effectively mitigating condition inconsistency. Experiments demonstrate the superiority of our method over diffusion and autoregressive models with diffusion loss methods.