Verfeinerung von Bedingungsfehlern in der autoregressiven Bildgenerierung mit Diffusionsverlust

Condition Errors Refinement in Autoregressive Image Generation with Diffusion Loss

February 2, 2026

papers.authors: Yucheng Zhou, Hao Li, Jianbing Shen

cs.AI

papers.abstract

Aktuelle Studien haben autoregressive Modelle für die Bildgenerierung untersucht, mit vielversprechenden Ergebnissen, und haben Diffusionsmodelle mit autoregressiven Frameworks kombiniert, um die Bildgenerierung mittels Diffusionsverlusten zu optimieren. In dieser Studie präsentieren wir eine theoretische Analyse von Diffusions- und autoregressiven Modellen mit Diffusionsverlust, wobei wir die Vorteile des Letzteren hervorheben. Wir stellen einen theoretischen Vergleich von bedingter Diffusion und autoregressiver Diffusion mit Diffusionsverlust an und zeigen, dass die Optimierung der Patch-Entrauschung in autoregressiven Modellen Konditionsfehler effektiv reduziert und zu einer stabilen Konditionsverteilung führt. Unsere Analyse zeigt zudem, dass die autoregressive Konditionsgenerierung die Kondition verfeinert, was zu einem exponentiellen Abklingen des Konditionsfehlereinflusses führt. Zusätzlich führen wir einen neuartigen Ansatz zur Konditionsverfeinerung ein, der auf der Optimal-Transport-Theorie (OT) basiert, um „Konditionsinkonsistenz“ zu adressieren. Wir zeigen theoretisch, dass die Formulierung der Konditionsverfeinerung als Wasserstein-Gradientenfluss eine Konvergenz in Richtung der idealen Konditionsverteilung gewährleistet und so Konditionsinkonsistenz wirksam mindert. Experimente belegen die Überlegenheit unserer Methode gegenüber Diffusions- und autoregressiven Modellen mit Diffusionsverlust-Verfahren.

English

Recent studies have explored autoregressive models for image generation, with promising results, and have combined diffusion models with autoregressive frameworks to optimize image generation via diffusion losses. In this study, we present a theoretical analysis of diffusion and autoregressive models with diffusion loss, highlighting the latter's advantages. We present a theoretical comparison of conditional diffusion and autoregressive diffusion with diffusion loss, demonstrating that patch denoising optimization in autoregressive models effectively mitigates condition errors and leads to a stable condition distribution. Our analysis also reveals that autoregressive condition generation refines the condition, causing the condition error influence to decay exponentially. In addition, we introduce a novel condition refinement approach based on Optimal Transport (OT) theory to address ``condition inconsistency''. We theoretically demonstrate that formulating condition refinement as a Wasserstein Gradient Flow ensures convergence toward the ideal condition distribution, effectively mitigating condition inconsistency. Experiments demonstrate the superiority of our method over diffusion and autoregressive models with diffusion loss methods.