Raffinement des erreurs de condition dans la génération d'images autorégressive par perte de diffusion

Condition Errors Refinement in Autoregressive Image Generation with Diffusion Loss

February 2, 2026

papers.authors: Yucheng Zhou, Hao Li, Jianbing Shen

cs.AI

papers.abstract

Des études récentes ont exploré les modèles autorégressifs pour la génération d'images, avec des résultats prometteurs, et ont combiné des modèles de diffusion avec des cadres autorégressifs pour optimiser la génération d'images via des pertes de diffusion. Dans cette étude, nous présentons une analyse théorique des modèles de diffusion et autorégressifs avec perte de diffusion, en soulignant les avantages de ces derniers. Nous présentons une comparaison théorique de la diffusion conditionnelle et de la diffusion autorégressive avec perte de diffusion, démontrant que l'optimisation par débruitage par patchs dans les modèles autorégressifs atténue efficacement les erreurs de condition et conduit à une distribution de condition stable. Notre analyse révèle également que la génération de condition autorégressive affine la condition, provoquant une décroissance exponentielle de l'influence de l'erreur de condition. De plus, nous introduisons une nouvelle approche de raffinement de condition basée sur la théorie du transport optimal (OT) pour résoudre le problème de « l'incohérence de condition ». Nous démontrons théoriquement que la formulation du raffinement de condition comme un flux de gradient de Wasserstein assure une convergence vers la distribution de condition idéale, atténuant efficacement l'incohérence de condition. Les expériences démontrent la supériorité de notre méthode par rapport aux modèles de diffusion et aux modèles autorégressifs avec des méthodes à perte de diffusion.

English

Recent studies have explored autoregressive models for image generation, with promising results, and have combined diffusion models with autoregressive frameworks to optimize image generation via diffusion losses. In this study, we present a theoretical analysis of diffusion and autoregressive models with diffusion loss, highlighting the latter's advantages. We present a theoretical comparison of conditional diffusion and autoregressive diffusion with diffusion loss, demonstrating that patch denoising optimization in autoregressive models effectively mitigates condition errors and leads to a stable condition distribution. Our analysis also reveals that autoregressive condition generation refines the condition, causing the condition error influence to decay exponentially. In addition, we introduce a novel condition refinement approach based on Optimal Transport (OT) theory to address ``condition inconsistency''. We theoretically demonstrate that formulating condition refinement as a Wasserstein Gradient Flow ensures convergence toward the ideal condition distribution, effectively mitigating condition inconsistency. Experiments demonstrate the superiority of our method over diffusion and autoregressive models with diffusion loss methods.