Уточнение ошибок условий в авторегрессионной генерации изображений с использованием диффузионных потерь

Condition Errors Refinement in Autoregressive Image Generation with Diffusion Loss

February 2, 2026

Авторы: Yucheng Zhou, Hao Li, Jianbing Shen

cs.AI

Аннотация

В последних исследованиях изучались авторегрессионные модели для генерации изображений с обнадеживающими результатами, а также комбинировались диффузионные модели с авторегрессионными框架ами для оптимизации генерации изображений с помощью диффузионных потерь. В данном исследовании мы представляем теоретический анализ диффузионных и авторегрессионных моделей с диффузионной потерей, подчеркивая преимущества последних. Мы проводим теоретическое сравнение условной диффузии и авторегрессионной диффузии с диффузионной потерей, демонстрируя, что оптимизация поштучного удаления шума в авторегрессионных моделях эффективно снижает ошибки условия и приводит к стабильному распределению условий. Наш анализ также показывает, что авторегрессионная генерация условий уточняет условие, вызывая экспоненциальное затухание влияния ошибки условия. Кроме того, мы представляем новый подход к уточнению условий, основанный на теории оптимального транспорта (OT), для решения проблемы «несогласованности условий». Теоретически мы демонстрируем, что формулировка уточнения условия как градиентного потока Вассерштейна обеспечивает сходимость к идеальному распределению условий, эффективно mitigating несогласованность условий. Эксперименты демонстрируют превосходство нашего метода над диффузионными и авторегрессионными моделями с методами диффузионных потерь.

English

Recent studies have explored autoregressive models for image generation, with promising results, and have combined diffusion models with autoregressive frameworks to optimize image generation via diffusion losses. In this study, we present a theoretical analysis of diffusion and autoregressive models with diffusion loss, highlighting the latter's advantages. We present a theoretical comparison of conditional diffusion and autoregressive diffusion with diffusion loss, demonstrating that patch denoising optimization in autoregressive models effectively mitigates condition errors and leads to a stable condition distribution. Our analysis also reveals that autoregressive condition generation refines the condition, causing the condition error influence to decay exponentially. In addition, we introduce a novel condition refinement approach based on Optimal Transport (OT) theory to address ``condition inconsistency''. We theoretically demonstrate that formulating condition refinement as a Wasserstein Gradient Flow ensures convergence toward the ideal condition distribution, effectively mitigating condition inconsistency. Experiments demonstrate the superiority of our method over diffusion and autoregressive models with diffusion loss methods.