От шумоподавления к очистке: Корректирующая структура для диффузионной модели «визуальный язык-текст»

From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model

October 22, 2025

Авторы: Yatai Ji, Teng Wang, Yuying Ge, Zhiheng Liu, Sidi Yang, Ying Shan, Ping Luo

cs.AI

Аннотация

Дискретные диффузионные модели стали перспективным направлением для задач компьютерного зрения и обработки естественного языка, предлагая двунаправленное моделирование контекста и теоретическую возможность параллелизации. Однако их практическое применение серьезно ограничивается расхождением между обучением и выводом, что приводит к катастрофическому накоплению ошибок: первоначальные ошибки токенов при параллельном декодировании загрязняют контекст генерации, вызывая цепную реакцию нарастающих ошибок и приводя к синтаксическим ошибкам и семантическим галлюцинациям. Для решения этой фундаментальной проблемы мы переосмысливаем процесс генерации как переход от пассивного шумоподавления к активному уточнению. Мы представляем ReDiff — диффузионную структуру с усиленным уточнением, которая учит модель идентифицировать и исправлять собственные ошибки. Наш подход включает двухэтапный процесс обучения: сначала мы формируем базовую способность к ревизии, обучая модель исправлять синтетические ошибки; затем мы реализуем новейший цикл онлайн-самокоррекции, где модель явно обучается редактировать собственные flawed черновики, учась на исправлениях эксперта. Это обучение на ошибках наделяет модель crucial способностью пересматривать и уточнять уже сгенерированный вывод, эффективно разрывая цепь ошибок. Многочисленные эксперименты демонстрируют, что ReDiff значительно улучшает связность и фактическую точность генерируемого контента, обеспечивая стабильную и эффективную параллельную генерацию, значительно превосходящую традиционные методы шумоподавления. Наши коды и модели доступны по адресу https://rediff-hku.github.io/.

English

Discrete diffusion models have emerged as a promising direction for vision-language tasks, offering bidirectional context modeling and theoretical parallelization. However, their practical application is severely hindered by a train-inference discrepancy, which leads to catastrophic error cascades: initial token errors during parallel decoding pollute the generation context, triggering a chain reaction of compounding errors and leading to syntactic errors and semantic hallucinations. To address this fundamental challenge, we reframe the generation process from passive denoising to active refining. We introduce ReDiff, a refining-enhanced diffusion framework that teaches the model to identify and correct its own errors. Our approach features a two-stage training process: first, we instill a foundational revision capability by training the model to revise synthetic errors; second, we implement a novel online self-correction loop where the model is explicitly trained to revise its own flawed drafts by learning from an expert's corrections. This mistake-driven learning endows the model with the crucial ability to revisit and refine its already generated output, effectively breaking the error cascade. Extensive experiments demonstrate that ReDiff significantly improves the coherence and factual accuracy of generated content, enabling stable and efficient parallel generation far superior to traditional denoising methods. Our codes and models are available at https://rediff-hku.github.io/.