De la Eliminación de Ruido al Refinamiento: Un Marco Correctivo para el Modelo de Difusión de Visión y Lenguaje

From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model

October 22, 2025

Autores: Yatai Ji, Teng Wang, Yuying Ge, Zhiheng Liu, Sidi Yang, Ying Shan, Ping Luo

cs.AI

Resumen

Los modelos de difusión discreta han surgido como una dirección prometedora para las tareas de visión y lenguaje, ofreciendo modelado contextual bidireccional y paralelización teórica. Sin embargo, su aplicación práctica se ve severamente obstaculizada por una discrepancia entre el entrenamiento y la inferencia, lo que conduce a cascadas de errores catastróficas: los errores iniciales en los tokens durante la decodificación paralela contaminan el contexto de generación, desencadenando una reacción en cadena de errores acumulativos que resultan en errores sintácticos y alucinaciones semánticas. Para abordar este desafío fundamental, replanteamos el proceso de generación desde una eliminación pasiva de ruido hacia un refinamiento activo. Introducimos ReDiff, un marco de difusión mejorado con refinamiento que enseña al modelo a identificar y corregir sus propios errores. Nuestro enfoque presenta un proceso de entrenamiento en dos etapas: primero, inculcamos una capacidad de revisión fundamental entrenando al modelo para revisar errores sintéticos; segundo, implementamos un novedoso bucle de autocorrección en línea donde el modelo es entrenado explícitamente para revisar sus propios borradores defectuosos aprendiendo de las correcciones de un experto. Este aprendizaje impulsado por errores dota al modelo de la capacidad crucial de revisar y refinar su salida ya generada, rompiendo efectivamente la cascada de errores. Experimentos exhaustivos demuestran que ReDiff mejora significativamente la coherencia y la precisión factual del contenido generado, permitiendo una generación paralela estable y eficiente muy superior a los métodos tradicionales de eliminación de ruido. Nuestros códigos y modelos están disponibles en https://rediff-hku.github.io/.

English

Discrete diffusion models have emerged as a promising direction for vision-language tasks, offering bidirectional context modeling and theoretical parallelization. However, their practical application is severely hindered by a train-inference discrepancy, which leads to catastrophic error cascades: initial token errors during parallel decoding pollute the generation context, triggering a chain reaction of compounding errors and leading to syntactic errors and semantic hallucinations. To address this fundamental challenge, we reframe the generation process from passive denoising to active refining. We introduce ReDiff, a refining-enhanced diffusion framework that teaches the model to identify and correct its own errors. Our approach features a two-stage training process: first, we instill a foundational revision capability by training the model to revise synthetic errors; second, we implement a novel online self-correction loop where the model is explicitly trained to revise its own flawed drafts by learning from an expert's corrections. This mistake-driven learning endows the model with the crucial ability to revisit and refine its already generated output, effectively breaking the error cascade. Extensive experiments demonstrate that ReDiff significantly improves the coherence and factual accuracy of generated content, enabling stable and efficient parallel generation far superior to traditional denoising methods. Our codes and models are available at https://rediff-hku.github.io/.