Da Eliminação de Ruído ao Refinamento: Uma Estrutura Corretiva para o Modelo de Difusão Visão-Linguagem

From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model

October 22, 2025

Autores: Yatai Ji, Teng Wang, Yuying Ge, Zhiheng Liu, Sidi Yang, Ying Shan, Ping Luo

cs.AI

Resumo

Os modelos de difusão discreta emergiram como uma direção promissora para tarefas de visão computacional e linguagem, oferecendo modelagem de contexto bidirecional e paralelização teórica. No entanto, sua aplicação prática é severamente limitada por uma discrepância entre treinamento e inferência, que leva a cascatas catastróficas de erro: erros iniciais de token durante a decodificação paralela poluem o contexto de geração, desencadeando uma reação em cadeia de erros cumulativos e resultando em erros sintáticos e alucinações semânticas. Para enfrentar este desafio fundamental, reformulamos o processo de geração de uma desruídosão passiva para um refinamento ativo. Apresentamos o ReDiff, uma estrutura de difusão com refinamento aprimorado que ensina o modelo a identificar e corrigir seus próprios erros. Nossa abordagem apresenta um processo de treinamento em dois estágios: primeiro, incutimos uma capacidade de revisão fundamental treinando o modelo para revisar erros sintéticos; segundo, implementamos um novo ciclo de autocorreção online onde o modelo é explicitamente treinado para revisar seus próprios rascunhos com falhas, aprendendo com as correções de um especialista. Este aprendizado orientado por erros confere ao modelo a capacidade crucial de revisar e refinar sua saída já gerada, quebrando efetivamente a cascata de erros. Experimentos extensivos demonstram que o ReDiff melhora significativamente a coerência e a precisão factual do conteúdo gerado, permitindo uma geração paralela estável e eficiente muito superior aos métodos tradicionais de desruídosão. Nossos códigos e modelos estão disponíveis em https://rediff-hku.github.io/.

English

Discrete diffusion models have emerged as a promising direction for vision-language tasks, offering bidirectional context modeling and theoretical parallelization. However, their practical application is severely hindered by a train-inference discrepancy, which leads to catastrophic error cascades: initial token errors during parallel decoding pollute the generation context, triggering a chain reaction of compounding errors and leading to syntactic errors and semantic hallucinations. To address this fundamental challenge, we reframe the generation process from passive denoising to active refining. We introduce ReDiff, a refining-enhanced diffusion framework that teaches the model to identify and correct its own errors. Our approach features a two-stage training process: first, we instill a foundational revision capability by training the model to revise synthetic errors; second, we implement a novel online self-correction loop where the model is explicitly trained to revise its own flawed drafts by learning from an expert's corrections. This mistake-driven learning endows the model with the crucial ability to revisit and refine its already generated output, effectively breaking the error cascade. Extensive experiments demonstrate that ReDiff significantly improves the coherence and factual accuracy of generated content, enabling stable and efficient parallel generation far superior to traditional denoising methods. Our codes and models are available at https://rediff-hku.github.io/.