Du Dénuisage au Raffinement : Un Cadre Correctif pour les Modèles de Diffusion Vision-Langage

From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model

October 22, 2025

papers.authors: Yatai Ji, Teng Wang, Yuying Ge, Zhiheng Liu, Sidi Yang, Ying Shan, Ping Luo

cs.AI

papers.abstract

Les modèles de diffusion discrets sont apparus comme une approche prometteuse pour les tâches vision-langage, offrant une modélisation contextuelle bidirectionnelle et une parallélisation théorique. Cependant, leur application pratique est sévèrement entravée par une divergence entre l'entraînement et l'inférence, qui provoque des cascades d'erreurs catastrophiques : les erreurs initiales de tokens lors du décodage parallèle polluent le contexte de génération, déclenchant une réaction en chaîne d'erreurs cumulatives conduisant à des fautes de syntaxe et des hallucinations sémantiques. Pour relever ce défi fondamental, nous reformulons le processus de génération passant d'un débruitage passif à un affinage actif. Nous présentons ReDiff, un framework de diffusion à affinage amélioré qui apprend au modèle à identifier et corriger ses propres erreurs. Notre approche comporte un processus d'entraînement en deux étapes : premièrement, nous inculquons une capacité de révision fondamentale en entraînant le modèle à réviser des erreurs synthétiques ; deuxièmement, nous mettons en œuvre une boucle innovante d'autocorrection en ligne où le modèle est explicitement entraîné à réviser ses propres ébauches défaillantes en apprenant des corrections d'un expert. Cet apprentissage piloté par les erreurs dote le modèle de la capacité cruciale de revisiter et d'affiner sa sortie déjà générée, brisant efficacement la cascade d'erreurs. Des expériences approfondies démontrent que ReDiff améliore significativement la cohérence et l'exactitude factuelle du contenu généré, permettant une génération parallèle stable et efficace bien supérieure aux méthodes traditionnelles de débruitage. Nos codes et modèles sont disponibles à l'adresse https://rediff-hku.github.io/.

English

Discrete diffusion models have emerged as a promising direction for vision-language tasks, offering bidirectional context modeling and theoretical parallelization. However, their practical application is severely hindered by a train-inference discrepancy, which leads to catastrophic error cascades: initial token errors during parallel decoding pollute the generation context, triggering a chain reaction of compounding errors and leading to syntactic errors and semantic hallucinations. To address this fundamental challenge, we reframe the generation process from passive denoising to active refining. We introduce ReDiff, a refining-enhanced diffusion framework that teaches the model to identify and correct its own errors. Our approach features a two-stage training process: first, we instill a foundational revision capability by training the model to revise synthetic errors; second, we implement a novel online self-correction loop where the model is explicitly trained to revise its own flawed drafts by learning from an expert's corrections. This mistake-driven learning endows the model with the crucial ability to revisit and refine its already generated output, effectively breaking the error cascade. Extensive experiments demonstrate that ReDiff significantly improves the coherence and factual accuracy of generated content, enabling stable and efficient parallel generation far superior to traditional denoising methods. Our codes and models are available at https://rediff-hku.github.io/.