Von Entrauschung zur Verfeinerung: Ein korrigierender Rahmen für Vision-Language-Diffusionsmodelle

From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model

October 22, 2025

papers.authors: Yatai Ji, Teng Wang, Yuying Ge, Zhiheng Liu, Sidi Yang, Ying Shan, Ping Luo

cs.AI

papers.abstract

Diskrete Diffusionsmodelle haben sich als vielversprechender Ansatz für Vision-Sprache-Aufgaben erwiesen, da sie bidirektionale Kontextmodellierung und theoretische Parallelisierung bieten. Ihre praktische Anwendung wird jedoch durch eine Trainings-Inferenz-Diskrepanz erheblich behindert, die zu katastrophalen Fehlerkaskaden führt: Anfängliche Token-Fehler während des parallelen Decodierens verunreinigen den Generierungskontext, lösen eine Kettenreaktion sich verstärkender Fehler aus und führen zu syntaktischen Fehlern und semantischen Halluzinationen. Um diese grundlegende Herausforderung zu bewältigen, rahmen wir den Generierungsprozess vom passiven Entrauschen zum aktiven Verfeinern um. Wir stellen ReDiff vor, ein verfeinerungsverstärktes Diffusionsframework, das dem Modell beibringt, eigene Fehler zu identifizieren und zu korrigieren. Unser Ansatz umfasst einen zweistufigen Trainingsprozess: Zunächst vermitteln wir eine grundlegende Revisionsfähigkeit, indem wir das Modell trainieren, synthetische Fehler zu überarbeiten; anschließend implementieren wir eine neuartige Online-Selbstkorrekturschleife, in der das Modell explizit trainiert wird, eigene fehlerhafte Entwürfe durch Lernen von Expertenkorrekturen zu verbessern. Dieser fehlergesteuerte Lernansatz verleiht dem Modell die entscheidende Fähigkeit, bereits generierte Ausgaben zu überprüfen und zu verfeinern, wodurch die Fehlerkaskade effektiv durchbrochen wird. Umfangreiche Experimente zeigen, dass ReDiff die Kohärenz und faktische Genauigkeit generierter Inhalte signifikant verbessert und eine stabile und effiziente Parallelgenerierung ermöglicht, die traditionellen Entrauschungsmethoden weit überlegen ist. Unsere Codes und Modelle sind verfügbar unter https://rediff-hku.github.io/.

English

Discrete diffusion models have emerged as a promising direction for vision-language tasks, offering bidirectional context modeling and theoretical parallelization. However, their practical application is severely hindered by a train-inference discrepancy, which leads to catastrophic error cascades: initial token errors during parallel decoding pollute the generation context, triggering a chain reaction of compounding errors and leading to syntactic errors and semantic hallucinations. To address this fundamental challenge, we reframe the generation process from passive denoising to active refining. We introduce ReDiff, a refining-enhanced diffusion framework that teaches the model to identify and correct its own errors. Our approach features a two-stage training process: first, we instill a foundational revision capability by training the model to revise synthetic errors; second, we implement a novel online self-correction loop where the model is explicitly trained to revise its own flawed drafts by learning from an expert's corrections. This mistake-driven learning endows the model with the crucial ability to revisit and refine its already generated output, effectively breaking the error cascade. Extensive experiments demonstrate that ReDiff significantly improves the coherence and factual accuracy of generated content, enabling stable and efficient parallel generation far superior to traditional denoising methods. Our codes and models are available at https://rediff-hku.github.io/.