Van ruisonderdrukking tot verfijning: een correctief raamwerk voor visueel-taalkundige diffusiemodellen

From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model

October 22, 2025

Auteurs: Yatai Ji, Teng Wang, Yuying Ge, Zhiheng Liu, Sidi Yang, Ying Shan, Ping Luo

cs.AI

Samenvatting

Discrete diffusiemodellen zijn een veelbelovende richting gebleken voor vision-taal-taken, dankzij hun bidirectionele contextmodellering en theoretische parallelleerbaarheid. Hun praktische toepassing wordt echter ernstig belemmerd door een kloof tussen training en inferentie, die leidt tot catastrofale foutcascades: initiële tokenfouten tijdens parallel decoderen vervuilen de generatiecontext, wat een kettingreactie van oplopende fouten veroorzaakt en resulteert in syntactische fouten en semantische hallucinaties. Om deze fundamentele uitdaging aan te pakken, herformuleren we het generatieproces van passieve ruisverwijdering naar actieve verfijning. Wij introduceren ReDiff, een raamwerk voor diffusie met verbeterde verfijning dat het model leert zijn eigen fouten te identificeren en corrigeren. Onze aanpak kenmerkt zich door een tweefasig trainingsproces: eerst brengen we een fundamentele revisiecapaciteit aan door het model te trainen om synthetische fouten te herzien; vervolgens implementeren we een nieuwe online zelfcorrectielus waarin het model expliciet wordt getraind om zijn eigen gebrekkige concepten te reviseren door te leren van correcties door een expert. Deze foutgedreven leerwijze geeft het model het cruciale vermogen om zijn reeds gegenereerde output opnieuw te bekijken en te verfijnen, waardoor de foutcascade effectief wordt doorbroken. Uitgebreide experimenten tonen aan dat ReDiff de samenhang en feitelijke nauwkeurigheid van gegenereerde inhoud aanzienlijk verbetert, waardoor stabiele en efficiënte parallelle generatie mogelijk wordt die ver superieur is aan traditionele methoden voor ruisverwijdering. Onze code en modellen zijn beschikbaar op https://rediff-hku.github.io/.

English

Discrete diffusion models have emerged as a promising direction for vision-language tasks, offering bidirectional context modeling and theoretical parallelization. However, their practical application is severely hindered by a train-inference discrepancy, which leads to catastrophic error cascades: initial token errors during parallel decoding pollute the generation context, triggering a chain reaction of compounding errors and leading to syntactic errors and semantic hallucinations. To address this fundamental challenge, we reframe the generation process from passive denoising to active refining. We introduce ReDiff, a refining-enhanced diffusion framework that teaches the model to identify and correct its own errors. Our approach features a two-stage training process: first, we instill a foundational revision capability by training the model to revise synthetic errors; second, we implement a novel online self-correction loop where the model is explicitly trained to revise its own flawed drafts by learning from an expert's corrections. This mistake-driven learning endows the model with the crucial ability to revisit and refine its already generated output, effectively breaking the error cascade. Extensive experiments demonstrate that ReDiff significantly improves the coherence and factual accuracy of generated content, enabling stable and efficient parallel generation far superior to traditional denoising methods. Our codes and models are available at https://rediff-hku.github.io/.