Dall'eliminazione del rumore al raffinamento: una cornice correttiva per il modello di diffusione visione-linguaggio

From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model

October 22, 2025

Autori: Yatai Ji, Teng Wang, Yuying Ge, Zhiheng Liu, Sidi Yang, Ying Shan, Ping Luo

cs.AI

Abstract

I modelli di diffusione discreta sono emersi come una direzione promettente per i compiti di visione e linguaggio, offrendo modellizzazione contestuale bidirezionale e parallelizzazione teorica. Tuttavia, la loro applicazione pratica è fortemente ostacolata da una discrepanza addestramento-inferenza, che porta a cascate di errori catastrofiche: gli errori iniziali dei token durante la decodifica parallela inquinano il contesto di generazione, innescando una reazione a catena di errori cumulativi e portando a errori sintattici e allucinazioni semantiche. Per affrontare questa sfida fondamentale, riformuliamo il processo di generazione da denoising passivo a raffinamento attivo. Introduciamo ReDiff, un framework di diffusione potenziato per la raffinazione che insegna al modello a identificare e correggere i propri errori. Il nostro approccio presenta un processo di addestramento in due fasi: prima, instilliamo una capacità di revisione fondamentale addestrando il modello a revisionare errori sintetici; secondo, implementiamo un nuovo ciclo di autocorrezione online in cui il modello viene esplicitamente addestrato a revisionare le proprie bozze imperfette apprendendo dalle correzioni di un esperto. Questo apprendimento guidato dagli errori conferisce al modello la cruciale capacità di riesaminare e raffinare il proprio output già generato, interrompendo efficacemente la cascata di errori. Esperimenti estensivi dimostrano che ReDiff migliora significativamente la coerenza e l'accuratezza fattuale dei contenuti generati, consentendo una generazione parallela stabile ed efficiente di gran lunga superiore ai metodi tradizionali di denoising. I nostri codici e modelli sono disponibili su https://rediff-hku.github.io/.

English

Discrete diffusion models have emerged as a promising direction for vision-language tasks, offering bidirectional context modeling and theoretical parallelization. However, their practical application is severely hindered by a train-inference discrepancy, which leads to catastrophic error cascades: initial token errors during parallel decoding pollute the generation context, triggering a chain reaction of compounding errors and leading to syntactic errors and semantic hallucinations. To address this fundamental challenge, we reframe the generation process from passive denoising to active refining. We introduce ReDiff, a refining-enhanced diffusion framework that teaches the model to identify and correct its own errors. Our approach features a two-stage training process: first, we instill a foundational revision capability by training the model to revise synthetic errors; second, we implement a novel online self-correction loop where the model is explicitly trained to revise its own flawed drafts by learning from an expert's corrections. This mistake-driven learning endows the model with the crucial ability to revisit and refine its already generated output, effectively breaking the error cascade. Extensive experiments demonstrate that ReDiff significantly improves the coherence and factual accuracy of generated content, enabling stable and efficient parallel generation far superior to traditional denoising methods. Our codes and models are available at https://rediff-hku.github.io/.