MMaDA-Parallel: Multimodale Grote Diffusie Taalmodellen voor Denkbewust Bewerken en Genereren

Samenvatting

Hoewel denken-bewuste generatie als doel heeft de prestaties op complexe taken te verbeteren, identificeren we een kritieke faalmodus waarbij bestaande sequentiële, autoregressieve benaderingen paradoxaal genoeg de prestaties kunnen verslechteren als gevolg van foutenpropagatie. Om dit probleem systematisch te analyseren, stellen we ParaBench voor, een nieuwe benchmark ontworpen om zowel tekst- als beelduitvoermodaliteiten te evalueren. Onze analyse met ParaBench toont aan dat deze prestatievermindering sterk gecorreleerd is met een slechte afstemming tussen de gegenereerde redenering en de uiteindelijke afbeelding. Om dit op te lossen, stellen we een parallel multimodaal diffusieraamwerk voor, MMaDA-Parallel, dat continue, bidirectionele interactie tussen tekst en beelden mogelijk maakt gedurende het volledige denoisetraject. MMaDA-Parallel wordt getraind met supervised finetuning en vervolgens verder geoptimaliseerd door Parallel Reinforcement Learning (ParaRL), een nieuwe strategie die semantische beloningen langs het traject toepast om cross-modale consistentie af te dwingen. Experimenten bevestigen dat ons model de cross-modale afstemming en semantische consistentie aanzienlijk verbetert, met een verbetering van 6,9% in Output Alignment op ParaBench in vergelijking met het state-of-the-art model Bagel, wat een robuuster paradigma voor denken-bewuste beeld synthese vestigt. Onze code is open-source beschikbaar op https://github.com/tyfeld/MMaDA-Parallel.

English

While thinking-aware generation aims to improve performance on complex tasks, we identify a critical failure mode where existing sequential, autoregressive approaches can paradoxically degrade performance due to error propagation. To systematically analyze this issue, we propose ParaBench, a new benchmark designed to evaluate both text and image output modalities. Our analysis using ParaBench reveals that this performance degradation is strongly correlated with poor alignment between the generated reasoning and the final image. To resolve this, we propose a parallel multimodal diffusion framework, MMaDA-Parallel, that enables continuous, bidirectional interaction between text and images throughout the entire denoising trajectory. MMaDA-Parallel is trained with supervised finetuning and then further optimized by Parallel Reinforcement Learning (ParaRL), a novel strategy that applies semantic rewards along the trajectory to enforce cross-modal consistency. Experiments validate that our model significantly improves cross-modal alignment and semantic consistency, achieving a 6.9\% improvement in Output Alignment on ParaBench compared to the state-of-the-art model, Bagel, establishing a more robust paradigm for thinking-aware image synthesis. Our code is open-sourced at https://github.com/tyfeld/MMaDA-Parallel

MMaDA-Parallel: Multimodale Grote Diffusie Taalmodellen voor Denkbewust Bewerken en Genereren

MMaDA-Parallel: Multimodal Large Diffusion Language Models for Thinking-Aware Editing and Generation

Samenvatting

Support