MMaDA-Parallel: Мультимодальные большие диффузионные языковые модели для осознанного редактирования и генерации
MMaDA-Parallel: Multimodal Large Diffusion Language Models for Thinking-Aware Editing and Generation
November 12, 2025
Авторы: Ye Tian, Ling Yang, Jiongfan Yang, Anran Wang, Yu Tian, Jiani Zheng, Haochen Wang, Zhiyang Teng, Zhuochen Wang, Yinjie Wang, Yunhai Tong, Mengdi Wang, Xiangtai Li
cs.AI
Аннотация
Хотя генерация с осознанием мыслительного процесса направлена на повышение производительности при решении сложных задач, мы выявляем критический режим сбоя, при котором существующие последовательные авторегрессионные подходы могут парадоксальным образом ухудшать результаты из-за распространения ошибок. Для систематического анализа этой проблемы мы предлагаем ParaBench — новый эталонный набор, предназначенный для оценки как текстовой, так и визуальной модальностей вывода. Наш анализ с использованием ParaBench показывает, что это ухудшение производительности сильно коррелирует с плохим соответствием между сгенерированными рассуждениями и итоговым изображением. Для решения этой проблемы мы предлагаем параллельную мультимодальную диффузионную архитектуру MMaDA-Parallel, которая обеспечивает непрерывное двунаправленное взаимодействие между текстом и изображениями на всей траектории денойзинга. MMaDA-Parallel обучается с контролируемым тонким настраиванием, а затем дополнительно оптимизируется с помощью Parallel Reinforcement Learning (ParaRL) — новой стратегии, применяющей семантические вознаграждения вдоль траектории для обеспечения кросс-модальной согласованности. Эксперименты подтверждают, что наша модель значительно улучшает кросс-модальное соответствие и семантическую согласованность, демонстрируя улучшение показателя Output Alignment на ParaBench на 6,9% по сравнению с передовой моделью Bagel, что устанавливает более надежную парадигму для осознанного синтеза изображений. Наш код находится в открытом доступе по адресу https://github.com/tyfeld/MMaDA-Parallel.
English
While thinking-aware generation aims to improve performance on complex tasks, we identify a critical failure mode where existing sequential, autoregressive approaches can paradoxically degrade performance due to error propagation. To systematically analyze this issue, we propose ParaBench, a new benchmark designed to evaluate both text and image output modalities. Our analysis using ParaBench reveals that this performance degradation is strongly correlated with poor alignment between the generated reasoning and the final image. To resolve this, we propose a parallel multimodal diffusion framework, MMaDA-Parallel, that enables continuous, bidirectional interaction between text and images throughout the entire denoising trajectory. MMaDA-Parallel is trained with supervised finetuning and then further optimized by Parallel Reinforcement Learning (ParaRL), a novel strategy that applies semantic rewards along the trajectory to enforce cross-modal consistency. Experiments validate that our model significantly improves cross-modal alignment and semantic consistency, achieving a 6.9\% improvement in Output Alignment on ParaBench compared to the state-of-the-art model, Bagel, establishing a more robust paradigm for thinking-aware image synthesis. Our code is open-sourced at https://github.com/tyfeld/MMaDA-Parallel