Уточнение через регенерацию: расширение пространства модификаций улучшает уточнение изображений в унифицированных мультимодальных моделях
Refinement via Regeneration: Enlarging Modification Space Boosts Image Refinement in Unified Multimodal Models
April 28, 2026
Авторы: Jiayi Guo, Linqing Wang, Jiangshan Wang, Yang Yue, Zeyu Liu, Zhiyuan Zhao, Qinglin Lu, Gao Huang, Chunyu Wang
cs.AI
Аннотация
Унифицированные мультимодальные модели (UMM) интегрируют визуальное понимание и генерацию в единую архитектуру. Для задач генерации изображений по текстовому описанию (T2I) эта унифицированная способность позволяет UMM уточнять выходные данные после их первоначального создания, потенциально повышая верхнюю границу производительности. Современные методы уточнения на основе UMM в основном следуют парадигме уточнения через редактирование (RvE), где модели генерируют инструкции для модификации misaligned-областей при сохранении aligned-контента. Однако инструкции редактирования часто лишь грубо описывают рассогласование между промптом и изображением, что приводит к неполному уточнению. Более того, пиксельное сохранение контента, хотя и необходимое для редактирования, избыточно ограничивает пространство эффективной модификации при уточнении. Для преодоления этих ограничений мы предлагаем уточнение через регенерацию (RvR) — новую архитектуру, которая переформулирует уточнение как условную регенерацию изображения вместо редактирования. Вместо reliance на инструкции редактирования и принудительного строгого сохранения контента, RvR регенерирует изображения на основе целевого промпта и семантических токенов исходного изображения, обеспечивая более полную семантическую aligned с бóльшим пространством модификаций. Экстенсивные эксперименты демонстрируют эффективность RvR: улучшение Geneval с 0.78 до 0.91, DPGBench с 84.02 до 87.21 и UniGenBench++ с 61.53 до 77.41.
English
Unified multimodal models (UMMs) integrate visual understanding and generation within a single framework. For text-to-image (T2I) tasks, this unified capability allows UMMs to refine outputs after their initial generation, potentially extending the performance upper bound. Current UMM-based refinement methods primarily follow a refinement-via-editing (RvE) paradigm, where UMMs produce editing instructions to modify misaligned regions while preserving aligned content. However, editing instructions often describe prompt-image misalignment only coarsely, leading to incomplete refinement. Moreover, pixel-level preservation, though necessary for editing, unnecessarily restricts the effective modification space for refinement. To address these limitations, we propose Refinement via Regeneration (RvR), a novel framework that reformulates refinement as conditional image regeneration rather than editing. Instead of relying on editing instructions and enforcing strict content preservation, RvR regenerates images conditioned on the target prompt and the semantic tokens of the initial image, enabling more complete semantic alignment with a larger modification space. Extensive experiments demonstrate the effectiveness of RvR, improving Geneval from 0.78 to 0.91, DPGBench from 84.02 to 87.21, and UniGenBench++ from 61.53 to 77.41.