Raffinamento tramite Rigenerazione: L'ampliamento dello Spazio di Modifica Potenzia l'Affinamento delle Immagini nei Modelli Multimodali Unificati

Refinement via Regeneration: Enlarging Modification Space Boosts Image Refinement in Unified Multimodal Models

April 28, 2026

Autori: Jiayi Guo, Linqing Wang, Jiangshan Wang, Yang Yue, Zeyu Liu, Zhiyuan Zhao, Qinglin Lu, Gao Huang, Chunyu Wang

cs.AI

Abstract

I modelli multimodali unificati (UMM) integrano la comprensione e la generazione visiva all'interno di un unico framework. Per i compiti di testo-immagine (T2I), questa capacità unificata consente agli UMM di perfezionare gli output dopo la loro generazione iniziale, potenzialmente estendendo il limite superiore delle prestazioni. Gli attuali metodi di perfezionamento basati su UMM seguono principalmente un paradigma di perfezionamento tramite modifica (RvE), in cui gli UMM producono istruzioni di modifica per correggere le regioni disallineate preservando il contenuto allineato. Tuttavia, le istruzioni di modifica spesso descrivono il disallineamento prompt-immagine solo in modo approssimativo, portando a un perfezionamento incompleto. Inoltre, la preservazione a livello di pixel, sebbene necessaria per la modifica, restringe inutilmente lo spazio di modifica efficace per il perfezionamento. Per affrontare queste limitazioni, proponiamo il Perfezionamento tramite Rigenerazione (RvR), un nuovo framework che riformula il perfezionamento come rigenerazione condizionata dell'immagine piuttosto che come modifica. Invece di affidarsi a istruzioni di modifica e imporre una rigorosa preservazione del contenuto, RvR rigenera le immagini condizionate sul prompt target e sui token semantici dell'immagine iniziale, consentendo un allineamento semantico più completo con uno spazio di modifica più ampio. Esperimenti estensivi dimostrano l'efficacia di RvR, che migliora Geneval da 0,78 a 0,91, DPGBench da 84,02 a 87,21 e UniGenBench++ da 61,53 a 77,41.

English

Unified multimodal models (UMMs) integrate visual understanding and generation within a single framework. For text-to-image (T2I) tasks, this unified capability allows UMMs to refine outputs after their initial generation, potentially extending the performance upper bound. Current UMM-based refinement methods primarily follow a refinement-via-editing (RvE) paradigm, where UMMs produce editing instructions to modify misaligned regions while preserving aligned content. However, editing instructions often describe prompt-image misalignment only coarsely, leading to incomplete refinement. Moreover, pixel-level preservation, though necessary for editing, unnecessarily restricts the effective modification space for refinement. To address these limitations, we propose Refinement via Regeneration (RvR), a novel framework that reformulates refinement as conditional image regeneration rather than editing. Instead of relying on editing instructions and enforcing strict content preservation, RvR regenerates images conditioned on the target prompt and the semantic tokens of the initial image, enabling more complete semantic alignment with a larger modification space. Extensive experiments demonstrate the effectiveness of RvR, improving Geneval from 0.78 to 0.91, DPGBench from 84.02 to 87.21, and UniGenBench++ from 61.53 to 77.41.