Verfeinerung durch Regenerierung: Vergrößerter Modifikationsraum verbessert die Bildverfeinerung in vereinheitlichten multimodalen Modellen
Refinement via Regeneration: Enlarging Modification Space Boosts Image Refinement in Unified Multimodal Models
April 28, 2026
Autoren: Jiayi Guo, Linqing Wang, Jiangshan Wang, Yang Yue, Zeyu Liu, Zhiyuan Zhao, Qinglin Lu, Gao Huang, Chunyu Wang
cs.AI
Zusammenfassung
Vereinheitlichte multimodale Modelle (UMMs) integrieren visuelles Verständnis und Generierung innerhalb eines einzigen Frameworks. Für Text-zu-Bild (T2I)-Aufgaben ermöglicht diese vereinheitlichte Fähigkeit UMMs, Ausgaben nach ihrer anfänglichen Generierung zu verfeinern, was potenziell die obere Leistungsgrenze erweitert. Aktuelle auf UMMs basierende Verfeinerungsmethoden folgen primär einem Verfeinerung-durch-Bearbeitung (RvE)-Paradigma, bei dem UMMs Bearbeitungsanweisungen erzeugen, um fehlausgerichtete Regionen zu modifizieren, während gleichzeitig korrekt ausgerichtete Inhalte erhalten bleiben. Bearbeitungsanweisungen beschreiben die Prompt-Bild-Fehlausrichtung jedoch oft nur grob, was zu unvollständiger Verfeinerung führt. Darüber hinaus schränkt die Pixel-erhaltung, obwohl für die Bearbeitung notwendig, den effektiven Modifikationsraum für die Verfeinerung unnötig ein. Um diese Einschränkungen zu adressieren, schlagen wir Verfeinerung durch Regeneration (RvR) vor, ein neuartiges Framework, das Verfeinerung als konditionale Bildregeneration anstelle von Bearbeitung neu formuliert. Anstatt sich auf Bearbeitungsanweisungen zu verlassen und strikte Inhaltserhaltung durchzusetzen, regeneriert RvR Bilder bedingt durch den Ziel-Prompt und die semantischen Tokens des Ausgangsbildes, was eine vollständigere semantische Ausrichtung mit einem größeren Modifikationsraum ermöglicht. Umfangreiche Experimente demonstrieren die Wirksamkeit von RvR, die Geneval von 0,78 auf 0,91, DPGBench von 84,02 auf 87,21 und UniGenBench++ von 61,53 auf 77,41 verbessert.
English
Unified multimodal models (UMMs) integrate visual understanding and generation within a single framework. For text-to-image (T2I) tasks, this unified capability allows UMMs to refine outputs after their initial generation, potentially extending the performance upper bound. Current UMM-based refinement methods primarily follow a refinement-via-editing (RvE) paradigm, where UMMs produce editing instructions to modify misaligned regions while preserving aligned content. However, editing instructions often describe prompt-image misalignment only coarsely, leading to incomplete refinement. Moreover, pixel-level preservation, though necessary for editing, unnecessarily restricts the effective modification space for refinement. To address these limitations, we propose Refinement via Regeneration (RvR), a novel framework that reformulates refinement as conditional image regeneration rather than editing. Instead of relying on editing instructions and enforcing strict content preservation, RvR regenerates images conditioned on the target prompt and the semantic tokens of the initial image, enabling more complete semantic alignment with a larger modification space. Extensive experiments demonstrate the effectiveness of RvR, improving Geneval from 0.78 to 0.91, DPGBench from 84.02 to 87.21, and UniGenBench++ from 61.53 to 77.41.