Uniworld-V2: Reforçando a Edição de Imagens com Ajuste Fino Sensível a Negativos de Difusão e Feedback Implícito de MLLM

Uniworld-V2: Reinforce Image Editing with Diffusion Negative-aware Finetuning and MLLM Implicit Feedback

October 19, 2025

Autores: Zongjian Li, Zheyuan Liu, Qihui Zhang, Bin Lin, Shenghai Yuan, Zhiyuan Yan, Yang Ye, Wangbo Yu, Yuwei Niu, Li Yuan

cs.AI

Resumo

A edição de imagens baseada em instruções alcançou progressos notáveis; no entanto, modelos treinados exclusivamente por meio de ajuste fino supervisionado frequentemente sofrem de sobreajuste a padrões anotados, prejudicando sua capacidade de explorar e generalizar além das distribuições de treinamento. Para isso, introduzimos o Edit-R1, uma nova estrutura de pós-treinamento para edição de imagens baseada em instruções, fundamentada em otimização de políticas. Especificamente, utilizamos o Diffusion Negative-aware Finetuning (DiffusionNFT), um método de otimização de políticas livre de verossimilhança, consistente com o processo direto de correspondência de fluxo, permitindo assim o uso de amostradores de ordem superior e um treinamento mais eficiente. Outro desafio crucial aqui é a ausência de um modelo de recompensa universal, decorrente da natureza diversa das instruções e tarefas de edição. Para preencher essa lacuna, empregamos um Modelo de Linguagem Multimodal de Grande Escala (MLLM) como um modelo de recompensa unificado e livre de treinamento, aproveitando seus logits de saída para fornecer feedback refinado. Além disso, projetamos cuidadosamente um mecanismo de filtragem de grupo de baixa variância para reduzir o ruído na pontuação do MLLM e estabilizar a otimização. O UniWorld-V2, treinado com essa estrutura, alcança resultados de ponta nos benchmarks ImgEdit e GEdit-Bench, com pontuações de 4,49 e 7,83, respectivamente. Crucialmente, nossa estrutura é independente de modelo, proporcionando ganhos substanciais de desempenho quando aplicada a diversos modelos base, como Qwen-Image-Edit e FLUX-Kontext, demonstrando sua ampla aplicabilidade. Códigos e modelos estão disponíveis publicamente em https://github.com/PKU-YuanGroup/UniWorld-V2.

English

Instruction-based image editing has achieved remarkable progress; however, models solely trained via supervised fine-tuning often overfit to annotated patterns, hindering their ability to explore and generalize beyond training distributions. To this end, we introduce Edit-R1, a novel post-training framework for instruction-based image editing based on policy optimization. Specifically, we utilize Diffusion Negative-aware Finetuning (DiffusionNFT), a likelihood-free policy optimization method consistent with the flow matching forward process, thereby enabling the use of higher-order samplers and more efficient training. Another key challenge here is the absence of a universal reward model, resulting from the diverse nature of editing instructions and tasks. To bridge this gap, we employ a Multimodal Large Language Model (MLLM) as a unified, training-free reward model, leveraging its output logits to provide fine-grained feedback. Furthermore, we carefully design a low-variance group filtering mechanism to reduce MLLM scoring noise and stabilize optimization. UniWorld-V2, trained with this framework, achieves state-of-the-art results on the ImgEdit and GEdit-Bench benchmarks, scoring 4.49 and 7.83, respectively. Crucially, our framework is model-agnostic, delivering substantial performance gains when applied to diverse base models like Qwen-Image-Edit and FLUX-Kontext, demonstrating its wide applicability. Code and models are publicly available at https://github.com/PKU-YuanGroup/UniWorld-V2.