A Promessa do Aprendizado por Reforço para Edição Autoregressiva de Imagens
The Promise of RL for Autoregressive Image Editing
August 1, 2025
Autores: Saba Ahmadi, Rabiul Awal, Ankur Sikarwar, Amirhossein Kazemnejad, Ge Ya Luo, Juan A. Rodriguez, Sai Rajeswar, Siva Reddy, Christopher Pal, Benno Krojer, Aishwarya Agrawal
cs.AI
Resumo
Exploramos três estratégias para melhorar o desempenho em uma ampla gama de tarefas de edição de imagens: ajuste fino supervisionado (SFT), aprendizado por reforço (RL) e raciocínio em cadeia de pensamento (CoT). Para estudar todos esses componentes em um framework consistente, adotamos um modelo multimodal autorregressivo que processa tokens textuais e visuais de maneira unificada. Descobrimos que o RL combinado com um verificador LLM multimodal de grande escala é a estratégia mais eficaz. Como resultado, lançamos o EARL: Editing with Autoregression and RL, um modelo robusto de edição de imagens baseado em RL que se destaca em uma variedade de edições em comparação com baselines fortes, apesar de utilizar muito menos dados de treinamento. Assim, o EARL avança a fronteira dos modelos multimodais autorregressivos na edição de imagens. Disponibilizamos nosso código, dados de treinamento e modelos treinados em https://github.com/mair-lab/EARL.
English
We explore three strategies to enhance performance on a wide range of image
editing tasks: supervised fine-tuning (SFT), reinforcement learning (RL), and
Chain-of-Thought (CoT) reasoning. In order to study all these components in one
consistent framework, we adopt an autoregressive multimodal model that
processes textual and visual tokens in a unified manner. We find RL combined
with a large multi-modal LLM verifier to be the most effective of these
strategies. As a result, we release EARL: Editing with Autoregression and RL, a
strong RL-based image editing model that performs competitively on a diverse
range of edits compared to strong baselines, despite using much less training
data. Thus, EARL pushes the frontier of autoregressive multimodal models on
image editing. We release our code, training data, and trained models at
https://github.com/mair-lab/EARL.