La Promesa del Aprendizaje por Refuerzo para la Edición Autoregresiva de Imágenes

The Promise of RL for Autoregressive Image Editing

August 1, 2025

Autores: Saba Ahmadi, Rabiul Awal, Ankur Sikarwar, Amirhossein Kazemnejad, Ge Ya Luo, Juan A. Rodriguez, Sai Rajeswar, Siva Reddy, Christopher Pal, Benno Krojer, Aishwarya Agrawal

cs.AI

Resumen

Exploramos tres estrategias para mejorar el rendimiento en una amplia gama de tareas de edición de imágenes: ajuste fino supervisado (SFT), aprendizaje por refuerzo (RL) y razonamiento en cadena de pensamiento (CoT). Para estudiar todos estos componentes en un marco consistente, adoptamos un modelo multimodal autorregresivo que procesa tokens textuales y visuales de manera unificada. Encontramos que RL combinado con un verificador multimodal de gran escala basado en LLM es la estrategia más efectiva. Como resultado, presentamos EARL: Editing with Autoregression and RL, un modelo robusto de edición de imágenes basado en RL que compite favorablemente en una diversidad de ediciones frente a líneas base sólidas, a pesar de utilizar mucho menos datos de entrenamiento. Así, EARL avanza la frontera de los modelos multimodales autorregresivos en la edición de imágenes. Publicamos nuestro código, datos de entrenamiento y modelos entrenados en https://github.com/mair-lab/EARL.

English

We explore three strategies to enhance performance on a wide range of image editing tasks: supervised fine-tuning (SFT), reinforcement learning (RL), and Chain-of-Thought (CoT) reasoning. In order to study all these components in one consistent framework, we adopt an autoregressive multimodal model that processes textual and visual tokens in a unified manner. We find RL combined with a large multi-modal LLM verifier to be the most effective of these strategies. As a result, we release EARL: Editing with Autoregression and RL, a strong RL-based image editing model that performs competitively on a diverse range of edits compared to strong baselines, despite using much less training data. Thus, EARL pushes the frontier of autoregressive multimodal models on image editing. We release our code, training data, and trained models at https://github.com/mair-lab/EARL.