UIP2P: Edición de Imágenes basada en Instrucciones No Supervisada a través de Edición Cíclica de Consistencia

UIP2P: Unsupervised Instruction-based Image Editing via Cycle Edit Consistency

December 19, 2024

Autores: Enis Simsar, Alessio Tonioni, Yongqin Xian, Thomas Hofmann, Federico Tombari

cs.AI

Resumen

Proponemos un modelo no supervisado para la edición de imágenes basada en instrucciones que elimina la necesidad de imágenes editadas de referencia durante el entrenamiento. Los métodos supervisados existentes dependen de conjuntos de datos que contienen tripletes de imagen de entrada, imagen editada e instrucción de edición. Estos se generan ya sea mediante métodos de edición existentes o anotaciones humanas, lo que introduce sesgos y limita su capacidad de generalización. Nuestro método aborda estos desafíos al introducir un mecanismo de edición novedoso llamado Consistencia de Edición Cíclica (CEC), que aplica ediciones hacia adelante y hacia atrás en un paso de entrenamiento y garantiza consistencia en los espacios de imagen y atención. Esto nos permite evitar la necesidad de imágenes editadas de referencia y desbloquear el entrenamiento por primera vez en conjuntos de datos que comprenden pares de imagen-subtítulo reales o tripletes de imagen-subtítulo-edición. Demostramos empíricamente que nuestra técnica no supervisada tiene un mejor rendimiento en una gama más amplia de ediciones con alta fidelidad y precisión. Al eliminar la necesidad de conjuntos de datos preexistentes de tripletes, reducir los sesgos asociados con los métodos supervisados y proponer CEC, nuestro trabajo representa un avance significativo en el desbloqueo de la escalabilidad de la edición de imágenes basada en instrucciones.

English

We propose an unsupervised model for instruction-based image editing that eliminates the need for ground-truth edited images during training. Existing supervised methods depend on datasets containing triplets of input image, edited image, and edit instruction. These are generated by either existing editing methods or human-annotations, which introduce biases and limit their generalization ability. Our method addresses these challenges by introducing a novel editing mechanism called Cycle Edit Consistency (CEC), which applies forward and backward edits in one training step and enforces consistency in image and attention spaces. This allows us to bypass the need for ground-truth edited images and unlock training for the first time on datasets comprising either real image-caption pairs or image-caption-edit triplets. We empirically show that our unsupervised technique performs better across a broader range of edits with high fidelity and precision. By eliminating the need for pre-existing datasets of triplets, reducing biases associated with supervised methods, and proposing CEC, our work represents a significant advancement in unblocking scaling of instruction-based image editing.