HumanEdit: Un conjunto de datos de alta calidad recompensado por humanos para la edición de imágenes basada en instrucciones.

HumanEdit: A High-Quality Human-Rewarded Dataset for Instruction-based Image Editing

December 5, 2024

Autores: Jinbin Bai, Wei Chow, Ling Yang, Xiangtai Li, Juncheng Li, Hanwang Zhang, Shuicheng Yan

cs.AI

Resumen

Presentamos HumanEdit, un conjunto de datos de alta calidad recompensado por humanos diseñado específicamente para la edición de imágenes guiada por instrucciones, que permite manipulaciones precisas y diversas de imágenes a través de instrucciones en lenguaje de forma abierta. Los conjuntos de datos de edición a gran escala anteriores a menudo incorporan un mínimo de retroalimentación humana, lo que conlleva desafíos para alinear los conjuntos de datos con las preferencias humanas. HumanEdit cubre esta brecha al emplear anotadores humanos para construir pares de datos y administradores para proporcionar retroalimentación. Con una curación meticulosa, HumanEdit consta de 5,751 imágenes y requiere más de 2,500 horas de esfuerzo humano a lo largo de cuatro etapas, garantizando tanto la precisión como la confiabilidad para una amplia gama de tareas de edición de imágenes. El conjunto de datos incluye seis tipos distintos de instrucciones de edición: Acción, Agregar, Conteo, Relación, Eliminar y Reemplazar, abarcando un amplio espectro de escenarios del mundo real. Todas las imágenes en el conjunto de datos están acompañadas de máscaras, y para un subconjunto de los datos, nos aseguramos de que las instrucciones sean lo suficientemente detalladas para admitir la edición sin máscara. Además, HumanEdit ofrece diversidad integral y contenido de alta resolución de 1024 por 1024 extraído de varios dominios, estableciendo un nuevo referente versátil para conjuntos de datos de edición de imágenes instructivas. Con el objetivo de avanzar en la investigación futura y establecer puntos de referencia de evaluación en el campo de la edición de imágenes, lanzamos HumanEdit en https://huggingface.co/datasets/BryanW/HumanEdit.

English

We present HumanEdit, a high-quality, human-rewarded dataset specifically designed for instruction-guided image editing, enabling precise and diverse image manipulations through open-form language instructions. Previous large-scale editing datasets often incorporate minimal human feedback, leading to challenges in aligning datasets with human preferences. HumanEdit bridges this gap by employing human annotators to construct data pairs and administrators to provide feedback. With meticulously curation, HumanEdit comprises 5,751 images and requires more than 2,500 hours of human effort across four stages, ensuring both accuracy and reliability for a wide range of image editing tasks. The dataset includes six distinct types of editing instructions: Action, Add, Counting, Relation, Remove, and Replace, encompassing a broad spectrum of real-world scenarios. All images in the dataset are accompanied by masks, and for a subset of the data, we ensure that the instructions are sufficiently detailed to support mask-free editing. Furthermore, HumanEdit offers comprehensive diversity and high-resolution 1024 times 1024 content sourced from various domains, setting a new versatile benchmark for instructional image editing datasets. With the aim of advancing future research and establishing evaluation benchmarks in the field of image editing, we release HumanEdit at https://huggingface.co/datasets/BryanW/HumanEdit.