HumanEdit: Um conjunto de dados de alta qualidade recompensado por humanos para edição de imagens baseada em instruções.

HumanEdit: A High-Quality Human-Rewarded Dataset for Instruction-based Image Editing

December 5, 2024

Autores: Jinbin Bai, Wei Chow, Ling Yang, Xiangtai Li, Juncheng Li, Hanwang Zhang, Shuicheng Yan

cs.AI

Resumo

Apresentamos o HumanEdit, um conjunto de dados de alta qualidade recompensado por humanos, especificamente projetado para edição de imagens guiada por instruções, permitindo manipulações precisas e diversas de imagens por meio de instruções em linguagem aberta. Conjuntos de dados de edição em larga escala anteriores frequentemente incorporam feedback humano mínimo, o que leva a desafios na alinhamento dos conjuntos de dados com as preferências humanas. O HumanEdit preenche essa lacuna empregando anotadores humanos para construir pares de dados e administradores para fornecer feedback. Com uma curadoria meticulosa, o HumanEdit é composto por 5.751 imagens e requer mais de 2.500 horas de esforço humano em quatro estágios, garantindo precisão e confiabilidade para uma ampla gama de tarefas de edição de imagens. O conjunto de dados inclui seis tipos distintos de instruções de edição: Ação, Adicionar, Contagem, Relação, Remover e Substituir, abrangendo um amplo espectro de cenários do mundo real. Todas as imagens no conjunto de dados são acompanhadas por máscaras, e para um subconjunto dos dados, garantimos que as instruções sejam suficientemente detalhadas para suportar a edição sem máscara. Além disso, o HumanEdit oferece diversidade abrangente e conteúdo de alta resolução de 1024 por 1024 obtido de várias áreas, estabelecendo um novo benchmark versátil para conjuntos de dados de edição de imagens instrucionais. Com o objetivo de avançar na pesquisa futura e estabelecer benchmarks de avaliação no campo da edição de imagens, disponibilizamos o HumanEdit em https://huggingface.co/datasets/BryanW/HumanEdit.

English

We present HumanEdit, a high-quality, human-rewarded dataset specifically designed for instruction-guided image editing, enabling precise and diverse image manipulations through open-form language instructions. Previous large-scale editing datasets often incorporate minimal human feedback, leading to challenges in aligning datasets with human preferences. HumanEdit bridges this gap by employing human annotators to construct data pairs and administrators to provide feedback. With meticulously curation, HumanEdit comprises 5,751 images and requires more than 2,500 hours of human effort across four stages, ensuring both accuracy and reliability for a wide range of image editing tasks. The dataset includes six distinct types of editing instructions: Action, Add, Counting, Relation, Remove, and Replace, encompassing a broad spectrum of real-world scenarios. All images in the dataset are accompanied by masks, and for a subset of the data, we ensure that the instructions are sufficiently detailed to support mask-free editing. Furthermore, HumanEdit offers comprehensive diversity and high-resolution 1024 times 1024 content sourced from various domains, setting a new versatile benchmark for instructional image editing datasets. With the aim of advancing future research and establishing evaluation benchmarks in the field of image editing, we release HumanEdit at https://huggingface.co/datasets/BryanW/HumanEdit.