HumanEdit : un ensemble de données de haute qualité récompensé par des humains pour l'édition d'images basée sur des instructions

HumanEdit: A High-Quality Human-Rewarded Dataset for Instruction-based Image Editing

December 5, 2024

Auteurs: Jinbin Bai, Wei Chow, Ling Yang, Xiangtai Li, Juncheng Li, Hanwang Zhang, Shuicheng Yan

cs.AI

Résumé

Nous présentons HumanEdit, un ensemble de données de haute qualité récompensé par des humains spécifiquement conçu pour l'édition d'images guidée par des instructions, permettant des manipulations d'images précises et diverses à travers des instructions en langage ouvert. Les ensembles de données d'édition à grande échelle précédents intègrent souvent un minimum de rétroaction humaine, ce qui pose des défis pour aligner les ensembles de données avec les préférences humaines. HumanEdit comble cette lacune en faisant appel à des annotateurs humains pour construire des paires de données et des administrateurs pour fournir des retours. Avec une curation méticuleuse, HumanEdit comprend 5 751 images et nécessite plus de 2 500 heures d'effort humain à travers quatre étapes, garantissant à la fois précision et fiabilité pour une large gamme de tâches d'édition d'images. L'ensemble de données comprend six types distincts d'instructions d'édition : Action, Ajouter, Compter, Relation, Retirer et Remplacer, englobant un large éventail de scénarios du monde réel. Toutes les images de l'ensemble de données sont accompagnées de masques, et pour un sous-ensemble des données, nous nous assurons que les instructions sont suffisamment détaillées pour prendre en charge l'édition sans masque. De plus, HumanEdit offre une diversité complète et un contenu haute résolution de 1024 fois 1024 provenant de divers domaines, établissant ainsi une nouvelle référence polyvalente pour les ensembles de données d'édition d'images guidées par des instructions. Dans le but de faire progresser la recherche future et d'établir des références d'évaluation dans le domaine de l'édition d'images, nous publions HumanEdit sur https://huggingface.co/datasets/BryanW/HumanEdit.

English

We present HumanEdit, a high-quality, human-rewarded dataset specifically designed for instruction-guided image editing, enabling precise and diverse image manipulations through open-form language instructions. Previous large-scale editing datasets often incorporate minimal human feedback, leading to challenges in aligning datasets with human preferences. HumanEdit bridges this gap by employing human annotators to construct data pairs and administrators to provide feedback. With meticulously curation, HumanEdit comprises 5,751 images and requires more than 2,500 hours of human effort across four stages, ensuring both accuracy and reliability for a wide range of image editing tasks. The dataset includes six distinct types of editing instructions: Action, Add, Counting, Relation, Remove, and Replace, encompassing a broad spectrum of real-world scenarios. All images in the dataset are accompanied by masks, and for a subset of the data, we ensure that the instructions are sufficiently detailed to support mask-free editing. Furthermore, HumanEdit offers comprehensive diversity and high-resolution 1024 times 1024 content sourced from various domains, setting a new versatile benchmark for instructional image editing datasets. With the aim of advancing future research and establishing evaluation benchmarks in the field of image editing, we release HumanEdit at https://huggingface.co/datasets/BryanW/HumanEdit.