HumanEdit: Een hoogwaardige dataset beloond door mensen voor op instructies gebaseerde beeldbewerking.

HumanEdit: A High-Quality Human-Rewarded Dataset for Instruction-based Image Editing

December 5, 2024

Auteurs: Jinbin Bai, Wei Chow, Ling Yang, Xiangtai Li, Juncheng Li, Hanwang Zhang, Shuicheng Yan

cs.AI

Samenvatting

Wij presenteren HumanEdit, een hoogwaardige dataset die beloond wordt door mensen en specifiek is ontworpen voor instructiegestuurde beeldbewerking, waardoor precieze en diverse beeldmanipulaties mogelijk zijn via instructies in natuurlijke taal. Eerdere grootschalige bewerkingsdatasets bevatten vaak minimaal menselijk feedback, wat uitdagingen met zich meebrengt bij het afstemmen van datasets op menselijke voorkeuren. HumanEdit overbrugt deze kloof door menselijke annotatoren in te zetten om dataparen te construeren en beheerders om feedback te geven. Met zorgvuldige samenstelling bestaat HumanEdit uit 5.751 afbeeldingen en vereist meer dan 2.500 uur menselijke inspanning verdeeld over vier fasen, wat zowel nauwkeurigheid als betrouwbaarheid garandeert voor een breed scala aan beeldbewerkingstaken. De dataset omvat zes verschillende soorten bewerkingsinstructies: Actie, Toevoegen, Tellen, Relatie, Verwijderen en Vervangen, die een breed spectrum van realistische scenario's bestrijken. Alle afbeeldingen in de dataset worden vergezeld door maskers, en voor een subset van de gegevens zorgen we ervoor dat de instructies voldoende gedetailleerd zijn om maskervrije bewerking te ondersteunen. Bovendien biedt HumanEdit uitgebreide diversiteit en hoogwaardige 1024 bij 1024 content afkomstig uit verschillende domeinen, waarmee het een veelzijdige nieuwe benchmark vormt voor datasets voor instructiegestuurde beeldbewerking. Met als doel het bevorderen van toekomstig onderzoek en het vaststellen van evaluatiebenchmarks op het gebied van beeldbewerking, stellen we HumanEdit beschikbaar op https://huggingface.co/datasets/BryanW/HumanEdit.

English

We present HumanEdit, a high-quality, human-rewarded dataset specifically designed for instruction-guided image editing, enabling precise and diverse image manipulations through open-form language instructions. Previous large-scale editing datasets often incorporate minimal human feedback, leading to challenges in aligning datasets with human preferences. HumanEdit bridges this gap by employing human annotators to construct data pairs and administrators to provide feedback. With meticulously curation, HumanEdit comprises 5,751 images and requires more than 2,500 hours of human effort across four stages, ensuring both accuracy and reliability for a wide range of image editing tasks. The dataset includes six distinct types of editing instructions: Action, Add, Counting, Relation, Remove, and Replace, encompassing a broad spectrum of real-world scenarios. All images in the dataset are accompanied by masks, and for a subset of the data, we ensure that the instructions are sufficiently detailed to support mask-free editing. Furthermore, HumanEdit offers comprehensive diversity and high-resolution 1024 times 1024 content sourced from various domains, setting a new versatile benchmark for instructional image editing datasets. With the aim of advancing future research and establishing evaluation benchmarks in the field of image editing, we release HumanEdit at https://huggingface.co/datasets/BryanW/HumanEdit.