HumanEdit: 指示に基づく画像編集のための高品質な人間報酬データセット

HumanEdit: A High-Quality Human-Rewarded Dataset for Instruction-based Image Editing

December 5, 2024

著者: Jinbin Bai, Wei Chow, Ling Yang, Xiangtai Li, Juncheng Li, Hanwang Zhang, Shuicheng Yan

cs.AI

要旨

私たちは、高品質かつ人間に報酬を与えられたデータセットであるHumanEditを提案します。このデータセットは、開かれた形式の言語命令を通じて正確かつ多様な画像操作を可能にするために特別に設計されています。従来の大規模な編集データセットは、しばしば最小限の人間のフィードバックしか組み込まれておらず、データセットを人間の好みに合わせることに課題がありました。HumanEditは、人間の注釈者によってデータペアを構築し、管理者によってフィードバックを提供することで、このギャップを埋めています。入念なキュレーションにより、HumanEditは5,751枚の画像からなり、4つの段階で2,500時間以上の人間の労力を必要とし、幅広い画像編集タスクにおいて精度と信頼性の両方を確保しています。このデータセットには、Action、Add、Counting、Relation、Remove、Replaceの6つの異なるタイプの編集命令が含まれており、幅広い実世界のシナリオを網羅しています。データセット内のすべての画像にはマスクが付属しており、一部のデータについては、命令がマスクなしの編集をサポートするために十分に詳細であることを確認しています。さらに、HumanEditは、さまざまなドメインからの包括的な多様性と高解像度の1024×1024コンテンツを提供し、指示付き画像編集データセットの新しい多目的なベンチマークを設定しています。画像編集の分野で将来の研究を推進し、評価基準を確立することを目的として、私たちはHumanEditを次のURLから公開しています：https://huggingface.co/datasets/BryanW/HumanEdit.

English

We present HumanEdit, a high-quality, human-rewarded dataset specifically designed for instruction-guided image editing, enabling precise and diverse image manipulations through open-form language instructions. Previous large-scale editing datasets often incorporate minimal human feedback, leading to challenges in aligning datasets with human preferences. HumanEdit bridges this gap by employing human annotators to construct data pairs and administrators to provide feedback. With meticulously curation, HumanEdit comprises 5,751 images and requires more than 2,500 hours of human effort across four stages, ensuring both accuracy and reliability for a wide range of image editing tasks. The dataset includes six distinct types of editing instructions: Action, Add, Counting, Relation, Remove, and Replace, encompassing a broad spectrum of real-world scenarios. All images in the dataset are accompanied by masks, and for a subset of the data, we ensure that the instructions are sufficiently detailed to support mask-free editing. Furthermore, HumanEdit offers comprehensive diversity and high-resolution 1024 times 1024 content sourced from various domains, setting a new versatile benchmark for instructional image editing datasets. With the aim of advancing future research and establishing evaluation benchmarks in the field of image editing, we release HumanEdit at https://huggingface.co/datasets/BryanW/HumanEdit.