HumanEdit: Высококачественный набор данных Human-Rewarded для редактирования изображений на основе инструкций

HumanEdit: A High-Quality Human-Rewarded Dataset for Instruction-based Image Editing

December 5, 2024

Авторы: Jinbin Bai, Wei Chow, Ling Yang, Xiangtai Li, Juncheng Li, Hanwang Zhang, Shuicheng Yan

cs.AI

Аннотация

Мы представляем HumanEdit - высококачественный набор данных, вознаграждаемый людьми, специально разработанный для редактирования изображений по инструкциям, обеспечивая точные и разнообразные манипуляции изображениями через инструкции на естественном языке. Предыдущие масштабные наборы данных для редактирования часто включают минимальную обратную связь от людей, что приводит к трудностям в выравнивании наборов данных с предпочтениями людей. HumanEdit устраняет этот разрыв, привлекая человеческих аннотаторов для создания пар данных и администраторов для предоставления обратной связи. Благодаря тщательной кураторской работе, HumanEdit включает 5 751 изображение и требует более 2 500 часов человеческого труда на четырех этапах, обеспечивая как точность, так и надежность для широкого спектра задач по редактированию изображений. Набор данных включает шесть различных типов инструкций для редактирования: Действие, Добавить, Подсчет, Отношение, Удалить и Заменить, охватывая широкий спектр реальных сценариев. Все изображения в наборе данных сопровождаются масками, и для подмножества данных мы обеспечиваем достаточно детальные инструкции для поддержки редактирования без маски. Более того, HumanEdit предлагает обширное разнообразие и высокоразрешающий контент 1024 на 1024 пикселя из различных областей, устанавливая новый универсальный стандарт для наборов данных по инструкционному редактированию изображений. С целью продвижения будущих исследований и установления оценочных стандартов в области редактирования изображений мы выпускаем HumanEdit по адресу https://huggingface.co/datasets/BryanW/HumanEdit.

English

We present HumanEdit, a high-quality, human-rewarded dataset specifically designed for instruction-guided image editing, enabling precise and diverse image manipulations through open-form language instructions. Previous large-scale editing datasets often incorporate minimal human feedback, leading to challenges in aligning datasets with human preferences. HumanEdit bridges this gap by employing human annotators to construct data pairs and administrators to provide feedback. With meticulously curation, HumanEdit comprises 5,751 images and requires more than 2,500 hours of human effort across four stages, ensuring both accuracy and reliability for a wide range of image editing tasks. The dataset includes six distinct types of editing instructions: Action, Add, Counting, Relation, Remove, and Replace, encompassing a broad spectrum of real-world scenarios. All images in the dataset are accompanied by masks, and for a subset of the data, we ensure that the instructions are sufficiently detailed to support mask-free editing. Furthermore, HumanEdit offers comprehensive diversity and high-resolution 1024 times 1024 content sourced from various domains, setting a new versatile benchmark for instructional image editing datasets. With the aim of advancing future research and establishing evaluation benchmarks in the field of image editing, we release HumanEdit at https://huggingface.co/datasets/BryanW/HumanEdit.