UltraEdit: Instructiegebaseerd fijnmazig beeldbewerken op grote schaal

UltraEdit: Instruction-based Fine-Grained Image Editing at Scale

July 7, 2024

Auteurs: Haozhe Zhao, Xiaojian Ma, Liang Chen, Shuzheng Si, Rujie Wu, Kaikai An, Peiyu Yu, Minjia Zhang, Qing Li, Baobao Chang

cs.AI

Samenvatting

Dit artikel presenteert UltraEdit, een grootschalige (ongeveer 4 miljoen bewerkingsvoorbeelden), automatisch gegenereerde dataset voor instructiegebaseerde beeldbewerking. Onze kernidee is om de tekortkomingen in bestaande beeldbewerkingsdatasets zoals InstructPix2Pix en MagicBrush aan te pakken en een systematische aanpak te bieden voor het produceren van massale en hoogwaardige beeldbewerkingsvoorbeelden. UltraEdit biedt verschillende duidelijke voordelen: 1) Het beschikt over een breder scala aan bewerkingsinstructies door gebruik te maken van de creativiteit van grote taalmodellen (LLMs) naast in-context bewerkingsvoorbeelden van menselijke beoordelaars; 2) De databronnen zijn gebaseerd op echte afbeeldingen, waaronder foto's en kunstwerken, wat een grotere diversiteit en verminderde bias biedt in vergelijking met datasets die uitsluitend door tekst-naar-beeldmodellen zijn gegenereerd; 3) Het ondersteunt ook regio-gebaseerde bewerking, versterkt door hoogwaardige, automatisch geproduceerde regio-annotaties. Onze experimenten tonen aan dat canonieke op diffusie gebaseerde bewerkingsbaselines die op UltraEdit zijn getraind, nieuwe records vestigen op de MagicBrush en Emu-Edit benchmarks. Onze analyse bevestigt verder de cruciale rol van echte beeldankers en regio-gebaseerde bewerkingsdata. De dataset, code en modellen zijn te vinden op https://ultra-editing.github.io.

English

This paper presents UltraEdit, a large-scale (approximately 4 million editing samples), automatically generated dataset for instruction-based image editing. Our key idea is to address the drawbacks in existing image editing datasets like InstructPix2Pix and MagicBrush, and provide a systematic approach to producing massive and high-quality image editing samples. UltraEdit offers several distinct advantages: 1) It features a broader range of editing instructions by leveraging the creativity of large language models (LLMs) alongside in-context editing examples from human raters; 2) Its data sources are based on real images, including photographs and artworks, which provide greater diversity and reduced bias compared to datasets solely generated by text-to-image models; 3) It also supports region-based editing, enhanced by high-quality, automatically produced region annotations. Our experiments show that canonical diffusion-based editing baselines trained on UltraEdit set new records on MagicBrush and Emu-Edit benchmarks. Our analysis further confirms the crucial role of real image anchors and region-based editing data. The dataset, code, and models can be found in https://ultra-editing.github.io.