UltraEdit: Modifica Fine-Grana delle Immagini su Larga Scala Basata su Istruzioni

Abstract

Questo articolo presenta UltraEdit, un dataset su larga scala (circa 4 milioni di campioni di editing) generato automaticamente per l'editing di immagini basato su istruzioni. La nostra idea chiave è affrontare i limiti dei dataset esistenti per l'editing di immagini come InstructPix2Pix e MagicBrush, e fornire un approccio sistematico per produrre campioni di editing massicci e di alta qualità. UltraEdit offre diversi vantaggi distintivi: 1) Presenta una gamma più ampia di istruzioni di editing sfruttando la creatività dei modelli linguistici di grandi dimensioni (LLM) insieme a esempi di editing contestuali forniti da valutatori umani; 2) Le sue fonti di dati si basano su immagini reali, inclusi fotografie e opere d'arte, che offrono una maggiore diversità e riducono i bias rispetto ai dataset generati esclusivamente da modelli testo-immagine; 3) Supporta anche l'editing basato su regioni, potenziato da annotazioni regionali di alta qualità prodotte automaticamente. I nostri esperimenti dimostrano che i modelli di editing basati su diffusione addestrati su UltraEdit stabiliscono nuovi record sui benchmark MagicBrush ed Emu-Edit. La nostra analisi conferma ulteriormente il ruolo cruciale delle ancore di immagini reali e dei dati di editing basati su regioni. Il dataset, il codice e i modelli sono disponibili su https://ultra-editing.github.io.

English

This paper presents UltraEdit, a large-scale (approximately 4 million editing samples), automatically generated dataset for instruction-based image editing. Our key idea is to address the drawbacks in existing image editing datasets like InstructPix2Pix and MagicBrush, and provide a systematic approach to producing massive and high-quality image editing samples. UltraEdit offers several distinct advantages: 1) It features a broader range of editing instructions by leveraging the creativity of large language models (LLMs) alongside in-context editing examples from human raters; 2) Its data sources are based on real images, including photographs and artworks, which provide greater diversity and reduced bias compared to datasets solely generated by text-to-image models; 3) It also supports region-based editing, enhanced by high-quality, automatically produced region annotations. Our experiments show that canonical diffusion-based editing baselines trained on UltraEdit set new records on MagicBrush and Emu-Edit benchmarks. Our analysis further confirms the crucial role of real image anchors and region-based editing data. The dataset, code, and models can be found in https://ultra-editing.github.io.