Leren van actie- en redeneringsgericht beeldbewerken vanuit video's en simulaties

Learning Action and Reasoning-Centric Image Editing from Videos and Simulations

July 3, 2024

Auteurs: Benno Krojer, Dheeraj Vattikonda, Luis Lara, Varun Jampani, Eva Portelance, Christopher Pal, Siva Reddy

cs.AI

Samenvatting

Een beeldbewerkingsmodel moet in staat zijn om diverse bewerkingen uit te voeren, variërend van objectvervanging, het wijzigen van attributen of stijl, tot het uitvoeren van acties of bewegingen, wat verschillende vormen van redeneren vereist. Huidige algemene instructiegestuurde bewerkingsmodellen hebben aanzienlijke tekortkomingen bij actie- en redeneringsgerichte bewerkingen. Veranderingen in objecten, attributen of stijl kunnen worden geleerd uit visueel statische datasets. Aan de andere kant is hoogwaardige data voor actie- en redeneringsgerichte bewerkingen schaars en moet deze afkomstig zijn uit volledig verschillende bronnen die bijvoorbeeld fysieke dynamiek, temporaliteit en ruimtelijk redeneren omvatten. Daarom hebben we zorgvuldig de AURORA Dataset (Action-Reasoning-Object-Attribute) samengesteld, een verzameling van hoogwaardige trainingsdata, handmatig geannoteerd en samengesteld uit video's en simulatie-engines. We richten ons op een belangrijk aspect van kwalitatieve trainingsdata: triplets (bronafbeelding, prompt, doelafbeelding) bevatten een enkele betekenisvolle visuele verandering die door de prompt wordt beschreven, d.w.z. echt minimale veranderingen tussen bron- en doelafbeeldingen. Om de waarde van onze dataset aan te tonen, evalueren we een AURORA-finetuned model op een nieuw expert-samengesteld benchmark (AURORA-Bench) dat 8 diverse bewerkingstaken omvat. Ons model presteert aanzienlijk beter dan eerdere bewerkingsmodellen, zoals beoordeeld door menselijke beoordelaars. Voor automatische evaluaties vinden we belangrijke tekortkomingen in eerdere metrieken en waarschuwen we voor het gebruik ervan voor semantisch uitdagende bewerkingstaken. In plaats daarvan stellen we een nieuwe automatische metriek voor die zich richt op discriminerend begrip. We hopen dat onze inspanningen: (1) het samenstellen van een kwalitatieve trainingsdataset en een evaluatiebenchmark, (2) het ontwikkelen van kritische evaluaties, en (3) het uitbrengen van een state-of-the-art model, verdere vooruitgang zullen stimuleren op het gebied van algemene beeldbewerking.

English

An image editing model should be able to perform diverse edits, ranging from object replacement, changing attributes or style, to performing actions or movement, which require many forms of reasoning. Current general instruction-guided editing models have significant shortcomings with action and reasoning-centric edits. Object, attribute or stylistic changes can be learned from visually static datasets. On the other hand, high-quality data for action and reasoning-centric edits is scarce and has to come from entirely different sources that cover e.g. physical dynamics, temporality and spatial reasoning. To this end, we meticulously curate the AURORA Dataset (Action-Reasoning-Object-Attribute), a collection of high-quality training data, human-annotated and curated from videos and simulation engines. We focus on a key aspect of quality training data: triplets (source image, prompt, target image) contain a single meaningful visual change described by the prompt, i.e., truly minimal changes between source and target images. To demonstrate the value of our dataset, we evaluate an AURORA-finetuned model on a new expert-curated benchmark (AURORA-Bench) covering 8 diverse editing tasks. Our model significantly outperforms previous editing models as judged by human raters. For automatic evaluations, we find important flaws in previous metrics and caution their use for semantically hard editing tasks. Instead, we propose a new automatic metric that focuses on discriminative understanding. We hope that our efforts : (1) curating a quality training dataset and an evaluation benchmark, (2) developing critical evaluations, and (3) releasing a state-of-the-art model, will fuel further progress on general image editing.