Apprendimento dell'Editing di Immagini Centrato su Azioni e Ragionamento da Video e Simulazioni

Learning Action and Reasoning-Centric Image Editing from Videos and Simulations

July 3, 2024

Autori: Benno Krojer, Dheeraj Vattikonda, Luis Lara, Varun Jampani, Eva Portelance, Christopher Pal, Siva Reddy

cs.AI

Abstract

Un modello di editing di immagini dovrebbe essere in grado di eseguire modifiche diverse, che vanno dalla sostituzione di oggetti, alla modifica di attributi o stile, fino all'esecuzione di azioni o movimenti, che richiedono molteplici forme di ragionamento. Gli attuali modelli di editing guidati da istruzioni generali presentano significative carenze nelle modifiche centrate su azioni e ragionamento. Cambiamenti di oggetti, attributi o stile possono essere appresi da dataset visivamente statici. D'altra parte, dati di alta qualità per modifiche centrate su azioni e ragionamento sono scarsi e devono provenire da fonti completamente diverse che coprono, ad esempio, dinamiche fisiche, temporalità e ragionamento spaziale. A tal fine, abbiamo curato meticolosamente il dataset AURORA (Action-Reasoning-Object-Attribute), una raccolta di dati di addestramento di alta qualità, annotati manualmente e selezionati da video e motori di simulazione. Ci concentriamo su un aspetto chiave dei dati di addestramento di qualità: le triplette (immagine sorgente, prompt, immagine target) contengono un singolo cambiamento visivo significativo descritto dal prompt, ovvero cambiamenti veramente minimi tra le immagini sorgente e target. Per dimostrare il valore del nostro dataset, valutiamo un modello fine-tuned su AURORA su un nuovo benchmark curato da esperti (AURORA-Bench) che copre 8 diverse attività di editing. Il nostro modello supera significativamente i precedenti modelli di editing secondo il giudizio di valutatori umani. Per le valutazioni automatiche, abbiamo riscontrato importanti difetti nelle metriche precedenti e sconsigliamo il loro uso per compiti di editing semanticamente complessi. Invece, proponiamo una nuova metrica automatica che si concentra sulla comprensione discriminativa. Speriamo che i nostri sforzi: (1) la cura di un dataset di addestramento di qualità e di un benchmark di valutazione, (2) lo sviluppo di valutazioni critiche, e (3) il rilascio di un modello all'avanguardia, possano alimentare ulteriori progressi nel campo dell'editing generale di immagini.

English

An image editing model should be able to perform diverse edits, ranging from object replacement, changing attributes or style, to performing actions or movement, which require many forms of reasoning. Current general instruction-guided editing models have significant shortcomings with action and reasoning-centric edits. Object, attribute or stylistic changes can be learned from visually static datasets. On the other hand, high-quality data for action and reasoning-centric edits is scarce and has to come from entirely different sources that cover e.g. physical dynamics, temporality and spatial reasoning. To this end, we meticulously curate the AURORA Dataset (Action-Reasoning-Object-Attribute), a collection of high-quality training data, human-annotated and curated from videos and simulation engines. We focus on a key aspect of quality training data: triplets (source image, prompt, target image) contain a single meaningful visual change described by the prompt, i.e., truly minimal changes between source and target images. To demonstrate the value of our dataset, we evaluate an AURORA-finetuned model on a new expert-curated benchmark (AURORA-Bench) covering 8 diverse editing tasks. Our model significantly outperforms previous editing models as judged by human raters. For automatic evaluations, we find important flaws in previous metrics and caution their use for semantically hard editing tasks. Instead, we propose a new automatic metric that focuses on discriminative understanding. We hope that our efforts : (1) curating a quality training dataset and an evaluation benchmark, (2) developing critical evaluations, and (3) releasing a state-of-the-art model, will fuel further progress on general image editing.