Lernen von aktions- und begründungszentrierter Bildbearbeitung aus Videos und Simulationen

Learning Action and Reasoning-Centric Image Editing from Videos and Simulations

July 3, 2024

Autoren: Benno Krojer, Dheeraj Vattikonda, Luis Lara, Varun Jampani, Eva Portelance, Christopher Pal, Siva Reddy

cs.AI

Zusammenfassung

Ein Bildbearbeitungsmodell sollte in der Lage sein, verschiedene Bearbeitungen durchzuführen, die von Objektaustausch, Änderung von Attributen oder Stil bis hin zu Aktionen oder Bewegungen reichen, die unterschiedliche Formen des Denkens erfordern. Aktuelle allgemeine, anweisungsgesteuerte Bearbeitungsmodelle weisen erhebliche Mängel bei aktions- und denkzentrierten Bearbeitungen auf. Objekt-, Attribut- oder stilistische Änderungen können aus visuell statischen Datensätzen gelernt werden. Hochwertige Daten für aktions- und denkzentrierte Bearbeitungen sind hingegen knapp und müssen aus völlig anderen Quellen stammen, die beispielsweise physikalische Dynamik, Zeitlichkeit und räumliches Denken abdecken. Zu diesem Zweck kuratieren wir sorgfältig den AURORA-Datensatz (Action-Reasoning-Object-Attribute), eine Sammlung von hochwertigen Trainingsdaten, die von Videos und Simulationssystemen von Menschen annotiert und kuratiert wurden. Wir konzentrieren uns auf einen entscheidenden Aspekt hochwertiger Trainingsdaten: Triplets (Quellbild, Anweisung, Zielbild) enthalten eine einzige sinnvolle visuelle Änderung, die durch die Anweisung beschrieben wird, d. h. wirklich minimale Änderungen zwischen Quell- und Zielbildern. Um den Wert unseres Datensatzes zu demonstrieren, evaluieren wir ein AURORA-feinabgestimmtes Modell an einem neuen von Experten kuratierten Benchmark (AURORA-Bench), der 8 verschiedene Bearbeitungsaufgaben abdeckt. Unser Modell übertrifft signifikant frühere Bearbeitungsmodelle, wie von menschlichen Bewertern beurteilt. Bei automatischen Bewertungen finden wir wichtige Mängel in früheren Metriken und warnen vor deren Verwendung für semantisch anspruchsvolle Bearbeitungsaufgaben. Stattdessen schlagen wir eine neue automatische Metrik vor, die sich auf diskriminierendes Verständnis konzentriert. Wir hoffen, dass unsere Bemühungen: (1) die Kuratierung eines hochwertigen Trainingsdatensatzes und eines Evaluierungsbenchmarks, (2) die Entwicklung kritischer Bewertungen und (3) die Veröffentlichung eines erstklassigen Modells, weitere Fortschritte bei der allgemeinen Bildbearbeitung vorantreiben werden.

English

An image editing model should be able to perform diverse edits, ranging from object replacement, changing attributes or style, to performing actions or movement, which require many forms of reasoning. Current general instruction-guided editing models have significant shortcomings with action and reasoning-centric edits. Object, attribute or stylistic changes can be learned from visually static datasets. On the other hand, high-quality data for action and reasoning-centric edits is scarce and has to come from entirely different sources that cover e.g. physical dynamics, temporality and spatial reasoning. To this end, we meticulously curate the AURORA Dataset (Action-Reasoning-Object-Attribute), a collection of high-quality training data, human-annotated and curated from videos and simulation engines. We focus on a key aspect of quality training data: triplets (source image, prompt, target image) contain a single meaningful visual change described by the prompt, i.e., truly minimal changes between source and target images. To demonstrate the value of our dataset, we evaluate an AURORA-finetuned model on a new expert-curated benchmark (AURORA-Bench) covering 8 diverse editing tasks. Our model significantly outperforms previous editing models as judged by human raters. For automatic evaluations, we find important flaws in previous metrics and caution their use for semantically hard editing tasks. Instead, we propose a new automatic metric that focuses on discriminative understanding. We hope that our efforts : (1) curating a quality training dataset and an evaluation benchmark, (2) developing critical evaluations, and (3) releasing a state-of-the-art model, will fuel further progress on general image editing.