Apprentissage de l'édition d'images centrée sur les actions et le raisonnement à partir de vidéos et de simulations

Learning Action and Reasoning-Centric Image Editing from Videos and Simulations

July 3, 2024

Auteurs: Benno Krojer, Dheeraj Vattikonda, Luis Lara, Varun Jampani, Eva Portelance, Christopher Pal, Siva Reddy

cs.AI

Résumé

Un modèle d'édition d'images devrait être capable d'effectuer des modifications variées, allant du remplacement d'objets, à la modification d'attributs ou de styles, jusqu'à l'exécution d'actions ou de mouvements, ce qui nécessite de nombreuses formes de raisonnement. Les modèles d'édition guidés par instructions générales actuels présentent des lacunes importantes pour les modifications centrées sur les actions et le raisonnement. Les changements d'objets, d'attributs ou de styles peuvent être appris à partir de jeux de données visuellement statiques. En revanche, les données de haute qualité pour les modifications centrées sur les actions et le raisonnement sont rares et doivent provenir de sources entièrement différentes qui couvrent, par exemple, la dynamique physique, la temporalité et le raisonnement spatial. À cette fin, nous avons méticuleusement constitué le jeu de données AURORA (Action-Raisonnement-Objet-Attribut), une collection de données d'entraînement de haute qualité, annotées et sélectionnées manuellement à partir de vidéos et de moteurs de simulation. Nous nous concentrons sur un aspect clé des données d'entraînement de qualité : les triplets (image source, prompt, image cible) contiennent un seul changement visuel significatif décrit par le prompt, c'est-à-dire des modifications véritablement minimales entre les images source et cible. Pour démontrer la valeur de notre jeu de données, nous évaluons un modèle affiné avec AURORA sur un nouveau benchmark expert (AURORA-Bench) couvrant 8 tâches d'édition diverses. Notre modèle surpasse significativement les modèles d'édition précédents selon les évaluations humaines. Pour les évaluations automatiques, nous identifions des défauts importants dans les métriques précédentes et mettons en garde contre leur utilisation pour les tâches d'édition sémantiquement complexes. À la place, nous proposons une nouvelle métrique automatique qui se concentre sur la compréhension discriminative. Nous espérons que nos efforts : (1) la constitution d'un jeu de données d'entraînement de qualité et d'un benchmark d'évaluation, (2) le développement d'évaluations critiques, et (3) la publication d'un modèle de pointe, stimuleront les progrès futurs dans le domaine de l'édition d'images généraliste.

English

An image editing model should be able to perform diverse edits, ranging from object replacement, changing attributes or style, to performing actions or movement, which require many forms of reasoning. Current general instruction-guided editing models have significant shortcomings with action and reasoning-centric edits. Object, attribute or stylistic changes can be learned from visually static datasets. On the other hand, high-quality data for action and reasoning-centric edits is scarce and has to come from entirely different sources that cover e.g. physical dynamics, temporality and spatial reasoning. To this end, we meticulously curate the AURORA Dataset (Action-Reasoning-Object-Attribute), a collection of high-quality training data, human-annotated and curated from videos and simulation engines. We focus on a key aspect of quality training data: triplets (source image, prompt, target image) contain a single meaningful visual change described by the prompt, i.e., truly minimal changes between source and target images. To demonstrate the value of our dataset, we evaluate an AURORA-finetuned model on a new expert-curated benchmark (AURORA-Bench) covering 8 diverse editing tasks. Our model significantly outperforms previous editing models as judged by human raters. For automatic evaluations, we find important flaws in previous metrics and caution their use for semantically hard editing tasks. Instead, we propose a new automatic metric that focuses on discriminative understanding. We hope that our efforts : (1) curating a quality training dataset and an evaluation benchmark, (2) developing critical evaluations, and (3) releasing a state-of-the-art model, will fuel further progress on general image editing.