Aprendizagem de Edição de Imagens Centrada em Ação e Raciocínio a partir de Vídeos e Simulações

Learning Action and Reasoning-Centric Image Editing from Videos and Simulations

July 3, 2024

Autores: Benno Krojer, Dheeraj Vattikonda, Luis Lara, Varun Jampani, Eva Portelance, Christopher Pal, Siva Reddy

cs.AI

Resumo

Um modelo de edição de imagens deve ser capaz de realizar edições diversas, que vão desde a substituição de objetos, mudança de atributos ou estilo, até a realização de ações ou movimentos, que exigem várias formas de raciocínio. Os atuais modelos de edição guiados por instruções gerais apresentam deficiências significativas com edições centradas em ação e raciocínio. Mudanças de objeto, atributo ou estilo podem ser aprendidas a partir de conjuntos de dados visualmente estáticos. Por outro lado, dados de alta qualidade para edições centradas em ação e raciocínio são escassos e precisam vir de fontes completamente diferentes que abranjam, por exemplo, dinâmica física, temporalidade e raciocínio espacial. Para isso, curamos meticulosamente o Conjunto de Dados AURORA (Ação-Raciocínio-Objeto-Atributo), uma coleção de dados de treinamento de alta qualidade, anotados por humanos e selecionados de vídeos e motores de simulação. Nosso foco está em um aspecto-chave de dados de treinamento de qualidade: triplas (imagem de origem, instrução, imagem de destino) contêm uma única mudança visual significativa descrita pela instrução, ou seja, mudanças verdadeiramente mínimas entre as imagens de origem e destino. Para demonstrar o valor de nosso conjunto de dados, avaliamos um modelo ajustado com AURORA em um novo benchmark curado por especialistas (AURORA-Bench) que abrange 8 tarefas de edição diversas. Nosso modelo supera significativamente os modelos de edição anteriores, conforme avaliado por avaliadores humanos. Para avaliações automáticas, encontramos falhas importantes em métricas anteriores e alertamos sobre seu uso para tarefas de edição semanticamente complexas. Em vez disso, propomos uma nova métrica automática que se concentra em compreensão discriminativa. Esperamos que nossos esforços: (1) curar um conjunto de dados de treinamento de qualidade e um benchmark de avaliação, (2) desenvolver avaliações críticas e (3) disponibilizar um modelo de ponta, impulsionem ainda mais o progresso na edição geral de imagens.

English

An image editing model should be able to perform diverse edits, ranging from object replacement, changing attributes or style, to performing actions or movement, which require many forms of reasoning. Current general instruction-guided editing models have significant shortcomings with action and reasoning-centric edits. Object, attribute or stylistic changes can be learned from visually static datasets. On the other hand, high-quality data for action and reasoning-centric edits is scarce and has to come from entirely different sources that cover e.g. physical dynamics, temporality and spatial reasoning. To this end, we meticulously curate the AURORA Dataset (Action-Reasoning-Object-Attribute), a collection of high-quality training data, human-annotated and curated from videos and simulation engines. We focus on a key aspect of quality training data: triplets (source image, prompt, target image) contain a single meaningful visual change described by the prompt, i.e., truly minimal changes between source and target images. To demonstrate the value of our dataset, we evaluate an AURORA-finetuned model on a new expert-curated benchmark (AURORA-Bench) covering 8 diverse editing tasks. Our model significantly outperforms previous editing models as judged by human raters. For automatic evaluations, we find important flaws in previous metrics and caution their use for semantically hard editing tasks. Instead, we propose a new automatic metric that focuses on discriminative understanding. We hope that our efforts : (1) curating a quality training dataset and an evaluation benchmark, (2) developing critical evaluations, and (3) releasing a state-of-the-art model, will fuel further progress on general image editing.