Descrevendo Diferenças em Conjuntos de Imagens com Linguagem Natural

Describing Differences in Image Sets with Natural Language

December 5, 2023

Autores: Lisa Dunlap, Yuhui Zhang, Xiaohan Wang, Ruiqi Zhong, Trevor Darrell, Jacob Steinhardt, Joseph E. Gonzalez, Serena Yeung-Levy

cs.AI

Resumo

Como dois conjuntos de imagens diferem? Discernir diferenças em nível de conjunto é crucial para entender comportamentos de modelos e analisar datasets, mas examinar manualmente milhares de imagens é impraticável. Para auxiliar nesse processo de descoberta, exploramos a tarefa de descrever automaticamente as diferenças entre dois conjuntos de imagens, que denominamos Captioning de Diferenças de Conjunto. Essa tarefa recebe conjuntos de imagens D_A e D_B e produz uma descrição que é mais frequentemente verdadeira em D_A do que em D_B. Propomos uma abordagem em duas etapas que primeiro sugere descrições candidatas de diferenças a partir dos conjuntos de imagens e, em seguida, reclassifica os candidatos verificando o quão bem eles conseguem diferenciar os dois conjuntos. Apresentamos o VisDiff, que primeiro gera legendas para as imagens e solicita a um modelo de linguagem que proponha descrições candidatas, depois reclassifica essas descrições usando o CLIP. Para avaliar o VisDiff, coletamos o VisDiffBench, um dataset com 187 pares de conjuntos de imagens com descrições de diferenças de referência. Aplicamos o VisDiff a vários domínios, como comparar datasets (por exemplo, ImageNet vs. ImageNetV2), comparar modelos de classificação (por exemplo, CLIP zero-shot vs. ResNet supervisionado), resumir modos de falha de modelos (ResNet supervisionado), caracterizar diferenças entre modelos generativos (por exemplo, StableDiffusionV1 e V2) e descobrir o que torna as imagens memoráveis. Usando o VisDiff, conseguimos encontrar diferenças interessantes e previamente desconhecidas em datasets e modelos, demonstrando sua utilidade em revelar insights sutis.

English

How do two sets of images differ? Discerning set-level differences is crucial for understanding model behaviors and analyzing datasets, yet manually sifting through thousands of images is impractical. To aid in this discovery process, we explore the task of automatically describing the differences between two sets of images, which we term Set Difference Captioning. This task takes in image sets D_A and D_B, and outputs a description that is more often true on D_A than D_B. We outline a two-stage approach that first proposes candidate difference descriptions from image sets and then re-ranks the candidates by checking how well they can differentiate the two sets. We introduce VisDiff, which first captions the images and prompts a language model to propose candidate descriptions, then re-ranks these descriptions using CLIP. To evaluate VisDiff, we collect VisDiffBench, a dataset with 187 paired image sets with ground truth difference descriptions. We apply VisDiff to various domains, such as comparing datasets (e.g., ImageNet vs. ImageNetV2), comparing classification models (e.g., zero-shot CLIP vs. supervised ResNet), summarizing model failure modes (supervised ResNet), characterizing differences between generative models (e.g., StableDiffusionV1 and V2), and discovering what makes images memorable. Using VisDiff, we are able to find interesting and previously unknown differences in datasets and models, demonstrating its utility in revealing nuanced insights.