Describiendo Diferencias en Conjuntos de Imágenes con Lenguaje Natural

Describing Differences in Image Sets with Natural Language

December 5, 2023

Autores: Lisa Dunlap, Yuhui Zhang, Xiaohan Wang, Ruiqi Zhong, Trevor Darrell, Jacob Steinhardt, Joseph E. Gonzalez, Serena Yeung-Levy

cs.AI

Resumen

¿En qué se diferencian dos conjuntos de imágenes? Discernir diferencias a nivel de conjunto es crucial para comprender los comportamientos de los modelos y analizar conjuntos de datos, aunque revisar manualmente miles de imágenes resulta poco práctico. Para facilitar este proceso de descubrimiento, exploramos la tarea de describir automáticamente las diferencias entre dos conjuntos de imágenes, a la que denominamos Captación de Diferencias de Conjunto (Set Difference Captioning). Esta tarea toma como entrada los conjuntos de imágenes D_A y D_B y genera una descripción que es más frecuentemente cierta en D_A que en D_B. Proponemos un enfoque de dos etapas que primero sugiere descripciones candidatas de diferencias a partir de los conjuntos de imágenes y luego las reordena verificando qué tan bien pueden diferenciar los dos conjuntos. Presentamos VisDiff, que primero genera descripciones de las imágenes y solicita a un modelo de lenguaje que proponga descripciones candidatas, luego reordena estas descripciones utilizando CLIP. Para evaluar VisDiff, recopilamos VisDiffBench, un conjunto de datos con 187 pares de conjuntos de imágenes y descripciones de diferencias de referencia. Aplicamos VisDiff en diversos dominios, como la comparación de conjuntos de datos (por ejemplo, ImageNet vs. ImageNetV2), la comparación de modelos de clasificación (por ejemplo, CLIP de cero disparos vs. ResNet supervisado), la resumen de modos de fallo de modelos (ResNet supervisado), la caracterización de diferencias entre modelos generativos (por ejemplo, StableDiffusionV1 y V2) y el descubrimiento de qué hace que las imágenes sean memorables. Utilizando VisDiff, logramos encontrar diferencias interesantes y previamente desconocidas en conjuntos de datos y modelos, demostrando su utilidad para revelar insights matizados.

English

How do two sets of images differ? Discerning set-level differences is crucial for understanding model behaviors and analyzing datasets, yet manually sifting through thousands of images is impractical. To aid in this discovery process, we explore the task of automatically describing the differences between two sets of images, which we term Set Difference Captioning. This task takes in image sets D_A and D_B, and outputs a description that is more often true on D_A than D_B. We outline a two-stage approach that first proposes candidate difference descriptions from image sets and then re-ranks the candidates by checking how well they can differentiate the two sets. We introduce VisDiff, which first captions the images and prompts a language model to propose candidate descriptions, then re-ranks these descriptions using CLIP. To evaluate VisDiff, we collect VisDiffBench, a dataset with 187 paired image sets with ground truth difference descriptions. We apply VisDiff to various domains, such as comparing datasets (e.g., ImageNet vs. ImageNetV2), comparing classification models (e.g., zero-shot CLIP vs. supervised ResNet), summarizing model failure modes (supervised ResNet), characterizing differences between generative models (e.g., StableDiffusionV1 and V2), and discovering what makes images memorable. Using VisDiff, we are able to find interesting and previously unknown differences in datasets and models, demonstrating its utility in revealing nuanced insights.