Descrivere le Differenze nei Set di Immagini con il Linguaggio Naturale

Describing Differences in Image Sets with Natural Language

December 5, 2023

Autori: Lisa Dunlap, Yuhui Zhang, Xiaohan Wang, Ruiqi Zhong, Trevor Darrell, Jacob Steinhardt, Joseph E. Gonzalez, Serena Yeung-Levy

cs.AI

Abstract

In che modo due insiemi di immagini differiscono? Discernere le differenze a livello di insieme è cruciale per comprendere i comportamenti dei modelli e analizzare i dataset, tuttavia esaminare manualmente migliaia di immagini è impraticabile. Per facilitare questo processo di scoperta, esploriamo il compito di descrivere automaticamente le differenze tra due insiemi di immagini, che definiamo Set Difference Captioning. Questo compito prende in input due insiemi di immagini D_A e D_B e produce una descrizione che è più spesso vera su D_A rispetto a D_B. Proponiamo un approccio in due fasi che prima genera descrizioni candidate delle differenze dagli insiemi di immagini e poi le riordina verificando quanto bene riescono a distinguere i due insiemi. Introduciamo VisDiff, che prima descrive le immagini e sollecita un modello linguistico a proporre descrizioni candidate, poi riordina queste descrizioni utilizzando CLIP. Per valutare VisDiff, raccogliamo VisDiffBench, un dataset con 187 coppie di insiemi di immagini con descrizioni delle differenze di riferimento. Applichiamo VisDiff a vari domini, come il confronto tra dataset (ad esempio, ImageNet vs. ImageNetV2), il confronto tra modelli di classificazione (ad esempio, CLIP zero-shot vs. ResNet supervisionato), la sintesi delle modalità di fallimento dei modelli (ResNet supervisionato), la caratterizzazione delle differenze tra modelli generativi (ad esempio, StableDiffusionV1 e V2) e la scoperta di ciò che rende le immagini memorabili. Utilizzando VisDiff, siamo in grado di trovare differenze interessanti e precedentemente sconosciute nei dataset e nei modelli, dimostrando la sua utilità nel rivelare intuizioni sfumate.

English

How do two sets of images differ? Discerning set-level differences is crucial for understanding model behaviors and analyzing datasets, yet manually sifting through thousands of images is impractical. To aid in this discovery process, we explore the task of automatically describing the differences between two sets of images, which we term Set Difference Captioning. This task takes in image sets D_A and D_B, and outputs a description that is more often true on D_A than D_B. We outline a two-stage approach that first proposes candidate difference descriptions from image sets and then re-ranks the candidates by checking how well they can differentiate the two sets. We introduce VisDiff, which first captions the images and prompts a language model to propose candidate descriptions, then re-ranks these descriptions using CLIP. To evaluate VisDiff, we collect VisDiffBench, a dataset with 187 paired image sets with ground truth difference descriptions. We apply VisDiff to various domains, such as comparing datasets (e.g., ImageNet vs. ImageNetV2), comparing classification models (e.g., zero-shot CLIP vs. supervised ResNet), summarizing model failure modes (supervised ResNet), characterizing differences between generative models (e.g., StableDiffusionV1 and V2), and discovering what makes images memorable. Using VisDiff, we are able to find interesting and previously unknown differences in datasets and models, demonstrating its utility in revealing nuanced insights.