Verschillen in beeldverzamelingen beschrijven met natuurlijke taal

Describing Differences in Image Sets with Natural Language

December 5, 2023

Auteurs: Lisa Dunlap, Yuhui Zhang, Xiaohan Wang, Ruiqi Zhong, Trevor Darrell, Jacob Steinhardt, Joseph E. Gonzalez, Serena Yeung-Levy

cs.AI

Samenvatting

Hoe verschillen twee sets afbeeldingen van elkaar? Het onderscheiden van verschillen op setniveau is cruciaal voor het begrijpen van modelgedrag en het analyseren van datasets, maar het handmatig doorzoeken van duizenden afbeeldingen is onpraktisch. Om dit ontdekkingproces te ondersteunen, onderzoeken we de taak om automatisch de verschillen tussen twee sets afbeeldingen te beschrijven, wat we Set Difference Captioning noemen. Deze taak neemt afbeeldingssets D_A en D_B als invoer en produceert een beschrijving die vaker waar is voor D_A dan voor D_B. We schetsen een tweestapsbenadering die eerst kandidaatverschilbeschrijvingen voorstelt uit de afbeeldingssets en deze kandidaten vervolgens herrangschikt door te controleren hoe goed ze de twee sets kunnen onderscheiden. We introduceren VisDiff, dat eerst de afbeeldingen van bijschriften voorziet en een taalmodel aanzet om kandidaatbeschrijvingen voor te stellen, waarna deze beschrijvingen worden herrangschikt met behulp van CLIP. Om VisDiff te evalueren, verzamelen we VisDiffBench, een dataset met 187 gepaarde afbeeldingssets met grondwaarheid-verschilbeschrijvingen. We passen VisDiff toe op verschillende domeinen, zoals het vergelijken van datasets (bijv. ImageNet vs. ImageNetV2), het vergelijken van classificatiemodellen (bijv. zero-shot CLIP vs. supervised ResNet), het samenvatten van model-faalmethoden (supervised ResNet), het karakteriseren van verschillen tussen generatieve modellen (bijv. StableDiffusionV1 en V2), en het ontdekken wat afbeeldingen memorabel maakt. Met VisDiff kunnen we interessante en voorheen onbekende verschillen in datasets en modellen vinden, wat het nut ervan aantoont in het onthullen van genuanceerde inzichten.

English

How do two sets of images differ? Discerning set-level differences is crucial for understanding model behaviors and analyzing datasets, yet manually sifting through thousands of images is impractical. To aid in this discovery process, we explore the task of automatically describing the differences between two sets of images, which we term Set Difference Captioning. This task takes in image sets D_A and D_B, and outputs a description that is more often true on D_A than D_B. We outline a two-stage approach that first proposes candidate difference descriptions from image sets and then re-ranks the candidates by checking how well they can differentiate the two sets. We introduce VisDiff, which first captions the images and prompts a language model to propose candidate descriptions, then re-ranks these descriptions using CLIP. To evaluate VisDiff, we collect VisDiffBench, a dataset with 187 paired image sets with ground truth difference descriptions. We apply VisDiff to various domains, such as comparing datasets (e.g., ImageNet vs. ImageNetV2), comparing classification models (e.g., zero-shot CLIP vs. supervised ResNet), summarizing model failure modes (supervised ResNet), characterizing differences between generative models (e.g., StableDiffusionV1 and V2), and discovering what makes images memorable. Using VisDiff, we are able to find interesting and previously unknown differences in datasets and models, demonstrating its utility in revealing nuanced insights.