Описание различий в наборах изображений с использованием естественного языка

Describing Differences in Image Sets with Natural Language

December 5, 2023

Авторы: Lisa Dunlap, Yuhui Zhang, Xiaohan Wang, Ruiqi Zhong, Trevor Darrell, Jacob Steinhardt, Joseph E. Gonzalez, Serena Yeung-Levy

cs.AI

Аннотация

Чем отличаются два набора изображений? Определение различий на уровне наборов имеет решающее значение для понимания поведения моделей и анализа наборов данных, однако ручной просмотр тысяч изображений непрактичен. Чтобы облегчить этот процесс, мы исследуем задачу автоматического описания различий между двумя наборами изображений, которую мы называем "Описание различий наборов" (Set Difference Captioning). Эта задача принимает на вход наборы изображений D_A и D_B и выводит описание, которое чаще верно для D_A, чем для D_B. Мы предлагаем двухэтапный подход, который сначала генерирует кандидаты на описания различий из наборов изображений, а затем переупорядочивает их, проверяя, насколько хорошо они могут различать два набора. Мы представляем VisDiff, который сначала создает описания изображений и предлагает языковой модели сгенерировать кандидаты на описания, а затем переупорядочивает их с использованием CLIP. Для оценки VisDiff мы собираем VisDiffBench — набор данных, содержащий 187 пар наборов изображений с эталонными описаниями различий. Мы применяем VisDiff в различных областях, таких как сравнение наборов данных (например, ImageNet и ImageNetV2), сравнение моделей классификации (например, zero-shot CLIP и ResNet с обучением), обобщение режимов сбоев моделей (ResNet с обучением), характеристика различий между генеративными моделями (например, StableDiffusionV1 и V2) и выявление факторов, делающих изображения запоминающимися. С помощью VisDiff мы смогли обнаружить интересные и ранее неизвестные различия в наборах данных и моделях, что демонстрирует его полезность для выявления тонких инсайтов.

English

How do two sets of images differ? Discerning set-level differences is crucial for understanding model behaviors and analyzing datasets, yet manually sifting through thousands of images is impractical. To aid in this discovery process, we explore the task of automatically describing the differences between two sets of images, which we term Set Difference Captioning. This task takes in image sets D_A and D_B, and outputs a description that is more often true on D_A than D_B. We outline a two-stage approach that first proposes candidate difference descriptions from image sets and then re-ranks the candidates by checking how well they can differentiate the two sets. We introduce VisDiff, which first captions the images and prompts a language model to propose candidate descriptions, then re-ranks these descriptions using CLIP. To evaluate VisDiff, we collect VisDiffBench, a dataset with 187 paired image sets with ground truth difference descriptions. We apply VisDiff to various domains, such as comparing datasets (e.g., ImageNet vs. ImageNetV2), comparing classification models (e.g., zero-shot CLIP vs. supervised ResNet), summarizing model failure modes (supervised ResNet), characterizing differences between generative models (e.g., StableDiffusionV1 and V2), and discovering what makes images memorable. Using VisDiff, we are able to find interesting and previously unknown differences in datasets and models, demonstrating its utility in revealing nuanced insights.