自然言語を用いた画像セット間の差異の記述

Describing Differences in Image Sets with Natural Language

December 5, 2023

著者: Lisa Dunlap, Yuhui Zhang, Xiaohan Wang, Ruiqi Zhong, Trevor Darrell, Jacob Steinhardt, Joseph E. Gonzalez, Serena Yeung-Levy

cs.AI

要旨

2つの画像セットはどのように異なるのか？セットレベルの差異を識別することは、モデルの挙動を理解し、データセットを分析する上で極めて重要である。しかし、数千枚の画像を手作業で精査するのは現実的ではない。この発見プロセスを支援するため、我々は2つの画像セット間の差異を自動的に記述するタスクを探求し、これを「セット差分キャプショニング（Set Difference Captioning）」と呼ぶ。このタスクは、画像セットD_AとD_Bを入力として受け取り、D_Aでより頻繁に当てはまる記述を出力する。我々は、まず画像セットから候補となる差分記述を提案し、その後、それらの候補が2つのセットをどれだけうまく区別できるかをチェックして再ランク付けするという2段階のアプローチを概説する。我々はVisDiffを導入し、まず画像にキャプションを付け、言語モデルに候補記述を提案させ、その後CLIPを使用してこれらの記述を再ランク付けする。VisDiffを評価するために、187組の画像セットと正解の差分記述を含むVisDiffBenchデータセットを収集した。VisDiffを様々な領域に適用し、データセットの比較（例：ImageNet vs. ImageNetV2）、分類モデルの比較（例：ゼロショットCLIP vs. 教師ありResNet）、モデルの失敗モードの要約（教師ありResNet）、生成モデル間の差異の特徴付け（例：StableDiffusionV1とV2）、記憶に残る画像の特徴の発見などを行った。VisDiffを使用することで、データセットやモデルにおける興味深くかつこれまで知られていなかった差異を発見することができ、微妙な洞察を明らかにする上での有用性を実証した。

English

How do two sets of images differ? Discerning set-level differences is crucial for understanding model behaviors and analyzing datasets, yet manually sifting through thousands of images is impractical. To aid in this discovery process, we explore the task of automatically describing the differences between two sets of images, which we term Set Difference Captioning. This task takes in image sets D_A and D_B, and outputs a description that is more often true on D_A than D_B. We outline a two-stage approach that first proposes candidate difference descriptions from image sets and then re-ranks the candidates by checking how well they can differentiate the two sets. We introduce VisDiff, which first captions the images and prompts a language model to propose candidate descriptions, then re-ranks these descriptions using CLIP. To evaluate VisDiff, we collect VisDiffBench, a dataset with 187 paired image sets with ground truth difference descriptions. We apply VisDiff to various domains, such as comparing datasets (e.g., ImageNet vs. ImageNetV2), comparing classification models (e.g., zero-shot CLIP vs. supervised ResNet), summarizing model failure modes (supervised ResNet), characterizing differences between generative models (e.g., StableDiffusionV1 and V2), and discovering what makes images memorable. Using VisDiff, we are able to find interesting and previously unknown differences in datasets and models, demonstrating its utility in revealing nuanced insights.