LANCE: Stress-testing di Modelli Visivi attraverso la Generazione di Immagini Controfattuali Guidate dal Linguaggio

LANCE: Stress-testing Visual Models by Generating Language-guided Counterfactual Images

May 30, 2023

Autori: Viraj Prabhu, Sriram Yenamandra, Prithvijit Chattopadhyay, Judy Hoffman

cs.AI

Abstract

Proponiamo un algoritmo automatizzato per stressare un modello visivo addestrato generando immagini di test controfattuali guidate dal linguaggio (LANCE). Il nostro metodo sfrutta i recenti progressi nella modellazione del linguaggio su larga scala e nella modifica delle immagini basata su testo per arricchire un insieme di test IID con una serie di immagini di test diversificate, realistiche e impegnative senza alterare i pesi del modello. Valutiamo le prestazioni di un insieme diversificato di modelli pre-addestrati sui nostri dati generati e osserviamo cali di prestazioni significativi e consistenti. Analizziamo ulteriormente la sensibilità del modello rispetto a diversi tipi di modifiche e dimostriamo la sua applicabilità nell'evidenziare bias a livello di classe precedentemente sconosciuti in ImageNet.

English

We propose an automated algorithm to stress-test a trained visual model by generating language-guided counterfactual test images (LANCE). Our method leverages recent progress in large language modeling and text-based image editing to augment an IID test set with a suite of diverse, realistic, and challenging test images without altering model weights. We benchmark the performance of a diverse set of pretrained models on our generated data and observe significant and consistent performance drops. We further analyze model sensitivity across different types of edits, and demonstrate its applicability at surfacing previously unknown class-level model biases in ImageNet.