Risposta Visiva Modulare tramite Generazione di Codice

Modular Visual Question Answering via Code Generation

June 8, 2023

Autori: Sanjay Subramanian, Medhini Narasimhan, Kushal Khangaonkar, Kevin Yang, Arsha Nagrani, Cordelia Schmid, Andy Zeng, Trevor Darrell, Dan Klein

cs.AI

Abstract

Presentiamo un framework che formula il task di risposta a domande visive come generazione modulare di codice. A differenza dei precedenti lavori sugli approcci modulari al VQA, il nostro metodo non richiede ulteriore addestramento e si basa su modelli linguistici pre-addestrati (LM), modelli visivi pre-addestrati su coppie immagine-didascalia e cinquanta esempi di VQA utilizzati per l'apprendimento in-context. I programmi Python generati invocano e compongono gli output dei modelli visivi utilizzando logica aritmetica e condizionale. Il nostro approccio migliora l'accuratezza sul dataset COVR di almeno il 3% e sul dataset GQA di circa il 2% rispetto alla baseline few-shot che non impiega la generazione di codice.

English

We present a framework that formulates visual question answering as modular code generation. In contrast to prior work on modular approaches to VQA, our approach requires no additional training and relies on pre-trained language models (LMs), visual models pre-trained on image-caption pairs, and fifty VQA examples used for in-context learning. The generated Python programs invoke and compose the outputs of the visual models using arithmetic and conditional logic. Our approach improves accuracy on the COVR dataset by at least 3% and on the GQA dataset by roughly 2% compared to the few-shot baseline that does not employ code generation.