Modulare visuelle Fragebeantwortung durch Codegenerierung

Modular Visual Question Answering via Code Generation

June 8, 2023

Autoren: Sanjay Subramanian, Medhini Narasimhan, Kushal Khangaonkar, Kevin Yang, Arsha Nagrani, Cordelia Schmid, Andy Zeng, Trevor Darrell, Dan Klein

cs.AI

Zusammenfassung

Wir stellen ein Framework vor, das visuelles Frage-Antworten als modulare Codegenerierung formuliert. Im Gegensatz zu früheren Arbeiten zu modularen Ansätzen für VQA erfordert unser Ansatz kein zusätzliches Training und stützt sich auf vortrainierte Sprachmodelle (LMs), visuelle Modelle, die auf Bild-Beschreibungs-Paaren vortrainiert wurden, sowie fünfzig VQA-Beispiele, die für In-Context-Learning verwendet werden. Die generierten Python-Programme rufen die Ausgaben der visuellen Modelle auf und kombinieren sie mithilfe von arithmetischer und bedingter Logik. Unser Ansatz verbessert die Genauigkeit auf dem COVR-Datensatz um mindestens 3 % und auf dem GQA-Datensatz um etwa 2 % im Vergleich zum Few-Shot-Baseline-Ansatz, der keine Codegenerierung einsetzt.

English

We present a framework that formulates visual question answering as modular code generation. In contrast to prior work on modular approaches to VQA, our approach requires no additional training and relies on pre-trained language models (LMs), visual models pre-trained on image-caption pairs, and fifty VQA examples used for in-context learning. The generated Python programs invoke and compose the outputs of the visual models using arithmetic and conditional logic. Our approach improves accuracy on the COVR dataset by at least 3% and on the GQA dataset by roughly 2% compared to the few-shot baseline that does not employ code generation.