Resposta Visual Modular a Perguntas via Geração de Código

Modular Visual Question Answering via Code Generation

June 8, 2023

Autores: Sanjay Subramanian, Medhini Narasimhan, Kushal Khangaonkar, Kevin Yang, Arsha Nagrani, Cordelia Schmid, Andy Zeng, Trevor Darrell, Dan Klein

cs.AI

Resumo

Apresentamos um framework que formula a tarefa de resposta a perguntas visuais como geração de código modular. Em contraste com trabalhos anteriores sobre abordagens modulares para VQA, nossa abordagem não requer treinamento adicional e depende de modelos de linguagem (LMs) pré-treinados, modelos visuais pré-treinados em pares de imagem-legenda e cinquenta exemplos de VQA usados para aprendizado em contexto. Os programas Python gerados invocam e combinam as saídas dos modelos visuais usando lógica aritmética e condicional. Nossa abordagem melhora a precisão no conjunto de dados COVR em pelo menos 3% e no conjunto de dados GQA em aproximadamente 2% em comparação com a linha de base de poucos exemplos que não emprega geração de código.

English

We present a framework that formulates visual question answering as modular code generation. In contrast to prior work on modular approaches to VQA, our approach requires no additional training and relies on pre-trained language models (LMs), visual models pre-trained on image-caption pairs, and fifty VQA examples used for in-context learning. The generated Python programs invoke and compose the outputs of the visual models using arithmetic and conditional logic. Our approach improves accuracy on the COVR dataset by at least 3% and on the GQA dataset by roughly 2% compared to the few-shot baseline that does not employ code generation.