코드 생성을 통한 모듈형 시각 질의응답

초록

본 논문에서는 시각적 질문 응답(Visual Question Answering, VQA)을 모듈식 코드 생성으로 공식화하는 프레임워크를 제시한다. 기존의 모듈식 VQA 접근법과 달리, 우리의 접근법은 추가적인 학습을 필요로 하지 않으며, 사전 학습된 언어 모델(Language Models, LMs), 이미지-캡션 쌍으로 사전 학습된 시각적 모델, 그리고 컨텍스트 학습을 위해 사용된 50개의 VQA 예제에 의존한다. 생성된 파이썬 프로그램은 산술 및 조건 논리를 사용하여 시각적 모델의 출력을 호출하고 조합한다. 우리의 접근법은 코드 생성을 사용하지 않는 퓨샷(few-shot) 베이스라인과 비교하여 COVR 데이터셋에서 최소 3%, GQA 데이터셋에서 약 2%의 정확도 향상을 보인다.

English

We present a framework that formulates visual question answering as modular code generation. In contrast to prior work on modular approaches to VQA, our approach requires no additional training and relies on pre-trained language models (LMs), visual models pre-trained on image-caption pairs, and fifty VQA examples used for in-context learning. The generated Python programs invoke and compose the outputs of the visual models using arithmetic and conditional logic. Our approach improves accuracy on the COVR dataset by at least 3% and on the GQA dataset by roughly 2% compared to the few-shot baseline that does not employ code generation.

코드 생성을 통한 모듈형 시각 질의응답

Modular Visual Question Answering via Code Generation

초록

Support