VolDoGer: Conjuntos de Dados Assistidos por LLM para Generalização de Domínio em Tarefas de Visão e Linguagem

VolDoGer: LLM-assisted Datasets for Domain Generalization in Vision-Language Tasks

July 29, 2024

Autores: Juhwan Choi, Junehyoung Kwon, JungMin Yun, Seunguk Yu, YoungBin Kim

cs.AI

Resumo

A generalizabilidade de domínio é um aspecto crucial de um modelo de aprendizado profundo, pois determina a capacidade do modelo de se sair bem em dados de domínios não vistos. No entanto, a pesquisa sobre a generalizabilidade de domínio de modelos de aprendizado profundo para tarefas de visão e linguagem ainda é limitada, principalmente devido à falta de conjuntos de dados necessários. Para enfrentar esses desafios, propomos VolDoGer: Conjunto de Dados Visão-Linguagem para Generalização de Domínio, um conjunto de dados dedicado projetado para generalização de domínio que aborda três tarefas de visão e linguagem: descrição de imagem, resposta a perguntas visuais e inferência visual. Construímos o VolDoGer estendendo técnicas de anotação de dados baseadas em LLM para tarefas de visão e linguagem, aliviando assim o ônus de recrutar anotadores humanos. Avaliamos a generalizabilidade de domínio de vários modelos, desde modelos ajustados até um modelo de linguagem grande multimodal recente, por meio do VolDoGer.

English

Domain generalizability is a crucial aspect of a deep learning model since it determines the capability of the model to perform well on data from unseen domains. However, research on the domain generalizability of deep learning models for vision-language tasks remains limited, primarily because of the lack of required datasets. To address these challenges, we propose VolDoGer: Vision-Language Dataset for Domain Generalization, a dedicated dataset designed for domain generalization that addresses three vision-language tasks: image captioning, visual question answering, and visual entailment. We constructed VolDoGer by extending LLM-based data annotation techniques to vision-language tasks, thereby alleviating the burden of recruiting human annotators. We evaluated the domain generalizability of various models, ranging from fine-tuned models to a recent multimodal large language model, through VolDoGer.