VolDoGer: Conjuntos de datos asistidos por LLM para Generalización de Dominio en Tareas de Visión-Lenguaje

VolDoGer: LLM-assisted Datasets for Domain Generalization in Vision-Language Tasks

July 29, 2024

Autores: Juhwan Choi, Junehyoung Kwon, JungMin Yun, Seunguk Yu, YoungBin Kim

cs.AI

Resumen

La generalización de dominio es un aspecto crucial de un modelo de aprendizaje profundo, ya que determina la capacidad del modelo para desempeñarse bien en datos de dominios no vistos. Sin embargo, la investigación sobre la generalización de dominio de modelos de aprendizaje profundo para tareas de visión y lenguaje sigue siendo limitada, principalmente debido a la falta de conjuntos de datos requeridos. Para abordar estos desafíos, proponemos VolDoGer: Conjunto de datos de Visión-Lenguaje para Generalización de Dominio, un conjunto de datos dedicado diseñado para la generalización de dominio que aborda tres tareas de visión y lenguaje: descripción de imágenes, respuesta a preguntas visuales e implicación visual. Construimos VolDoGer extendiendo técnicas de anotación de datos basadas en LLM a tareas de visión y lenguaje, aliviando así la carga de reclutar anotadores humanos. Evaluamos la generalización de dominio de varios modelos, desde modelos ajustados fino hasta un reciente modelo de lenguaje grande multimodal, a través de VolDoGer.

English

Domain generalizability is a crucial aspect of a deep learning model since it determines the capability of the model to perform well on data from unseen domains. However, research on the domain generalizability of deep learning models for vision-language tasks remains limited, primarily because of the lack of required datasets. To address these challenges, we propose VolDoGer: Vision-Language Dataset for Domain Generalization, a dedicated dataset designed for domain generalization that addresses three vision-language tasks: image captioning, visual question answering, and visual entailment. We constructed VolDoGer by extending LLM-based data annotation techniques to vision-language tasks, thereby alleviating the burden of recruiting human annotators. We evaluated the domain generalizability of various models, ranging from fine-tuned models to a recent multimodal large language model, through VolDoGer.