VolDoGer: Dataset assistiti da LLM per la generalizzazione di dominio nei compiti di visione e linguaggio

VolDoGer: LLM-assisted Datasets for Domain Generalization in Vision-Language Tasks

July 29, 2024

Autori: Juhwan Choi, Junehyoung Kwon, JungMin Yun, Seunguk Yu, YoungBin Kim

cs.AI

Abstract

La generalizzabilità di dominio è un aspetto cruciale di un modello di deep learning, poiché determina la capacità del modello di performare bene su dati provenienti da domini non visti. Tuttavia, la ricerca sulla generalizzabilità di dominio dei modelli di deep learning per compiti di visione e linguaggio rimane limitata, principalmente a causa della mancanza di dataset necessari. Per affrontare queste sfide, proponiamo VolDoGer: Vision-Language Dataset for Domain Generalization, un dataset dedicato progettato per la generalizzazione di dominio che affronta tre compiti di visione e linguaggio: generazione di didascalie per immagini, risposta a domande visive e inferenza visiva. Abbiamo costruito VolDoGer estendendo le tecniche di annotazione dati basate su LLM ai compiti di visione e linguaggio, alleviando così il carico di reclutare annotatori umani. Abbiamo valutato la generalizzabilità di dominio di vari modelli, che vanno da modelli fine-tuned a un recente modello multimodale di linguaggio di grandi dimensioni, attraverso VolDoGer.

English

Domain generalizability is a crucial aspect of a deep learning model since it determines the capability of the model to perform well on data from unseen domains. However, research on the domain generalizability of deep learning models for vision-language tasks remains limited, primarily because of the lack of required datasets. To address these challenges, we propose VolDoGer: Vision-Language Dataset for Domain Generalization, a dedicated dataset designed for domain generalization that addresses three vision-language tasks: image captioning, visual question answering, and visual entailment. We constructed VolDoGer by extending LLM-based data annotation techniques to vision-language tasks, thereby alleviating the burden of recruiting human annotators. We evaluated the domain generalizability of various models, ranging from fine-tuned models to a recent multimodal large language model, through VolDoGer.