Detecção de Problemas Insolúveis: Avaliando a Confiabilidade de Modelos de Linguagem Visual

Unsolvable Problem Detection: Evaluating Trustworthiness of Vision Language Models

March 29, 2024

Autores: Atsuyuki Miyai, Jingkang Yang, Jingyang Zhang, Yifei Ming, Qing Yu, Go Irie, Yixuan Li, Hai Li, Ziwei Liu, Kiyoharu Aizawa

cs.AI

Resumo

Este artigo introduz um desafio novo e significativo para Modelos de Linguagem Visual (VLMs), denominado Detecção de Problemas Insolúveis (UPD). O UPD examina a capacidade do VLM de se abster de fornecer respostas quando confrontado com problemas insolúveis no contexto de tarefas de Resposta Visual a Perguntas (VQA). O UPD abrange três cenários distintos: Detecção de Resposta Ausente (AAD), Detecção de Conjunto de Respostas Incompatíveis (IASD) e Detecção de Pergunta Visual Incompatível (IVQD). Para investigar profundamente o problema do UPD, extensos experimentos indicam que a maioria dos VLMs, incluindo GPT-4V e LLaVA-Next-34B, enfrentam dificuldades em nossos benchmarks em diferentes graus, destacando uma margem significativa para melhorias. Para abordar o UPD, exploramos soluções tanto sem treinamento quanto baseadas em treinamento, oferecendo novos insights sobre sua eficácia e limitações. Esperamos que nossos insights, juntamente com esforços futuros dentro dos cenários propostos de UPD, aprimorem a compreensão mais ampla e o desenvolvimento de VLMs mais práticos e confiáveis.

English

This paper introduces a novel and significant challenge for Vision Language Models (VLMs), termed Unsolvable Problem Detection (UPD). UPD examines the VLM's ability to withhold answers when faced with unsolvable problems in the context of Visual Question Answering (VQA) tasks. UPD encompasses three distinct settings: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD), and Incompatible Visual Question Detection (IVQD). To deeply investigate the UPD problem, extensive experiments indicate that most VLMs, including GPT-4V and LLaVA-Next-34B, struggle with our benchmarks to varying extents, highlighting significant room for the improvements. To address UPD, we explore both training-free and training-based solutions, offering new insights into their effectiveness and limitations. We hope our insights, together with future efforts within the proposed UPD settings, will enhance the broader understanding and development of more practical and reliable VLMs.