Onoplosbaar Probleem Detectie: Evaluatie van de Betrouwbaarheid van Visuele Taalmodellen

Unsolvable Problem Detection: Evaluating Trustworthiness of Vision Language Models

March 29, 2024

Auteurs: Atsuyuki Miyai, Jingkang Yang, Jingyang Zhang, Yifei Ming, Qing Yu, Go Irie, Yixuan Li, Hai Li, Ziwei Liu, Kiyoharu Aizawa

cs.AI

Samenvatting

Dit artikel introduceert een nieuwe en significante uitdaging voor Vision Language Models (VLMs), genaamd Unsolvable Problem Detection (UPD). UPD onderzoekt het vermogen van een VLM om geen antwoorden te geven wanneer het wordt geconfronteerd met onoplosbare problemen in de context van Visual Question Answering (VQA)-taken. UPD omvat drie verschillende instellingen: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD) en Incompatible Visual Question Detection (IVQD). Om het UPD-probleem diepgaand te onderzoeken, tonen uitgebreide experimenten aan dat de meeste VLMs, waaronder GPT-4V en LLaVA-Next-34B, in verschillende mate moeite hebben met onze benchmarks, wat wijst op aanzienlijke ruimte voor verbetering. Om UPD aan te pakken, verkennen we zowel training-vrije als training-gebaseerde oplossingen, waarbij we nieuwe inzichten bieden in hun effectiviteit en beperkingen. We hopen dat onze inzichten, samen met toekomstige inspanningen binnen de voorgestelde UPD-instellingen, het bredere begrip en de ontwikkeling van praktischer en betrouwbaardere VLMs zullen bevorderen.

English

This paper introduces a novel and significant challenge for Vision Language Models (VLMs), termed Unsolvable Problem Detection (UPD). UPD examines the VLM's ability to withhold answers when faced with unsolvable problems in the context of Visual Question Answering (VQA) tasks. UPD encompasses three distinct settings: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD), and Incompatible Visual Question Detection (IVQD). To deeply investigate the UPD problem, extensive experiments indicate that most VLMs, including GPT-4V and LLaVA-Next-34B, struggle with our benchmarks to varying extents, highlighting significant room for the improvements. To address UPD, we explore both training-free and training-based solutions, offering new insights into their effectiveness and limitations. We hope our insights, together with future efforts within the proposed UPD settings, will enhance the broader understanding and development of more practical and reliable VLMs.