Erkennung unlösbarer Probleme: Bewertung der Vertrauenswürdigkeit von Vision-Sprachmodellen

Unsolvable Problem Detection: Evaluating Trustworthiness of Vision Language Models

March 29, 2024

Autoren: Atsuyuki Miyai, Jingkang Yang, Jingyang Zhang, Yifei Ming, Qing Yu, Go Irie, Yixuan Li, Hai Li, Ziwei Liu, Kiyoharu Aizawa

cs.AI

Zusammenfassung

Dieses Paper stellt eine neuartige und bedeutende Herausforderung für Vision Language Models (VLMs) vor, die als Unsolvable Problem Detection (UPD) bezeichnet wird. UPD untersucht die Fähigkeit des VLM, Antworten zurückzuhalten, wenn es mit unlösbaren Problemen im Kontext von Visual Question Answering (VQA)-Aufgaben konfrontiert wird. UPD umfasst drei verschiedene Szenarien: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD) und Incompatible Visual Question Detection (IVQD). Um das UPD-Problem eingehend zu untersuchen, zeigen umfangreiche Experimente, dass die meisten VLMs, einschließlich GPT-4V und LLaVA-Next-34B, in unterschiedlichem Maße mit unseren Benchmarks zu kämpfen haben, was erheblichen Raum für Verbesserungen aufzeigt. Um UPD anzugehen, erforschen wir sowohl trainingsfreie als auch trainingsbasierte Lösungen und bieten neue Einblicke in ihre Wirksamkeit und Grenzen. Wir hoffen, dass unsere Erkenntnisse zusammen mit zukünftigen Bemühungen innerhalb der vorgeschlagenen UPD-Szenarien das breitere Verständnis und die Entwicklung praktischerer und zuverlässigerer VLMs verbessern werden.

English

This paper introduces a novel and significant challenge for Vision Language Models (VLMs), termed Unsolvable Problem Detection (UPD). UPD examines the VLM's ability to withhold answers when faced with unsolvable problems in the context of Visual Question Answering (VQA) tasks. UPD encompasses three distinct settings: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD), and Incompatible Visual Question Detection (IVQD). To deeply investigate the UPD problem, extensive experiments indicate that most VLMs, including GPT-4V and LLaVA-Next-34B, struggle with our benchmarks to varying extents, highlighting significant room for the improvements. To address UPD, we explore both training-free and training-based solutions, offering new insights into their effectiveness and limitations. We hope our insights, together with future efforts within the proposed UPD settings, will enhance the broader understanding and development of more practical and reliable VLMs.