해결 불가능 문제 탐지: 시각 언어 모델의 신뢰성 평가

Unsolvable Problem Detection: Evaluating Trustworthiness of Vision Language Models

March 29, 2024

저자: Atsuyuki Miyai, Jingkang Yang, Jingyang Zhang, Yifei Ming, Qing Yu, Go Irie, Yixuan Li, Hai Li, Ziwei Liu, Kiyoharu Aizawa

cs.AI

초록

본 논문은 비전 언어 모델(Vision Language Models, VLMs)에 대한 새로운 중요한 도전 과제인 '해결 불가능 문제 탐지(Unsolvable Problem Detection, UPD)'를 소개합니다. UPD는 시각 질의응답(Visual Question Answering, VQA) 작업에서 해결 불가능한 문제에 직면했을 때 VLMs가 답변을 자제할 수 있는 능력을 검토합니다. UPD는 세 가지 구별되는 설정을 포함합니다: 답변 부재 탐지(Absent Answer Detection, AAD), 호환되지 않는 답변 집합 탐지(Incompatible Answer Set Detection, IASD), 그리고 호환되지 않는 시각 질문 탐지(Incompatible Visual Question Detection, IVQD). UPD 문제를 깊이 있게 조사하기 위해, 광범위한 실험을 통해 GPT-4V와 LLaVA-Next-34B를 포함한 대부분의 VLMs가 다양한 정도로 우리의 벤치마크에서 어려움을 겪는 것으로 나타났으며, 이는 상당한 개선의 여지가 있음을 강조합니다. UPD를 해결하기 위해, 우리는 훈련 없이 적용 가능한 방법과 훈련 기반의 해결책을 탐구하며, 그 효과와 한계에 대한 새로운 통찰을 제공합니다. 우리는 우리의 통찰이 제안된 UPD 설정 내에서의 미래의 노력과 함께, 보다 실용적이고 신뢰할 수 있는 VLMs의 이해와 개발을 촉진할 것을 기대합니다.

English

This paper introduces a novel and significant challenge for Vision Language Models (VLMs), termed Unsolvable Problem Detection (UPD). UPD examines the VLM's ability to withhold answers when faced with unsolvable problems in the context of Visual Question Answering (VQA) tasks. UPD encompasses three distinct settings: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD), and Incompatible Visual Question Detection (IVQD). To deeply investigate the UPD problem, extensive experiments indicate that most VLMs, including GPT-4V and LLaVA-Next-34B, struggle with our benchmarks to varying extents, highlighting significant room for the improvements. To address UPD, we explore both training-free and training-based solutions, offering new insights into their effectiveness and limitations. We hope our insights, together with future efforts within the proposed UPD settings, will enhance the broader understanding and development of more practical and reliable VLMs.