Выявление неразрешимых проблем: Оценка достоверности моделей языка для зрения

Unsolvable Problem Detection: Evaluating Trustworthiness of Vision Language Models

March 29, 2024

Авторы: Atsuyuki Miyai, Jingkang Yang, Jingyang Zhang, Yifei Ming, Qing Yu, Go Irie, Yixuan Li, Hai Li, Ziwei Liu, Kiyoharu Aizawa

cs.AI

Аннотация

Эта статья представляет новое и значительное испытание для моделей Визуального Языка (VLM), названное Обнаружение Неразрешимой Проблемы (UPD). UPD исследует способность VLM удерживать ответы при столкновении с неразрешимыми проблемами в контексте задач Визуального Вопроса и Ответа (VQA). UPD включает три различных настройки: Обнаружение Отсутствующего Ответа (AAD), Обнаружение Несовместного Набора Ответов (IASD) и Обнаружение Несовместного Визуального Вопроса (IVQD). Для глубокого изучения проблемы UPD обширные эксперименты показывают, что большинство VLM, включая GPT-4V и LLaVA-Next-34B, испытывают трудности с нашими бенчмарками в различной степени, выделяя значительное пространство для улучшений. Для решения UPD мы исследуем как решения без обучения, так и основанные на обучении, предлагая новые идеи о их эффективности и ограничениях. Мы надеемся, что наши идеи, вместе с будущими усилиями в рамках предложенных настроек UPD, улучшат более широкое понимание и развитие более практичных и надежных VLM.

English

This paper introduces a novel and significant challenge for Vision Language Models (VLMs), termed Unsolvable Problem Detection (UPD). UPD examines the VLM's ability to withhold answers when faced with unsolvable problems in the context of Visual Question Answering (VQA) tasks. UPD encompasses three distinct settings: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD), and Incompatible Visual Question Detection (IVQD). To deeply investigate the UPD problem, extensive experiments indicate that most VLMs, including GPT-4V and LLaVA-Next-34B, struggle with our benchmarks to varying extents, highlighting significant room for the improvements. To address UPD, we explore both training-free and training-based solutions, offering new insights into their effectiveness and limitations. We hope our insights, together with future efforts within the proposed UPD settings, will enhance the broader understanding and development of more practical and reliable VLMs.