Détection de problèmes insolubles : Évaluation de la fiabilité des modèles de vision et de langage

Unsolvable Problem Detection: Evaluating Trustworthiness of Vision Language Models

March 29, 2024

Auteurs: Atsuyuki Miyai, Jingkang Yang, Jingyang Zhang, Yifei Ming, Qing Yu, Go Irie, Yixuan Li, Hai Li, Ziwei Liu, Kiyoharu Aizawa

cs.AI

Résumé

Cet article présente un défi nouveau et significatif pour les modèles de vision et langage (VLMs), intitulé Détection de Problèmes Insolubles (Unsovable Problem Detection, UPD). L'UPD examine la capacité d'un VLM à s'abstenir de répondre lorsqu'il est confronté à des problèmes insolubles dans le cadre de tâches de Question-Réponse Visuelle (Visual Question Answering, VQA). L'UPD englobe trois configurations distinctes : la Détection de Réponse Absente (Absent Answer Detection, AAD), la Détection d'Ensemble de Réponses Incompatibles (Incompatible Answer Set Detection, IASD) et la Détection de Questions Visuelles Incompatibles (Incompatible Visual Question Detection, IVQD). Pour approfondir l'étude du problème de l'UPD, des expériences approfondies montrent que la plupart des VLMs, y compris GPT-4V et LLaVA-Next-34B, peinent à répondre à nos benchmarks à des degrés divers, révélant ainsi une marge d'amélioration significative. Pour aborder l'UPD, nous explorons des solutions sans entraînement et basées sur l'entraînement, offrant de nouvelles perspectives sur leur efficacité et leurs limites. Nous espérons que nos insights, ainsi que les efforts futurs dans les cadres proposés de l'UPD, contribueront à une meilleure compréhension et au développement de VLMs plus pratiques et fiables.

English

This paper introduces a novel and significant challenge for Vision Language Models (VLMs), termed Unsolvable Problem Detection (UPD). UPD examines the VLM's ability to withhold answers when faced with unsolvable problems in the context of Visual Question Answering (VQA) tasks. UPD encompasses three distinct settings: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD), and Incompatible Visual Question Detection (IVQD). To deeply investigate the UPD problem, extensive experiments indicate that most VLMs, including GPT-4V and LLaVA-Next-34B, struggle with our benchmarks to varying extents, highlighting significant room for the improvements. To address UPD, we explore both training-free and training-based solutions, offering new insights into their effectiveness and limitations. We hope our insights, together with future efforts within the proposed UPD settings, will enhance the broader understanding and development of more practical and reliable VLMs.