Rilevamento di Problemi Irrisolvibili: Valutazione dell'Affidabilità dei Modelli di Linguaggio Visivo

Unsolvable Problem Detection: Evaluating Trustworthiness of Vision Language Models

March 29, 2024

Autori: Atsuyuki Miyai, Jingkang Yang, Jingyang Zhang, Yifei Ming, Qing Yu, Go Irie, Yixuan Li, Hai Li, Ziwei Liu, Kiyoharu Aizawa

cs.AI

Abstract

Questo articolo introduce una nuova e significativa sfida per i Modelli di Visione e Linguaggio (VLMs), denominata Rilevazione di Problemi Irrisolvibili (UPD). L'UPD esamina la capacità dei VLMs di astenersi dal fornire risposte quando si confrontano con problemi irrisolvibili nel contesto di attività di Risposta a Domande Visuali (VQA). L'UPD comprende tre contesti distinti: Rilevazione di Risposte Assenti (AAD), Rilevazione di Insiemi di Risposte Incompatibili (IASD) e Rilevazione di Domande Visuali Incompatibili (IVQD). Per approfondire il problema dell'UPD, esperimenti estensivi indicano che la maggior parte dei VLMs, inclusi GPT-4V e LLaVA-Next-34B, incontrano difficoltà nei nostri benchmark in misura variabile, evidenziando un significativo margine di miglioramento. Per affrontare l'UPD, esploriamo sia soluzioni senza addestramento che basate su addestramento, offrendo nuove intuizioni sulla loro efficacia e limitazioni. Speriamo che le nostre intuizioni, insieme a futuri sforzi nei contesti proposti dall'UPD, contribuiscano a una migliore comprensione e sviluppo di VLMs più pratici e affidabili.

English

This paper introduces a novel and significant challenge for Vision Language Models (VLMs), termed Unsolvable Problem Detection (UPD). UPD examines the VLM's ability to withhold answers when faced with unsolvable problems in the context of Visual Question Answering (VQA) tasks. UPD encompasses three distinct settings: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD), and Incompatible Visual Question Detection (IVQD). To deeply investigate the UPD problem, extensive experiments indicate that most VLMs, including GPT-4V and LLaVA-Next-34B, struggle with our benchmarks to varying extents, highlighting significant room for the improvements. To address UPD, we explore both training-free and training-based solutions, offering new insights into their effectiveness and limitations. We hope our insights, together with future efforts within the proposed UPD settings, will enhance the broader understanding and development of more practical and reliable VLMs.