Alucinación de Múltiples Objetos en Modelos de Visión-Lenguaje

Multi-Object Hallucination in Vision-Language Models

July 8, 2024

Autores: Xuweiyi Chen, Ziqiao Ma, Xuejun Zhang, Sihan Xu, Shengyi Qian, Jianing Yang, David F. Fouhey, Joyce Chai

cs.AI

Resumen

Los modelos de lenguaje de visión a gran escala (LVLMs) a menudo sufren de alucinaciones de objetos, produciendo objetos no presentes en las imágenes dadas. Mientras que los puntos de referencia actuales para la alucinación de objetos se concentran principalmente en la presencia de una sola clase de objeto en lugar de entidades individuales, este trabajo investiga sistemáticamente la alucinación de múltiples objetos, examinando cómo los modelos perciben erróneamente (por ejemplo, inventan objetos inexistentes o se distraen) al intentar enfocarse en varios objetos simultáneamente. Introducimos ROPE (Evaluación de Sondeo de Objetos basada en el Reconocimiento), un protocolo de evaluación automatizado que considera la distribución de clases de objetos dentro de una sola imagen durante las pruebas y utiliza indicaciones visuales para eliminar la ambigüedad. Con estudios empíricos exhaustivos y análisis de los posibles factores que llevan a la alucinación de múltiples objetos, encontramos que (1) los LVLMs sufren más alucinaciones al enfocarse en múltiples objetos en comparación con un solo objeto. (2) La distribución de clases de objetos probada afecta los comportamientos de alucinación, lo que indica que los LVLMs pueden seguir atajos y correlaciones espurias. (3) Los comportamientos alucinatorios son influenciados por factores específicos de los datos, saliencia y frecuencia, y comportamientos intrínsecos del modelo. Esperamos permitir que los LVLMs reconozcan y razonen sobre múltiples objetos que a menudo aparecen en escenas visuales realistas, proporcionar ideas y cuantificar nuestro progreso hacia la mitigación de los problemas.

English

Large vision language models (LVLMs) often suffer from object hallucination, producing objects not present in the given images. While current benchmarks for object hallucination primarily concentrate on the presence of a single object class rather than individual entities, this work systematically investigates multi-object hallucination, examining how models misperceive (e.g., invent nonexistent objects or become distracted) when tasked with focusing on multiple objects simultaneously. We introduce Recognition-based Object Probing Evaluation (ROPE), an automated evaluation protocol that considers the distribution of object classes within a single image during testing and uses visual referring prompts to eliminate ambiguity. With comprehensive empirical studies and analysis of potential factors leading to multi-object hallucination, we found that (1) LVLMs suffer more hallucinations when focusing on multiple objects compared to a single object. (2) The tested object class distribution affects hallucination behaviors, indicating that LVLMs may follow shortcuts and spurious correlations.(3) Hallucinatory behaviors are influenced by data-specific factors, salience and frequency, and model intrinsic behaviors. We hope to enable LVLMs to recognize and reason about multiple objects that often occur in realistic visual scenes, provide insights, and quantify our progress towards mitigating the issues.