Alucinação de Múltiplos Objetos em Modelos de Visão e Linguagem

Multi-Object Hallucination in Vision-Language Models

July 8, 2024

Autores: Xuweiyi Chen, Ziqiao Ma, Xuejun Zhang, Sihan Xu, Shengyi Qian, Jianing Yang, David F. Fouhey, Joyce Chai

cs.AI

Resumo

Grandes modelos de linguagem de visão (LVLMs) frequentemente sofrem de alucinação de objetos, produzindo objetos não presentes nas imagens fornecidas. Enquanto os benchmarks atuais para alucinação de objetos concentram-se principalmente na presença de uma única classe de objetos em vez de entidades individuais, este trabalho investiga sistematicamente a alucinação de múltiplos objetos, examinando como os modelos interpretam erroneamente (por exemplo, inventam objetos inexistentes ou se distraem) ao lidar com múltiplos objetos simultaneamente. Apresentamos a Avaliação de Sondagem de Objetos com Base em Reconhecimento (ROPE), um protocolo de avaliação automatizado que considera a distribuição de classes de objetos dentro de uma única imagem durante os testes e utiliza prompts visuais para eliminar ambiguidades. Com estudos empíricos abrangentes e análise de fatores potenciais que levam à alucinação de múltiplos objetos, descobrimos que (1) LVLMs sofrem mais alucinações ao focar em múltiplos objetos em comparação com um único objeto. (2) A distribuição de classes de objetos testada afeta os comportamentos de alucinação, indicando que os LVLMs podem seguir atalhos e correlações espúrias. (3) Comportamentos alucinatórios são influenciados por fatores específicos dos dados, saliência e frequência, e comportamentos intrínsecos do modelo. Esperamos capacitar os LVLMs a reconhecer e raciocinar sobre múltiplos objetos que frequentemente ocorrem em cenas visuais realistas, fornecer insights e quantificar nosso progresso em mitigar os problemas.

English

Large vision language models (LVLMs) often suffer from object hallucination, producing objects not present in the given images. While current benchmarks for object hallucination primarily concentrate on the presence of a single object class rather than individual entities, this work systematically investigates multi-object hallucination, examining how models misperceive (e.g., invent nonexistent objects or become distracted) when tasked with focusing on multiple objects simultaneously. We introduce Recognition-based Object Probing Evaluation (ROPE), an automated evaluation protocol that considers the distribution of object classes within a single image during testing and uses visual referring prompts to eliminate ambiguity. With comprehensive empirical studies and analysis of potential factors leading to multi-object hallucination, we found that (1) LVLMs suffer more hallucinations when focusing on multiple objects compared to a single object. (2) The tested object class distribution affects hallucination behaviors, indicating that LVLMs may follow shortcuts and spurious correlations.(3) Hallucinatory behaviors are influenced by data-specific factors, salience and frequency, and model intrinsic behaviors. We hope to enable LVLMs to recognize and reason about multiple objects that often occur in realistic visual scenes, provide insights, and quantify our progress towards mitigating the issues.