Mehr-Objekt-Halluzination in Vision-Language-Modellen

Multi-Object Hallucination in Vision-Language Models

July 8, 2024

Autoren: Xuweiyi Chen, Ziqiao Ma, Xuejun Zhang, Sihan Xu, Shengyi Qian, Jianing Yang, David F. Fouhey, Joyce Chai

cs.AI

Zusammenfassung

Große Vision-Sprachmodelle (LVLMs) leiden oft unter Objekthalluzinationen, bei denen Objekte erzeugt werden, die nicht in den gegebenen Bildern vorhanden sind. Während aktuelle Benchmarks für Objekthalluzinationen hauptsächlich auf die Präsenz einer einzelnen Objektklasse anstatt einzelner Entitäten abzielen, untersucht diese Arbeit systematisch die Mehrfach-Objekthalluzination und untersucht, wie Modelle Fehler machen (z. B. nicht existierende Objekte erfinden oder abgelenkt werden), wenn sie gleichzeitig auf mehrere Objekte fokussiert sind. Wir stellen die Recognition-based Object Probing Evaluation (ROPE) vor, ein automatisiertes Bewertungsprotokoll, das die Verteilung von Objektklassen innerhalb eines einzelnen Bildes während des Tests berücksichtigt und visuelle Verweisvorgaben verwendet, um Mehrdeutigkeiten zu beseitigen. Durch umfassende empirische Studien und die Analyse potenzieller Faktoren, die zu Mehrfach-Objekthalluzinationen führen, haben wir festgestellt, dass (1) LVLMs mehr Halluzinationen erleiden, wenn sie sich auf mehrere Objekte anstatt auf ein einzelnes Objekt konzentrieren. (2) Die getestete Verteilung der Objektklassen beeinflusst das Halluzinationsverhalten und deutet darauf hin, dass LVLMs möglicherweise Abkürzungen und irreführende Korrelationen verwenden. (3) Halluzinatorische Verhaltensweisen werden von datenspezifischen Faktoren, Salienz und Häufigkeit sowie Modell-intrinsischen Verhaltensweisen beeinflusst. Wir hoffen, LVLMs in die Lage zu versetzen, mehrere Objekte zu erkennen und über sie zu argumentieren, die oft in realistischen visuellen Szenen vorkommen, Erkenntnisse zu liefern und unseren Fortschritt bei der Minderung der Probleme zu quantifizieren.

English

Large vision language models (LVLMs) often suffer from object hallucination, producing objects not present in the given images. While current benchmarks for object hallucination primarily concentrate on the presence of a single object class rather than individual entities, this work systematically investigates multi-object hallucination, examining how models misperceive (e.g., invent nonexistent objects or become distracted) when tasked with focusing on multiple objects simultaneously. We introduce Recognition-based Object Probing Evaluation (ROPE), an automated evaluation protocol that considers the distribution of object classes within a single image during testing and uses visual referring prompts to eliminate ambiguity. With comprehensive empirical studies and analysis of potential factors leading to multi-object hallucination, we found that (1) LVLMs suffer more hallucinations when focusing on multiple objects compared to a single object. (2) The tested object class distribution affects hallucination behaviors, indicating that LVLMs may follow shortcuts and spurious correlations.(3) Hallucinatory behaviors are influenced by data-specific factors, salience and frequency, and model intrinsic behaviors. We hope to enable LVLMs to recognize and reason about multiple objects that often occur in realistic visual scenes, provide insights, and quantify our progress towards mitigating the issues.