Interpretation und Bearbeitung von Seh-Sprach-Repräsentationen zur Minderung von Halluzinationen

Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations

October 3, 2024

Autoren: Nick Jiang, Anish Kachinthaya, Suzie Petryk, Yossi Gandelsman

cs.AI

Zusammenfassung

Wir untersuchen die internen Repräsentationen von Bildsprachmodellen (VLMs), um Halluzinationen zu behandeln, eine anhaltende Herausforderung trotz Fortschritten in Modellgröße und Training. Wir projizieren die internen Bildrepräsentationen von VLMs auf ihren Sprachwortschatz und beobachten, dass die Ausgabewahrscheinlichkeiten für echte Objekte selbstbewusster sind als für halluzinierte Objekte. Darüber hinaus verwenden wir diese Ausgabewahrscheinlichkeiten, um echte Objekte räumlich zu lokalisieren. Aufbauend auf diesem Ansatz stellen wir einen Wissenslöschalgorithmus vor, der Halluzinationen entfernt, indem er Bildmerkmale linear orthogonalisiert im Hinblick auf halluzinierte Objektmerkmale. Wir zeigen, dass gezielte Änderungen an den latenten Repräsentationen eines Modells Halluzinationen um bis zu 25,7% auf dem COCO2014-Datensatz reduzieren können, während die Leistung erhalten bleibt. Unsere Ergebnisse zeigen, wie ein tieferes Verständnis der latenten Repräsentationen von VLMs die Zuverlässigkeit verbessern und neue Fähigkeiten ermöglichen kann, wie z. B. Null-Schuss-Segmentierung.

English

We investigate the internal representations of vision-language models (VLMs) to address hallucinations, a persistent challenge despite advances in model size and training. We project VLMs' internal image representations to their language vocabulary and observe more confident output probabilities on real objects than hallucinated objects. We additionally use these output probabilities to spatially localize real objects. Building on this approach, we introduce a knowledge erasure algorithm that removes hallucinations by linearly orthogonalizing image features with respect to hallucinated object features. We show that targeted edits to a model's latent representations can reduce hallucinations by up to 25.7% on the COCO2014 dataset while preserving performance. Our findings demonstrate how a deeper understanding of VLMs' latent representations can enhance reliability and enable novel capabilities, such as zero-shot segmentation.