Het interpreteren en bewerken van visie-taal representaties om hallucinaties te verminderen.

Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations

October 3, 2024

Auteurs: Nick Jiang, Anish Kachinthaya, Suzie Petryk, Yossi Gandelsman

cs.AI

Samenvatting

We onderzoeken de interne representaties van visie-taalmodellen (VLM's) om hallucinaties aan te pakken, een aanhoudende uitdaging ondanks vooruitgang in modelgrootte en training. We projecteren de interne beeldrepresentaties van VLM's op hun taalvocabulaire en observeren meer zelfverzekerde outputkansen op echte objecten dan op gehallucineerde objecten. We gebruiken deze outputkansen ook om echte objecten ruimtelijk te lokaliseren. Voortbouwend op deze aanpak introduceren we een kennisverwijderingsalgoritme dat hallucinaties verwijdert door beeldkenmerken lineair te orthogonaliseren ten opzichte van gehallucineerde objectkenmerken. We tonen aan dat gerichte aanpassingen aan de latente representaties van een model hallucinaties met maximaal 25,7% kunnen verminderen op de COCO2014-dataset, terwijl de prestaties behouden blijven. Onze bevindingen tonen aan hoe een dieper begrip van de latente representaties van VLM's de betrouwbaarheid kan verbeteren en nieuwe mogelijkheden kan bieden, zoals nul-shot segmentatie.

English

We investigate the internal representations of vision-language models (VLMs) to address hallucinations, a persistent challenge despite advances in model size and training. We project VLMs' internal image representations to their language vocabulary and observe more confident output probabilities on real objects than hallucinated objects. We additionally use these output probabilities to spatially localize real objects. Building on this approach, we introduce a knowledge erasure algorithm that removes hallucinations by linearly orthogonalizing image features with respect to hallucinated object features. We show that targeted edits to a model's latent representations can reduce hallucinations by up to 25.7% on the COCO2014 dataset while preserving performance. Our findings demonstrate how a deeper understanding of VLMs' latent representations can enhance reliability and enable novel capabilities, such as zero-shot segmentation.