Interpretazione e Modifica delle Rappresentazioni Visione-Linguaggio per Attenuare le Allucinazioni

Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations

October 3, 2024

Autori: Nick Jiang, Anish Kachinthaya, Suzie Petryk, Yossi Gandelsman

cs.AI

Abstract

Indaghiamo le rappresentazioni interne dei modelli visione-linguaggio (VLM) per affrontare le allucinazioni, una sfida persistente nonostante i progressi nella dimensione e nell'addestramento dei modelli. Proiettiamo le rappresentazioni interne delle immagini dei VLM sul loro vocabolario linguistico e osserviamo probabilità di output più sicure su oggetti reali rispetto a quelli allucinati. Utilizziamo inoltre queste probabilità di output per localizzare spazialmente gli oggetti reali. Basandoci su questo approccio, introduciamo un algoritmo di cancellazione della conoscenza che rimuove le allucinazioni ortogonalizzando linearmente le caratteristiche dell'immagine rispetto alle caratteristiche degli oggetti allucinati. Dimostriamo che modifiche mirate alle rappresentazioni latenti di un modello possono ridurre le allucinazioni fino al 25,7% nel dataset COCO2014 preservando al contempo le prestazioni. Le nostre scoperte dimostrano come una comprensione più approfondita delle rappresentazioni latenti dei VLM possa migliorare l'affidabilità e consentire nuove capacità, come la segmentazione a zero scatti.

English

We investigate the internal representations of vision-language models (VLMs) to address hallucinations, a persistent challenge despite advances in model size and training. We project VLMs' internal image representations to their language vocabulary and observe more confident output probabilities on real objects than hallucinated objects. We additionally use these output probabilities to spatially localize real objects. Building on this approach, we introduce a knowledge erasure algorithm that removes hallucinations by linearly orthogonalizing image features with respect to hallucinated object features. We show that targeted edits to a model's latent representations can reduce hallucinations by up to 25.7% on the COCO2014 dataset while preserving performance. Our findings demonstrate how a deeper understanding of VLMs' latent representations can enhance reliability and enable novel capabilities, such as zero-shot segmentation.