Interpretación y Edición de Representaciones Visión-Lenguaje para Mitigar Alucinaciones

Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations

October 3, 2024

Autores: Nick Jiang, Anish Kachinthaya, Suzie Petryk, Yossi Gandelsman

cs.AI

Resumen

Investigamos las representaciones internas de los modelos visión-lenguaje (VLMs) para abordar las alucinaciones, un desafío persistente a pesar de los avances en el tamaño y entrenamiento de los modelos. Proyectamos las representaciones internas de imágenes de los VLMs a su vocabulario de lenguaje y observamos probabilidades de salida más seguras en objetos reales que en objetos alucinados. Adicionalmente, utilizamos estas probabilidades de salida para localizar espacialmente objetos reales. Basándonos en este enfoque, introducimos un algoritmo de borrado de conocimiento que elimina las alucinaciones mediante la ortogonalización lineal de características de imagen con respecto a características de objetos alucinados. Mostramos que ediciones dirigidas a las representaciones latentes de un modelo pueden reducir las alucinaciones hasta un 25.7% en el conjunto de datos COCO2014 mientras se preserva el rendimiento. Nuestros hallazgos demuestran cómo una comprensión más profunda de las representaciones latentes de los VLMs puede mejorar la fiabilidad y permitir capacidades novedosas, como la segmentación de cero disparos.

English

We investigate the internal representations of vision-language models (VLMs) to address hallucinations, a persistent challenge despite advances in model size and training. We project VLMs' internal image representations to their language vocabulary and observe more confident output probabilities on real objects than hallucinated objects. We additionally use these output probabilities to spatially localize real objects. Building on this approach, we introduce a knowledge erasure algorithm that removes hallucinations by linearly orthogonalizing image features with respect to hallucinated object features. We show that targeted edits to a model's latent representations can reduce hallucinations by up to 25.7% on the COCO2014 dataset while preserving performance. Our findings demonstrate how a deeper understanding of VLMs' latent representations can enhance reliability and enable novel capabilities, such as zero-shot segmentation.