Интерпретация и редактирование представлений о зрительно-языковых данных для смягчения галлюцинаций.

Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations

October 3, 2024

Авторы: Nick Jiang, Anish Kachinthaya, Suzie Petryk, Yossi Gandelsman

cs.AI

Аннотация

Мы исследуем внутренние представления моделей видео-языкового взаимодействия (VLM), чтобы решить проблему галлюцинаций, которая остается актуальной несмотря на увеличение размера моделей и улучшение обучения. Мы проецируем внутренние изображения VLM на их языковый словарь и наблюдаем более уверенные вероятности вывода для реальных объектов, чем для галлюцинированных объектов. Мы также используем эти вероятности вывода для пространственной локализации реальных объектов. На основе этого подхода мы представляем алгоритм стирания знаний, который устраняет галлюцинации путем линейной ортогонализации изображений относительно признаков галлюцинированных объектов. Мы показываем, что целенаправленные изменения в латентных представлениях модели могут снизить галлюцинации до 25.7% на наборе данных COCO2014, сохраняя при этом производительность. Наши результаты демонстрируют, как более глубокое понимание латентных представлений VLM может улучшить надежность и обеспечить новые возможности, такие как сегментация с нулевым обучением.

English

We investigate the internal representations of vision-language models (VLMs) to address hallucinations, a persistent challenge despite advances in model size and training. We project VLMs' internal image representations to their language vocabulary and observe more confident output probabilities on real objects than hallucinated objects. We additionally use these output probabilities to spatially localize real objects. Building on this approach, we introduce a knowledge erasure algorithm that removes hallucinations by linearly orthogonalizing image features with respect to hallucinated object features. We show that targeted edits to a model's latent representations can reduce hallucinations by up to 25.7% on the COCO2014 dataset while preserving performance. Our findings demonstrate how a deeper understanding of VLMs' latent representations can enhance reliability and enable novel capabilities, such as zero-shot segmentation.