幻覚を緩和するためのビジョン言語表現の解釈と編集

Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations

October 3, 2024

著者: Nick Jiang, Anish Kachinthaya, Suzie Petryk, Yossi Gandelsman

cs.AI

要旨

ビジョン言語モデル（VLMs）の内部表現を調査し、モデルのサイズやトレーニングの進歩にもかかわらず、幻覚という持続的な課題に取り組みます。VLMsの内部画像表現を言語語彙に射影し、実際のオブジェクトよりも幻覚オブジェクトに対してより自信のある出力確率を観察します。さらに、これらの出力確率を使用して実際のオブジェクトを空間的に特定します。このアプローチを発展させ、幻覚を除去する知識消去アルゴリズムを導入し、画像特徴を幻覚オブジェクトの特徴に対して直交化することで幻覚を取り除きます。COOC2014データセットにおいて、モデルの潜在表現へのターゲット指向の編集が、パフォーマンスを維持しながら幻覚を最大25.7％削減できることを示します。私たちの調査結果は、VLMsの潜在表現に対するより深い理解が信頼性を向上させ、ゼロショット・セグメンテーションなどの新しい機能を可能にする方法を示しています。

English

We investigate the internal representations of vision-language models (VLMs) to address hallucinations, a persistent challenge despite advances in model size and training. We project VLMs' internal image representations to their language vocabulary and observe more confident output probabilities on real objects than hallucinated objects. We additionally use these output probabilities to spatially localize real objects. Building on this approach, we introduce a knowledge erasure algorithm that removes hallucinations by linearly orthogonalizing image features with respect to hallucinated object features. We show that targeted edits to a model's latent representations can reduce hallucinations by up to 25.7% on the COCO2014 dataset while preserving performance. Our findings demonstrate how a deeper understanding of VLMs' latent representations can enhance reliability and enable novel capabilities, such as zero-shot segmentation.