RaVL: ファインチューニングされたビジョン言語モデルにおける誤った相関の発見と緩和

RaVL: Discovering and Mitigating Spurious Correlations in Fine-Tuned Vision-Language Models

November 6, 2024

著者: Maya Varma, Jean-Benoit Delbrouck, Zhihong Chen, Akshay Chaudhari, Curtis Langlotz

cs.AI

要旨

ファインチューニングされたビジョン言語モデル（VLM）は、しばしば画像特徴とテキスト属性の間に見かけの相関を捉え、テスト時のゼロショット性能が低下する結果となります。見かけの相関に対処する既存のアプローチは、（i）主にグローバルな画像レベルで操作し、ファイングレインな画像特徴に直接介入するのではなく、（ii）主に単一モーダルの設定に設計されています。本研究では、RaVLを提案し、グローバルな画像レベルではなく、ローカルな画像特徴を使用して見かけの相関を発見し軽減することで、VLMの頑健性にファイングレインな視点をもたらします。ファインチューニングされたVLMが与えられると、RaVLは、ゼロショット分類エラーに寄与する正確な画像特徴を特定するために領域レベルのクラスタリングアプローチを活用して見かけの相関を最初に発見します。その後、RaVLは、新しい領域認識損失関数を用いて特定された見かけの相関を軽減し、VLMがファインチューニング中に関連する領域に焦点を当て、見かけの関係を無視するようにします。我々は、さまざまなモデルアーキテクチャ、データドメイン、および学習された見かけの相関を持つ654のVLMにRaVLを評価します。結果は、RaVLが見かけの相関を正確に発見し（最も近いベースラインに比べて191％の改善）、軽減（最悪グループ画像分類精度で8.2％の改善）することを示しています。一般ドメインおよび医療ドメインのVLMにおける定性評価は、我々の結果を裏付けています。

English

Fine-tuned vision-language models (VLMs) often capture spurious correlations between image features and textual attributes, resulting in degraded zero-shot performance at test time. Existing approaches for addressing spurious correlations (i) primarily operate at the global image-level rather than intervening directly on fine-grained image features and (ii) are predominantly designed for unimodal settings. In this work, we present RaVL, which takes a fine-grained perspective on VLM robustness by discovering and mitigating spurious correlations using local image features rather than operating at the global image level. Given a fine-tuned VLM, RaVL first discovers spurious correlations by leveraging a region-level clustering approach to identify precise image features contributing to zero-shot classification errors. Then, RaVL mitigates the identified spurious correlation with a novel region-aware loss function that enables the VLM to focus on relevant regions and ignore spurious relationships during fine-tuning. We evaluate RaVL on 654 VLMs with various model architectures, data domains, and learned spurious correlations. Our results show that RaVL accurately discovers (191% improvement over the closest baseline) and mitigates (8.2% improvement on worst-group image classification accuracy) spurious correlations. Qualitative evaluations on general-domain and medical-domain VLMs confirm our findings.