答えるべきでないことを知る：視覚言語モデルにおける選択的非準拠

要旨

視覚言語モデル（VLM）は、適切な要求に対しては有益に応答し、誤った、安全でない、実行不可能な、または回答不能な要求には応じないことが期待されている。しかし、既存のベンチマークは、主としてクエリ全体のレベルで非遵守を評価しており、各要求は遵守すべきか、それとも遵守を控えるべきかのどちらか一方であると仮定している。実際には、現実のクエリには、回答可能な内容と遵守を控えるべき構成要素とが混在し得る。本論文では、False Premise（誤った前提）、Visual Inaccessibility（視覚的アクセス不能）、Universal Unknown（普遍的未知）、Task Feasibility（タスクの実行可能性）、Safety（安全性）の5つのカテゴリにわたって、VLMにおける選択的非遵守を評価するベンチマークであるKoNAを提案する。各タスクは、対になった単一クエリと複合クエリの下で、クエリレベルの非遵守と構成要素レベルの非遵守という2つの能力を評価する。多様なVLMを用いた評価から、モデルは多くの場合、拒否、修正、回答控えを適切に行えないことが明らかになり、これらの失敗は、クエリが選択的非遵守を要求する場合に一層顕著になる。この課題に対処するため、我々は、選択的非遵守を必要とするKoNAの事例と、直接回答を与えるべき完全に回答可能な事例セットを併用してVLMを微調整した。微調整されたモデルは、完全回答可能なタスクの性能をほぼ維持しながら、非遵守精度を大幅に向上させた。これらの結果は、微調整されたモデルが、回答可能な構成要素と非遵守を必要とする構成要素とを区別し、タスクに応じた方法で応答できることを示唆している。

English

Vision-language models (VLMs) are expected to respond helpfully to appropriate requests while withholding compliance with requests that are incorrect, unsafe, infeasible, or unanswerable. However, existing benchmarks predominantly evaluate non-compliance at the level of the query as a whole, assuming that each request either warrants compliance or requires withholding compliance. In practice, real-world queries can contain a mixture of answerable content and components for which compliance should be withheld. In this paper, we introduce KoNA, a benchmark for evaluating selective non-compliance in VLMs across five categories: False Premise, Visual Inaccessibility, Universal Unknown, Task Feasibility, and Safety. Each task evaluates two capabilities: query-level non-compliance and component-level non-compliance under paired single and compound queries. Our evaluation across diverse VLMs shows that models often fail to refuse, correct, or abstain appropriately, and these failures become more pronounced when queries require selective non-compliance. To address this challenge, we fine-tune VLMs using KoNA examples that require selective non-compliance, together with a fully answerable set that should receive direct answers. Our fine-tuned models achieve substantial improvements in non-compliance accuracy while largely maintaining performance on fully answerable tasks. These results suggest that the fine-tuned models can distinguish between answerable components and those requiring non-compliance and respond in a task-appropriate manner.