マルチモーダルな状況安全性

Multimodal Situational Safety

October 8, 2024

著者: Kaiwen Zhou, Chengzhi Liu, Xuandong Zhao, Anderson Compalas, Dawn Song, Xin Eric Wang

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLMs）は急速に進化し、人間とその環境と双方とやり取りするマルチモーダルアシスタントとして印象的な能力を示しています。しかしながら、この高度な洗練さは重要な安全性上の懸念をもたらします。本論文では、マルチモーダル状況安全性と呼ばれる新しい安全性課題の初めての評価と分析を提示します。これは、ユーザーまたはエージェントが関与する具体的な状況に基づいて安全性の考慮事項がどのように変化するかを探求します。我々は、MLLMが安全に応答するためには、言語または行動を通じて、しばしば言語クエリの安全性の含意をそれに対応する視覚的コンテキストで評価する必要があると主張します。この能力を評価するために、現行のMLLMの状況安全性パフォーマンスを評価するためのマルチモーダル状況安全性ベンチマーク（MSSBench）を開発します。このデータセットには、1,820の言語クエリ-画像ペアが含まれており、そのうち半分は画像コンテキストが安全であり、もう半分は危険です。また、明示的な安全性推論、視覚理解、そして重要な状況安全性推論を含む主要な安全性側面を分析する評価フレームワークを開発します。我々の調査結果によると、現行のMLLMはこの微妙な安全性問題に苦しんでおり、指示に従う状況設定でこれらの状況安全性課題に一度に対処するのが難しいことが明らかになり、将来の研究の重要な分野を示しています。さらに、安全性課題を協調して解決するためのマルチエージェントパイプラインを開発し、元のMLLM応答よりも安全性が一貫して向上することを示しています。コードとデータ：mssbench.github.io。

English

Multimodal Large Language Models (MLLMs) are rapidly evolving, demonstrating impressive capabilities as multimodal assistants that interact with both humans and their environments. However, this increased sophistication introduces significant safety concerns. In this paper, we present the first evaluation and analysis of a novel safety challenge termed Multimodal Situational Safety, which explores how safety considerations vary based on the specific situation in which the user or agent is engaged. We argue that for an MLLM to respond safely, whether through language or action, it often needs to assess the safety implications of a language query within its corresponding visual context. To evaluate this capability, we develop the Multimodal Situational Safety benchmark (MSSBench) to assess the situational safety performance of current MLLMs. The dataset comprises 1,820 language query-image pairs, half of which the image context is safe, and the other half is unsafe. We also develop an evaluation framework that analyzes key safety aspects, including explicit safety reasoning, visual understanding, and, crucially, situational safety reasoning. Our findings reveal that current MLLMs struggle with this nuanced safety problem in the instruction-following setting and struggle to tackle these situational safety challenges all at once, highlighting a key area for future research. Furthermore, we develop multi-agent pipelines to coordinately solve safety challenges, which shows consistent improvement in safety over the original MLLM response. Code and data: mssbench.github.io.