Multimodale Situationssicherheit

Multimodal Situational Safety

October 8, 2024

Autoren: Kaiwen Zhou, Chengzhi Liu, Xuandong Zhao, Anderson Compalas, Dawn Song, Xin Eric Wang

cs.AI

Zusammenfassung

Multimodale Large Language Models (MLLMs) entwickeln sich rasant weiter und zeigen beeindruckende Fähigkeiten als multimodale Assistenten, die mit Menschen und ihrer Umgebung interagieren. Diese gesteigerte Raffinesse bringt jedoch erhebliche Sicherheitsbedenken mit sich. In diesem Artikel präsentieren wir die erste Bewertung und Analyse einer neuartigen Sicherheitsherausforderung namens Multimodale Situationssicherheit, die untersucht, wie Sicherheitsüberlegungen je nach der spezifischen Situation, in der der Benutzer oder Agent involviert ist, variieren. Wir argumentieren, dass ein MLLM, um sicher zu reagieren, sei es durch Sprache oder Handlung, oft die Sicherheitsimplikationen einer Sprachabfrage innerhalb ihres entsprechenden visuellen Kontexts bewerten muss. Zur Bewertung dieser Fähigkeit entwickeln wir das Benchmark für Multimodale Situationssicherheit (MSSBench), um die Leistung der aktuellen MLLMs in Bezug auf die situationsspezifische Sicherheit zu bewerten. Der Datensatz umfasst 1.820 Sprachabfrage-Bild-Paare, von denen die Hälfte des Bildkontexts sicher ist und die andere Hälfte unsicher ist. Wir entwickeln auch einen Bewertungsrahmen, der wichtige Sicherheitsaspekte analysiert, einschließlich expliziter Sicherheitsbegründung, visuellem Verständnis und vor allem situationsspezifischer Sicherheitsbegründung. Unsere Ergebnisse zeigen, dass aktuelle MLLMs mit diesem nuancierten Sicherheitsproblem im Anweisungsfolge-Setting kämpfen und Schwierigkeiten haben, diese situationsspezifischen Sicherheitsherausforderungen gleichzeitig zu bewältigen, was einen wichtigen Bereich für zukünftige Forschung hervorhebt. Darüber hinaus entwickeln wir Multi-Agenten-Pipelines zur koordinierten Lösung von Sicherheitsherausforderungen, was eine konsistente Verbesserung der Sicherheit gegenüber der ursprünglichen MLLM-Antwort zeigt. Code und Daten: mssbench.github.io.

English

Multimodal Large Language Models (MLLMs) are rapidly evolving, demonstrating impressive capabilities as multimodal assistants that interact with both humans and their environments. However, this increased sophistication introduces significant safety concerns. In this paper, we present the first evaluation and analysis of a novel safety challenge termed Multimodal Situational Safety, which explores how safety considerations vary based on the specific situation in which the user or agent is engaged. We argue that for an MLLM to respond safely, whether through language or action, it often needs to assess the safety implications of a language query within its corresponding visual context. To evaluate this capability, we develop the Multimodal Situational Safety benchmark (MSSBench) to assess the situational safety performance of current MLLMs. The dataset comprises 1,820 language query-image pairs, half of which the image context is safe, and the other half is unsafe. We also develop an evaluation framework that analyzes key safety aspects, including explicit safety reasoning, visual understanding, and, crucially, situational safety reasoning. Our findings reveal that current MLLMs struggle with this nuanced safety problem in the instruction-following setting and struggle to tackle these situational safety challenges all at once, highlighting a key area for future research. Furthermore, we develop multi-agent pipelines to coordinately solve safety challenges, which shows consistent improvement in safety over the original MLLM response. Code and data: mssbench.github.io.