Multimodale Situationele Veiligheid

Multimodal Situational Safety

October 8, 2024

Auteurs: Kaiwen Zhou, Chengzhi Liu, Xuandong Zhao, Anderson Compalas, Dawn Song, Xin Eric Wang

cs.AI

Samenvatting

Multimodale Grote Taalmodellen (MGT's) evolueren snel en tonen indrukwekkende mogelijkheden als multimodale assistenten die interactie hebben met zowel mensen als hun omgeving. Echter, deze toegenomen complexiteit brengt aanzienlijke veiligheidszorgen met zich mee. In dit artikel presenteren we de eerste evaluatie en analyse van een nieuw veiligheidsuitdaging genaamd Multimodale Situationele Veiligheid, waarin wordt onderzocht hoe veiligheidsoverwegingen variëren op basis van de specifieke situatie waarin de gebruiker of agent zich bevindt. We betogen dat een MGT veilig moet kunnen reageren, of het nu gaat om taal of actie, door vaak de veiligheidsimplicaties van een taalvraag te beoordelen binnen de bijbehorende visuele context. Om deze capaciteit te evalueren, ontwikkelen we de Multimodale Situationele Veiligheidsbenchmark (MSSBench) om de situationele veiligheidsprestaties van huidige MGT's te beoordelen. Het dataset bestaat uit 1.820 taalvraag-afbeeldingsparen, waarbij de context van de helft van de afbeeldingen veilig is en de andere helft onveilig. We ontwikkelen ook een evaluatiekader dat belangrijke veiligheidsaspecten analyseert, waaronder expliciete veiligheidsredenering, visueel begrip en, cruciaal, situationele veiligheidsredenering. Onze bevindingen tonen aan dat huidige MGT's moeite hebben met dit genuanceerde veiligheidsprobleem in de instructievolgsetting en worstelen om deze situationele veiligheidsuitdagingen in één keer aan te pakken, wat wijst op een belangrijk onderzoeksgebied voor de toekomst. Bovendien ontwikkelen we multi-agent pipelines om veiligheidsuitdagingen gezamenlijk op te lossen, wat consistente verbetering in veiligheid laat zien ten opzichte van de oorspronkelijke MGT-reactie. Code en data: mssbench.github.io.

English

Multimodal Large Language Models (MLLMs) are rapidly evolving, demonstrating impressive capabilities as multimodal assistants that interact with both humans and their environments. However, this increased sophistication introduces significant safety concerns. In this paper, we present the first evaluation and analysis of a novel safety challenge termed Multimodal Situational Safety, which explores how safety considerations vary based on the specific situation in which the user or agent is engaged. We argue that for an MLLM to respond safely, whether through language or action, it often needs to assess the safety implications of a language query within its corresponding visual context. To evaluate this capability, we develop the Multimodal Situational Safety benchmark (MSSBench) to assess the situational safety performance of current MLLMs. The dataset comprises 1,820 language query-image pairs, half of which the image context is safe, and the other half is unsafe. We also develop an evaluation framework that analyzes key safety aspects, including explicit safety reasoning, visual understanding, and, crucially, situational safety reasoning. Our findings reveal that current MLLMs struggle with this nuanced safety problem in the instruction-following setting and struggle to tackle these situational safety challenges all at once, highlighting a key area for future research. Furthermore, we develop multi-agent pipelines to coordinately solve safety challenges, which shows consistent improvement in safety over the original MLLM response. Code and data: mssbench.github.io.