Alineación de Seguridad Intermodal

Cross-Modality Safety Alignment

June 21, 2024

Autores: Siyin Wang, Xingsong Ye, Qinyuan Cheng, Junwen Duan, Shimin Li, Jinlan Fu, Xipeng Qiu, Xuanjing Huang

cs.AI

Resumen

A medida que la Inteligencia General Artificial (AGI) se integra cada vez más en diversos aspectos de la vida humana, garantizar la seguridad y la alineación ética de estos sistemas es primordial. Estudios previos se centran principalmente en amenazas de una sola modalidad, lo que puede no ser suficiente dada la naturaleza integrada y compleja de las interacciones entre múltiples modalidades. Introducimos un nuevo desafío de alineación de seguridad llamado Entradas Seguras pero Salidas Inseguras (SIUO, por sus siglas en inglés) para evaluar la alineación de seguridad en contextos de múltiples modalidades. Específicamente, considera casos en los que las modalidades individuales son seguras de forma independiente, pero podrían generar resultados inseguros o poco éticos cuando se combinan. Para investigar empíricamente este problema, desarrollamos SIUO, un punto de referencia de múltiples modalidades que abarca 9 dominios críticos de seguridad, como autolesiones, actividades ilegales y violaciones de privacidad. Nuestros hallazgos revelan vulnerabilidades de seguridad significativas en modelos de lenguaje y visión tanto cerrados como de código abierto, como GPT-4V y LLaVA, destacando la insuficiencia de los modelos actuales para interpretar y responder de manera confiable a escenarios complejos del mundo real.

English

As Artificial General Intelligence (AGI) becomes increasingly integrated into various facets of human life, ensuring the safety and ethical alignment of such systems is paramount. Previous studies primarily focus on single-modality threats, which may not suffice given the integrated and complex nature of cross-modality interactions. We introduce a novel safety alignment challenge called Safe Inputs but Unsafe Output (SIUO) to evaluate cross-modality safety alignment. Specifically, it considers cases where single modalities are safe independently but could potentially lead to unsafe or unethical outputs when combined. To empirically investigate this problem, we developed the SIUO, a cross-modality benchmark encompassing 9 critical safety domains, such as self-harm, illegal activities, and privacy violations. Our findings reveal substantial safety vulnerabilities in both closed- and open-source LVLMs, such as GPT-4V and LLaVA, underscoring the inadequacy of current models to reliably interpret and respond to complex, real-world scenarios.