Alinhamento de Segurança entre Modalidades Cruzadas

Cross-Modality Safety Alignment

June 21, 2024

Autores: Siyin Wang, Xingsong Ye, Qinyuan Cheng, Junwen Duan, Shimin Li, Jinlan Fu, Xipeng Qiu, Xuanjing Huang

cs.AI

Resumo

À medida que a Inteligência Artificial Geral (IAG) se torna cada vez mais integrada em várias facetas da vida humana, garantir a segurança e a conformidade ética desses sistemas é fundamental. Estudos anteriores focam principalmente em ameaças de uma única modalidade, o que pode não ser suficiente dada a natureza integrada e complexa das interações entre modalidades. Apresentamos um novo desafio de alinhamento de segurança chamado Entrada Segura mas Saída Insegura (ESSI) para avaliar o alinhamento de segurança entre modalidades. Especificamente, ele considera casos em que modalidades individuais são seguras independentemente, mas podem potencialmente levar a saídas inseguras ou antiéticas quando combinadas. Para investigar empiricamente esse problema, desenvolvemos o ESSI, um benchmark entre modalidades que abrange 9 domínios críticos de segurança, como autolesão, atividades ilegais e violações de privacidade. Nossas descobertas revelam vulnerabilidades substanciais de segurança tanto em LVLMs de código fechado quanto aberto, como GPT-4V e LLaVA, destacando a inadequação dos modelos atuais para interpretar e responder de forma confiável a cenários complexos do mundo real.

English

As Artificial General Intelligence (AGI) becomes increasingly integrated into various facets of human life, ensuring the safety and ethical alignment of such systems is paramount. Previous studies primarily focus on single-modality threats, which may not suffice given the integrated and complex nature of cross-modality interactions. We introduce a novel safety alignment challenge called Safe Inputs but Unsafe Output (SIUO) to evaluate cross-modality safety alignment. Specifically, it considers cases where single modalities are safe independently but could potentially lead to unsafe or unethical outputs when combined. To empirically investigate this problem, we developed the SIUO, a cross-modality benchmark encompassing 9 critical safety domains, such as self-harm, illegal activities, and privacy violations. Our findings reveal substantial safety vulnerabilities in both closed- and open-source LVLMs, such as GPT-4V and LLaVA, underscoring the inadequacy of current models to reliably interpret and respond to complex, real-world scenarios.