Выравнивание безопасности между модальностями

Cross-Modality Safety Alignment

June 21, 2024

Авторы: Siyin Wang, Xingsong Ye, Qinyuan Cheng, Junwen Duan, Shimin Li, Jinlan Fu, Xipeng Qiu, Xuanjing Huang

cs.AI

Аннотация

Поскольку искусственный общий интеллект (AGI) все более интегрируется в различные аспекты человеческой жизни, обеспечение безопасности и этического соответствия таких систем имеет первостепенное значение. Предыдущие исследования в основном сосредотачивались на угрозах одномодальности, что может быть недостаточно, учитывая интегрированный и сложный характер взаимодействия между модальностями. Мы представляем новое испытание на безопасность и соответствие называемое "Безопасные входы, но небезопасный вывод" (SIUO) для оценки безопасности и соответствия между модальностями. Конкретно, оно рассматривает случаи, когда одиночные модальности безопасны независимо друг от друга, но могут потенциально привести к небезопасным или недопустимым результатам при их комбинировании. Для эмпирического исследования этой проблемы мы разработали SIUO, бенчмарк между модальностями, охватывающий 9 критических областей безопасности, таких как самоповреждение, незаконная деятельность и нарушения конфиденциальности. Наши результаты показывают значительные уязвимости безопасности как в закрытых, так и в открытых LVLMs, таких как GPT-4V и LLaVA, подчеркивая недостаточность текущих моделей для надежной интерпретации и реагирования на сложные реальные сценарии.

English

As Artificial General Intelligence (AGI) becomes increasingly integrated into various facets of human life, ensuring the safety and ethical alignment of such systems is paramount. Previous studies primarily focus on single-modality threats, which may not suffice given the integrated and complex nature of cross-modality interactions. We introduce a novel safety alignment challenge called Safe Inputs but Unsafe Output (SIUO) to evaluate cross-modality safety alignment. Specifically, it considers cases where single modalities are safe independently but could potentially lead to unsafe or unethical outputs when combined. To empirically investigate this problem, we developed the SIUO, a cross-modality benchmark encompassing 9 critical safety domains, such as self-harm, illegal activities, and privacy violations. Our findings reveal substantial safety vulnerabilities in both closed- and open-source LVLMs, such as GPT-4V and LLaVA, underscoring the inadequacy of current models to reliably interpret and respond to complex, real-world scenarios.