Kreuzmodalitäts-Sicherheitsausrichtung

Cross-Modality Safety Alignment

June 21, 2024

Autoren: Siyin Wang, Xingsong Ye, Qinyuan Cheng, Junwen Duan, Shimin Li, Jinlan Fu, Xipeng Qiu, Xuanjing Huang

cs.AI

Zusammenfassung

Mit der zunehmenden Integration der Künstlichen Allgemeinen Intelligenz (AGI) in verschiedene Bereiche des menschlichen Lebens ist es von größter Bedeutung, die Sicherheit und ethische Ausrichtung solcher Systeme zu gewährleisten. Frühere Studien konzentrieren sich hauptsächlich auf Bedrohungen durch Einzelmodalitäten, was angesichts der integrierten und komplexen Natur von Cross-Modalitäts-Interaktionen möglicherweise nicht ausreicht. Wir stellen eine neuartige Sicherheitsausrichtungsherausforderung namens "Sichere Eingaben, aber unsichere Ausgabe" (SIUO) vor, um die Sicherheitsausrichtung von Cross-Modalitäten zu bewerten. Insbesondere werden Fälle betrachtet, in denen Einzelmodalitäten unabhängig sicher sind, aber potenziell zu unsicheren oder unethischen Ausgaben führen könnten, wenn sie kombiniert werden. Um dieses Problem empirisch zu untersuchen, haben wir das SIUO entwickelt, einen Cross-Modalitäts-Benchmark, der 9 kritische Sicherheitsbereiche umfasst, wie Selbstschädigung, illegale Aktivitäten und Verletzungen der Privatsphäre. Unsere Ergebnisse zeigen erhebliche Sicherheitslücken sowohl in geschlossenen als auch in Open-Source LVLMs wie GPT-4V und LLaVA auf und unterstreichen die Unzulänglichkeit der aktuellen Modelle, um komplexe, realitätsnahe Szenarien zuverlässig zu interpretieren und darauf zu reagieren.

English

As Artificial General Intelligence (AGI) becomes increasingly integrated into various facets of human life, ensuring the safety and ethical alignment of such systems is paramount. Previous studies primarily focus on single-modality threats, which may not suffice given the integrated and complex nature of cross-modality interactions. We introduce a novel safety alignment challenge called Safe Inputs but Unsafe Output (SIUO) to evaluate cross-modality safety alignment. Specifically, it considers cases where single modalities are safe independently but could potentially lead to unsafe or unethical outputs when combined. To empirically investigate this problem, we developed the SIUO, a cross-modality benchmark encompassing 9 critical safety domains, such as self-harm, illegal activities, and privacy violations. Our findings reveal substantial safety vulnerabilities in both closed- and open-source LVLMs, such as GPT-4V and LLaVA, underscoring the inadequacy of current models to reliably interpret and respond to complex, real-world scenarios.