QGuard: Proteção Baseada em Perguntas de Segurança em Modelos de Linguagem Multimodais com Aprendizado Zero

QGuard:Question-based Zero-shot Guard for Multi-modal LLM Safety

June 14, 2025

Autores: Taegyeong Lee, Jeonghwa Yoo, Hyoungseo Cho, Soo Yong Kim, Yunho Maeng

cs.AI

Resumo

Os recentes avanços nos Modelos de Linguagem de Grande Escala (LLMs) tiveram um impacto significativo em uma ampla gama de áreas, desde domínios gerais até áreas especializadas. No entanto, esses avanços também aumentaram consideravelmente o potencial de usuários maliciosos explorarem prompts prejudiciais e de jailbreak para ataques maliciosos. Embora tenham sido feitos muitos esforços para prevenir prompts prejudiciais e de jailbreak, proteger os LLMs contra tais ataques maliciosos continua sendo uma tarefa importante e desafiadora. Neste artigo, propomos o QGuard, um método de proteção de segurança simples, porém eficaz, que utiliza questionamentos para bloquear prompts prejudiciais de maneira zero-shot. Nosso método pode defender os LLMs não apenas contra prompts prejudiciais baseados em texto, mas também contra ataques de prompts prejudiciais multimodais. Além disso, ao diversificar e modificar as perguntas de proteção, nossa abordagem permanece robusta contra os prompts prejudiciais mais recentes sem a necessidade de ajuste fino. Os resultados experimentais mostram que nosso modelo tem um desempenho competitivo tanto em conjuntos de dados prejudiciais apenas de texto quanto multimodais. Adicionalmente, ao fornecer uma análise dos questionamentos, permitimos uma análise de caixa branca das entradas do usuário. Acreditamos que nosso método oferece insights valiosos para serviços de LLMs no mundo real, mitigando os riscos de segurança associados a prompts prejudiciais.

English

The recent advancements in Large Language Models(LLMs) have had a significant impact on a wide range of fields, from general domains to specialized areas. However, these advancements have also significantly increased the potential for malicious users to exploit harmful and jailbreak prompts for malicious attacks. Although there have been many efforts to prevent harmful prompts and jailbreak prompts, protecting LLMs from such malicious attacks remains an important and challenging task. In this paper, we propose QGuard, a simple yet effective safety guard method, that utilizes question prompting to block harmful prompts in a zero-shot manner. Our method can defend LLMs not only from text-based harmful prompts but also from multi-modal harmful prompt attacks. Moreover, by diversifying and modifying guard questions, our approach remains robust against the latest harmful prompts without fine-tuning. Experimental results show that our model performs competitively on both text-only and multi-modal harmful datasets. Additionally, by providing an analysis of question prompting, we enable a white-box analysis of user inputs. We believe our method provides valuable insights for real-world LLM services in mitigating security risks associated with harmful prompts.