QGuard: Protezione Zero-shot Basata su Domande per la Sicurezza dei Modelli Linguistici Multi-modali

QGuard:Question-based Zero-shot Guard for Multi-modal LLM Safety

June 14, 2025

Autori: Taegyeong Lee, Jeonghwa Yoo, Hyoungseo Cho, Soo Yong Kim, Yunho Maeng

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici di Grande Dimensione (LLM) hanno avuto un impatto significativo su un'ampia gamma di campi, dai domini generali alle aree specializzate. Tuttavia, questi progressi hanno anche aumentato notevolmente il potenziale per utenti malintenzionati di sfruttare prompt dannosi e di jailbreak per attacchi malevoli. Sebbene siano stati compiuti molti sforzi per prevenire prompt dannosi e di jailbreak, proteggere gli LLM da tali attacchi malevoli rimane un compito importante e impegnativo. In questo articolo, proponiamo QGuard, un metodo di protezione semplice ma efficace, che utilizza il prompting a domande per bloccare prompt dannosi in modo zero-shot. Il nostro metodo può difendere gli LLM non solo da prompt dannosi basati su testo, ma anche da attacchi multi-modali con prompt dannosi. Inoltre, diversificando e modificando le domande di protezione, il nostro approccio rimane robusto contro i più recenti prompt dannosi senza necessità di fine-tuning. I risultati sperimentali dimostrano che il nostro modello si comporta in modo competitivo sia su dataset dannosi solo testuali che multi-modali. Inoltre, fornendo un'analisi del prompting a domande, consentiamo un'analisi white-box degli input degli utenti. Crediamo che il nostro metodo offra spunti preziosi per i servizi LLM nel mondo reale per mitigare i rischi di sicurezza associati ai prompt dannosi.

English

The recent advancements in Large Language Models(LLMs) have had a significant impact on a wide range of fields, from general domains to specialized areas. However, these advancements have also significantly increased the potential for malicious users to exploit harmful and jailbreak prompts for malicious attacks. Although there have been many efforts to prevent harmful prompts and jailbreak prompts, protecting LLMs from such malicious attacks remains an important and challenging task. In this paper, we propose QGuard, a simple yet effective safety guard method, that utilizes question prompting to block harmful prompts in a zero-shot manner. Our method can defend LLMs not only from text-based harmful prompts but also from multi-modal harmful prompt attacks. Moreover, by diversifying and modifying guard questions, our approach remains robust against the latest harmful prompts without fine-tuning. Experimental results show that our model performs competitively on both text-only and multi-modal harmful datasets. Additionally, by providing an analysis of question prompting, we enable a white-box analysis of user inputs. We believe our method provides valuable insights for real-world LLM services in mitigating security risks associated with harmful prompts.