QGuard: マルチモーダルLLM安全性のための質問ベースゼロショットガード
QGuard:Question-based Zero-shot Guard for Multi-modal LLM Safety
June 14, 2025
著者: Taegyeong Lee, Jeonghwa Yoo, Hyoungseo Cho, Soo Yong Kim, Yunho Maeng
cs.AI
要旨
大規模言語モデル（LLMs）の最近の進展は、一般領域から専門領域に至るまで、幅広い分野に大きな影響を与えています。しかし、これらの進展は、悪意のあるユーザーが有害なプロンプトやジェイルブレイクプロンプトを悪用して攻撃を行う可能性も大幅に高めています。有害なプロンプトやジェイルブレイクプロンプトを防ぐための多くの取り組みが行われてきたものの、LLMsをこのような悪意のある攻撃から保護することは依然として重要かつ困難な課題です。本論文では、QGuardというシンプルでありながら効果的なセーフティガード手法を提案します。この手法は、質問プロンプティングを利用して、ゼロショットの方法で有害なプロンプトをブロックします。私たちの手法は、テキストベースの有害なプロンプトだけでなく、マルチモーダルな有害なプロンプト攻撃からもLLMsを防御することができます。さらに、ガード質問を多様化し、修正することで、ファインチューニングなしでも最新の有害なプロンプトに対して堅牢性を維持します。実験結果は、私たちのモデルがテキストのみのデータセットとマルチモーダルな有害なデータセットの両方で競争力のある性能を発揮することを示しています。加えて、質問プロンプティングの分析を提供することで、ユーザー入力のホワイトボックス分析を可能にします。私たちの手法は、有害なプロンプトに関連するセキュリティリスクを軽減するための実世界のLLMサービスにとって貴重な洞察を提供すると信じています。
English
The recent advancements in Large Language Models(LLMs) have had a significant
impact on a wide range of fields, from general domains to specialized areas.
However, these advancements have also significantly increased the potential for
malicious users to exploit harmful and jailbreak prompts for malicious attacks.
Although there have been many efforts to prevent harmful prompts and jailbreak
prompts, protecting LLMs from such malicious attacks remains an important and
challenging task. In this paper, we propose QGuard, a simple yet effective
safety guard method, that utilizes question prompting to block harmful prompts
in a zero-shot manner. Our method can defend LLMs not only from text-based
harmful prompts but also from multi-modal harmful prompt attacks. Moreover, by
diversifying and modifying guard questions, our approach remains robust against
the latest harmful prompts without fine-tuning. Experimental results show that
our model performs competitively on both text-only and multi-modal harmful
datasets. Additionally, by providing an analysis of question prompting, we
enable a white-box analysis of user inputs. We believe our method provides
valuable insights for real-world LLM services in mitigating security risks
associated with harmful prompts.