Ferret: 報酬ベースのスコアリング技術による高速かつ効果的な自動化レッドチーミング

Ferret: Faster and Effective Automated Red Teaming with Reward-Based Scoring Technique

August 20, 2024

著者: Tej Deep Pala, Vernon Y. H. Toh, Rishabh Bhardwaj, Soujanya Poria

cs.AI

要旨

今日の時代において、大規模言語モデル（LLMs）が数多くの実世界のアプリケーションに統合される中、その安全性と堅牢性を確保することは、責任あるAIの使用にとって極めて重要です。自動化されたレッドチーミング手法は、これらのモデルの潜在的な脆弱性を特定し、軽減するために敵対的攻撃を生成することで、このプロセスにおいて重要な役割を果たします。しかし、既存の手法は、遅い性能、限られたカテゴリの多様性、および高いリソース要求に悩まされることが多いです。最近のアプローチであるRainbow Teamingは、敵対的プロンプト生成を品質多様性探索としてフレーム化することで多様性の課題に対処していますが、依然として遅く、最適な性能を得るために大規模な微調整されたミューテーターを必要とします。これらの制限を克服するために、我々はFerretを提案します。これは、Rainbow Teamingを基盤とし、反復ごとに複数の敵対的プロンプト変異を生成し、スコアリング関数を使用して最も効果的な敵対的プロンプトをランク付けして選択する新しいアプローチです。我々は、報酬モデル、Llama Guard、LLM-as-a-judgeなど、さまざまなスコアリング関数を探索し、潜在的な危害に基づいて敵対的変異をランク付けすることで、有害な変異の探索効率を向上させます。我々の結果は、報酬モデルをスコアリング関数として使用するFerretが、全体の攻撃成功率（ASR）を95%に向上させ、Rainbow Teamingよりも46%高いことを示しています。さらに、Ferretは、ベースラインと比較して90%のASRを達成するために必要な時間を15.2%削減し、他の大規模なLLMsでも有効な、転移可能な敵対的プロンプトを生成します。我々のコードはhttps://github.com/declare-lab/ferretで利用可能です。

English

In today's era, where large language models (LLMs) are integrated into numerous real-world applications, ensuring their safety and robustness is crucial for responsible AI usage. Automated red-teaming methods play a key role in this process by generating adversarial attacks to identify and mitigate potential vulnerabilities in these models. However, existing methods often struggle with slow performance, limited categorical diversity, and high resource demands. While Rainbow Teaming, a recent approach, addresses the diversity challenge by framing adversarial prompt generation as a quality-diversity search, it remains slow and requires a large fine-tuned mutator for optimal performance. To overcome these limitations, we propose Ferret, a novel approach that builds upon Rainbow Teaming by generating multiple adversarial prompt mutations per iteration and using a scoring function to rank and select the most effective adversarial prompt. We explore various scoring functions, including reward models, Llama Guard, and LLM-as-a-judge, to rank adversarial mutations based on their potential harm to improve the efficiency of the search for harmful mutations. Our results demonstrate that Ferret, utilizing a reward model as a scoring function, improves the overall attack success rate (ASR) to 95%, which is 46% higher than Rainbow Teaming. Additionally, Ferret reduces the time needed to achieve a 90% ASR by 15.2% compared to the baseline and generates adversarial prompts that are transferable i.e. effective on other LLMs of larger size. Our codes are available at https://github.com/declare-lab/ferret.