Ferret: Schnellere und effektivere automatisierte Red Teaming mit belohnungsbasierter Bewertungstechnik

Ferret: Faster and Effective Automated Red Teaming with Reward-Based Scoring Technique

August 20, 2024

Autoren: Tej Deep Pala, Vernon Y. H. Toh, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Zusammenfassung

In der heutigen Ära, in der große Sprachmodelle (LLMs) in zahlreiche Anwendungen der realen Welt integriert sind, ist es entscheidend für eine verantwortungsvolle KI-Nutzung, deren Sicherheit und Robustheit zu gewährleisten. Automatisierte Red-Teaming-Methoden spielen dabei eine Schlüsselrolle, indem sie feindliche Angriffe generieren, um potenzielle Schwachstellen in diesen Modellen zu identifizieren und zu mildern. Allerdings haben bestehende Methoden oft mit langsamer Leistung, begrenzter kategorischer Vielfalt und hohem Ressourcenbedarf zu kämpfen. Während Rainbow Teaming, ein neuer Ansatz, die Vielfalts-Herausforderung angeht, indem es die Generierung feindlicher Anfragen als eine Suche nach Qualität und Vielfalt darstellt, bleibt es langsam und erfordert einen großen feinabgestimmten Mutator für optimale Leistung. Um diese Einschränkungen zu überwinden, schlagen wir Ferret vor, einen innovativen Ansatz, der auf Rainbow Teaming aufbaut, indem er mehrere feindliche Anfrage-Mutationen pro Iteration generiert und eine Bewertungsfunktion verwendet, um die effektivste feindliche Anfrage zu bewerten und auszuwählen. Wir untersuchen verschiedene Bewertungsfunktionen, einschließlich Belohnungsmodellen, Llama Guard und LLM-als-Richter, um feindliche Mutationen basierend auf ihrem potenziellen Schaden zu bewerten und die Effizienz der Suche nach schädlichen Mutationen zu verbessern. Unsere Ergebnisse zeigen, dass Ferret, indem es ein Belohnungsmodell als Bewertungsfunktion verwendet, die Gesamterfolgsrate von Angriffen (ASR) auf 95% verbessert, was 46% höher ist als bei Rainbow Teaming. Darüber hinaus reduziert Ferret die Zeit, die benötigt wird, um eine ASR von 90% zu erreichen, um 15,2% im Vergleich zum Ausgangspunkt und generiert feindliche Anfragen, die übertragbar sind, d.h. wirksam bei anderen LLMs größerer Größe. Unser Code ist verfügbar unter https://github.com/declare-lab/ferret.

English

In today's era, where large language models (LLMs) are integrated into numerous real-world applications, ensuring their safety and robustness is crucial for responsible AI usage. Automated red-teaming methods play a key role in this process by generating adversarial attacks to identify and mitigate potential vulnerabilities in these models. However, existing methods often struggle with slow performance, limited categorical diversity, and high resource demands. While Rainbow Teaming, a recent approach, addresses the diversity challenge by framing adversarial prompt generation as a quality-diversity search, it remains slow and requires a large fine-tuned mutator for optimal performance. To overcome these limitations, we propose Ferret, a novel approach that builds upon Rainbow Teaming by generating multiple adversarial prompt mutations per iteration and using a scoring function to rank and select the most effective adversarial prompt. We explore various scoring functions, including reward models, Llama Guard, and LLM-as-a-judge, to rank adversarial mutations based on their potential harm to improve the efficiency of the search for harmful mutations. Our results demonstrate that Ferret, utilizing a reward model as a scoring function, improves the overall attack success rate (ASR) to 95%, which is 46% higher than Rainbow Teaming. Additionally, Ferret reduces the time needed to achieve a 90% ASR by 15.2% compared to the baseline and generates adversarial prompts that are transferable i.e. effective on other LLMs of larger size. Our codes are available at https://github.com/declare-lab/ferret.