Ferret: Red Teaming Automatico Più Veloce ed Efficace con Tecnica di Punteggio Basata su Ricompense

Ferret: Faster and Effective Automated Red Teaming with Reward-Based Scoring Technique

August 20, 2024

Autori: Tej Deep Pala, Vernon Y. H. Toh, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Abstract

Nell'era attuale, in cui i grandi modelli linguistici (LLM) sono integrati in numerose applicazioni del mondo reale, garantire la loro sicurezza e robustezza è cruciale per un utilizzo responsabile dell'IA. I metodi automatizzati di red teaming svolgono un ruolo chiave in questo processo generando attacchi avversari per identificare e mitigare le potenziali vulnerabilità di questi modelli. Tuttavia, i metodi esistenti spesso presentano prestazioni lente, una diversità categoriale limitata e un elevato consumo di risorse. Sebbene il Rainbow Teaming, un approccio recente, affronti la sfida della diversità inquadrando la generazione di prompt avversari come una ricerca di qualità-diversità, rimane lento e richiede un mutatore fine-tuned di grandi dimensioni per ottenere prestazioni ottimali. Per superare queste limitazioni, proponiamo Ferret, un nuovo approccio che si basa sul Rainbow Teaming generando più mutazioni di prompt avversari per iterazione e utilizzando una funzione di punteggio per classificare e selezionare il prompt avversario più efficace. Esploriamo varie funzioni di punteggio, inclusi modelli di ricompensa, Llama Guard e LLM-as-a-judge, per classificare le mutazioni avversarie in base al loro potenziale danno, migliorando così l'efficienza della ricerca di mutazioni dannose. I nostri risultati dimostrano che Ferret, utilizzando un modello di ricompensa come funzione di punteggio, migliora il tasso di successo complessivo degli attacchi (ASR) al 95%, che è il 46% in più rispetto al Rainbow Teaming. Inoltre, Ferret riduce il tempo necessario per raggiungere un ASR del 90% del 15,2% rispetto al baseline e genera prompt avversari trasferibili, ovvero efficaci su altri LLM di dimensioni maggiori. I nostri codici sono disponibili all'indirizzo https://github.com/declare-lab/ferret.

English

In today's era, where large language models (LLMs) are integrated into numerous real-world applications, ensuring their safety and robustness is crucial for responsible AI usage. Automated red-teaming methods play a key role in this process by generating adversarial attacks to identify and mitigate potential vulnerabilities in these models. However, existing methods often struggle with slow performance, limited categorical diversity, and high resource demands. While Rainbow Teaming, a recent approach, addresses the diversity challenge by framing adversarial prompt generation as a quality-diversity search, it remains slow and requires a large fine-tuned mutator for optimal performance. To overcome these limitations, we propose Ferret, a novel approach that builds upon Rainbow Teaming by generating multiple adversarial prompt mutations per iteration and using a scoring function to rank and select the most effective adversarial prompt. We explore various scoring functions, including reward models, Llama Guard, and LLM-as-a-judge, to rank adversarial mutations based on their potential harm to improve the efficiency of the search for harmful mutations. Our results demonstrate that Ferret, utilizing a reward model as a scoring function, improves the overall attack success rate (ASR) to 95%, which is 46% higher than Rainbow Teaming. Additionally, Ferret reduces the time needed to achieve a 90% ASR by 15.2% compared to the baseline and generates adversarial prompts that are transferable i.e. effective on other LLMs of larger size. Our codes are available at https://github.com/declare-lab/ferret.