Ferret: Técnica de Pontuação Baseada em Recompensa para Red Team Automatizado Mais Rápido e Eficaz

Ferret: Faster and Effective Automated Red Teaming with Reward-Based Scoring Technique

August 20, 2024

Autores: Tej Deep Pala, Vernon Y. H. Toh, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Resumo

Na era atual, onde grandes modelos de linguagem (LLMs) são integrados em inúmeras aplicações do mundo real, garantir sua segurança e robustez é crucial para o uso responsável de IA. Métodos automatizados de red-teaming desempenham um papel fundamental nesse processo, gerando ataques adversariais para identificar e mitigar potenciais vulnerabilidades nesses modelos. No entanto, os métodos existentes frequentemente enfrentam problemas de desempenho lento, diversidade limitada de categorias e altas demandas de recursos. Enquanto o Rainbow Teaming, uma abordagem recente, aborda o desafio da diversidade ao enquadrar a geração de prompts adversariais como uma busca de qualidade-diversidade, ainda é lento e requer um mutador finamente ajustado para obter um desempenho ideal. Para superar essas limitações, propomos o Ferret, uma abordagem inovadora que se baseia no Rainbow Teaming ao gerar múltiplas mutações de prompts adversariais por iteração e usar uma função de pontuação para classificar e selecionar o prompt adversarial mais eficaz. Exploramos várias funções de pontuação, incluindo modelos de recompensa, Llama Guard e LLM-como-juiz, para classificar mutações adversariais com base em seu potencial de dano, a fim de melhorar a eficiência da busca por mutações prejudiciais. Nossos resultados demonstram que o Ferret, utilizando um modelo de recompensa como função de pontuação, melhora a taxa geral de sucesso do ataque (ASR) para 95%, o que é 46% maior do que o Rainbow Teaming. Além disso, o Ferret reduz o tempo necessário para atingir um ASR de 90% em 15,2% em comparação com a linha de base e gera prompts adversariais que são transferíveis, ou seja, eficazes em outros LLMs de maior tamanho. Nossos códigos estão disponíveis em https://github.com/declare-lab/ferret.

English

In today's era, where large language models (LLMs) are integrated into numerous real-world applications, ensuring their safety and robustness is crucial for responsible AI usage. Automated red-teaming methods play a key role in this process by generating adversarial attacks to identify and mitigate potential vulnerabilities in these models. However, existing methods often struggle with slow performance, limited categorical diversity, and high resource demands. While Rainbow Teaming, a recent approach, addresses the diversity challenge by framing adversarial prompt generation as a quality-diversity search, it remains slow and requires a large fine-tuned mutator for optimal performance. To overcome these limitations, we propose Ferret, a novel approach that builds upon Rainbow Teaming by generating multiple adversarial prompt mutations per iteration and using a scoring function to rank and select the most effective adversarial prompt. We explore various scoring functions, including reward models, Llama Guard, and LLM-as-a-judge, to rank adversarial mutations based on their potential harm to improve the efficiency of the search for harmful mutations. Our results demonstrate that Ferret, utilizing a reward model as a scoring function, improves the overall attack success rate (ASR) to 95%, which is 46% higher than Rainbow Teaming. Additionally, Ferret reduces the time needed to achieve a 90% ASR by 15.2% compared to the baseline and generates adversarial prompts that are transferable i.e. effective on other LLMs of larger size. Our codes are available at https://github.com/declare-lab/ferret.