Хорек: Более быстрое и эффективное автоматизированное красное моделирование с техникой оценки на основе вознаграждения

Ferret: Faster and Effective Automated Red Teaming with Reward-Based Scoring Technique

August 20, 2024

Авторы: Tej Deep Pala, Vernon Y. H. Toh, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Аннотация

В современной эпохе, когда большие языковые модели (LLM) интегрируются во множество прикладных приложений, обеспечение их безопасности и устойчивости является ключевым для ответственного использования искусственного интеллекта. Автоматизированные методы красной команды играют важную роль в этом процессе, генерируя атаки-адверсарии для выявления и устранения потенциальных уязвимостей в этих моделях. Однако существующие методы часто сталкиваются с низкой производительностью, ограниченным категориальным разнообразием и высокими требованиями к ресурсам. В то время как "Радужная Команда", недавний подход, решает проблему разнообразия, представляя генерацию атакующего запроса как поиск качества-разнообразия, он остается медленным и требует большого тонкой настройки мутатора для оптимальной производительности. Для преодоления этих ограничений мы предлагаем "Хорька", новый подход, который основан на "Радужной Команде", генерируя несколько мутаций атакующего запроса за итерацию и используя функцию оценки для ранжирования и выбора наиболее эффективного атакующего запроса. Мы исследуем различные функции оценки, включая модели вознаграждения, "Лама-Страж" и LLM-как-судью, для ранжирования атакующих мутаций на основе их потенциального вреда для улучшения эффективности поиска вредных мутаций. Наши результаты показывают, что "Хорек", используя модель вознаграждения в качестве функции оценки, повышает общий уровень успешности атак (ASR) до 95%, что на 46% выше, чем у "Радужной Команды". Кроме того, "Хорек" сокращает время, необходимое для достижения 90% ASR на 15,2% по сравнению с базовым уровнем и генерирует атакующие запросы, которые могут быть переданы, то есть эффективны на других LLM большего размера. Наш код доступен по адресу https://github.com/declare-lab/ferret.

English

In today's era, where large language models (LLMs) are integrated into numerous real-world applications, ensuring their safety and robustness is crucial for responsible AI usage. Automated red-teaming methods play a key role in this process by generating adversarial attacks to identify and mitigate potential vulnerabilities in these models. However, existing methods often struggle with slow performance, limited categorical diversity, and high resource demands. While Rainbow Teaming, a recent approach, addresses the diversity challenge by framing adversarial prompt generation as a quality-diversity search, it remains slow and requires a large fine-tuned mutator for optimal performance. To overcome these limitations, we propose Ferret, a novel approach that builds upon Rainbow Teaming by generating multiple adversarial prompt mutations per iteration and using a scoring function to rank and select the most effective adversarial prompt. We explore various scoring functions, including reward models, Llama Guard, and LLM-as-a-judge, to rank adversarial mutations based on their potential harm to improve the efficiency of the search for harmful mutations. Our results demonstrate that Ferret, utilizing a reward model as a scoring function, improves the overall attack success rate (ASR) to 95%, which is 46% higher than Rainbow Teaming. Additionally, Ferret reduces the time needed to achieve a 90% ASR by 15.2% compared to the baseline and generates adversarial prompts that are transferable i.e. effective on other LLMs of larger size. Our codes are available at https://github.com/declare-lab/ferret.