Auto-RT: Automatische Gevangenisbreukstrategie Verkenning voor Rode Teamtests met Grote Taalmodellen

Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models

January 3, 2025

Auteurs: Yanjiang Liu, Shuhen Zhou, Yaojie Lu, Huijia Zhu, Weiqiang Wang, Hongyu Lin, Ben He, Xianpei Han, Le Sun

cs.AI

Samenvatting

Geautomatiseerde red-teaming is een cruciale benadering geworden voor het blootleggen van kwetsbaarheden in grote taalmodellen (LLM's). De meeste bestaande methoden richten zich echter op geïsoleerde veiligheidsfouten, waardoor hun vermogen om zich aan te passen aan dynamische verdedigingen en efficiënt complexe kwetsbaarheden bloot te leggen beperkt is. Om dit probleem aan te pakken, stellen we Auto-RT voor, een reinforcement learning framework dat automatisch complexe aanval strategieën verkent en optimaliseert om effectief beveiligingskwetsbaarheden bloot te leggen via kwaadaardige vragen. Specifiek introduceren we twee belangrijke mechanismen om de complexiteit van exploratie te verminderen en strategie-optimalisatie te verbeteren: 1) Vroegtijdig beëindigde exploratie, die de exploratie versnelt door zich te richten op aanval strategieën met een hoog potentieel; en 2) Progressief Reward Tracking algoritme met tussenliggende degradeermodellen, die dynamisch de zoektraject naar succesvolle kwetsbaarheidsexploitatie verfijnen. Uitgebreide experimenten over diverse LLM's tonen aan dat, door de exploratie-efficiëntie aanzienlijk te verbeteren en aanval strategieën automatisch te optimaliseren, Auto-RT een breder scala aan kwetsbaarheden detecteert, met een snellere detectiesnelheid en 16,63% hogere succespercentages in vergelijking met bestaande methoden.

English

Automated red-teaming has become a crucial approach for uncovering vulnerabilities in large language models (LLMs). However, most existing methods focus on isolated safety flaws, limiting their ability to adapt to dynamic defenses and uncover complex vulnerabilities efficiently. To address this challenge, we propose Auto-RT, a reinforcement learning framework that automatically explores and optimizes complex attack strategies to effectively uncover security vulnerabilities through malicious queries. Specifically, we introduce two key mechanisms to reduce exploration complexity and improve strategy optimization: 1) Early-terminated Exploration, which accelerate exploration by focusing on high-potential attack strategies; and 2) Progressive Reward Tracking algorithm with intermediate downgrade models, which dynamically refine the search trajectory toward successful vulnerability exploitation. Extensive experiments across diverse LLMs demonstrate that, by significantly improving exploration efficiency and automatically optimizing attack strategies, Auto-RT detects a boarder range of vulnerabilities, achieving a faster detection speed and 16.63\% higher success rates compared to existing methods.