Classificatori Costituzionali: Difesa contro Jailbreak Universali in migliaia di ore di Red Teaming

Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming

January 31, 2025

Autori: Mrinank Sharma, Meg Tong, Jesse Mu, Jerry Wei, Jorrit Kruthoff, Scott Goodfriend, Euan Ong, Alwin Peng, Raj Agarwal, Cem Anil, Amanda Askell, Nathan Bailey, Joe Benton, Emma Bluemke, Samuel R. Bowman, Eric Christiansen, Hoagy Cunningham, Andy Dau, Anjali Gopal, Rob Gilson, Logan Graham, Logan Howard, Nimit Kalra, Taesung Lee, Kevin Lin, Peter Lofgren, Francesco Mosconi, Clare O'Hara, Catherine Olsson, Linda Petrini, Samir Rajani, Nikhil Saxena, Alex Silverstein, Tanya Singh, Theodore Sumers, Leonard Tang, Kevin K. Troy, Constantin Weisser, Ruiqi Zhong, Giulio Zhou, Jan Leike, Jared Kaplan, Ethan Perez

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono vulnerabili a jailbreak universali, strategie che aggirano sistematicamente le protezioni del modello e consentono agli utenti di eseguire processi dannosi che richiedono molte interazioni del modello, come la produzione su larga scala di sostanze illegali. Per difendersi da questi attacchi, introduciamo Classificatori Costituzionali: protezioni addestrate su dati sintetici, generati interrogando LLM con regole di linguaggio naturale (cioè, una costituzione) che specificano contenuti consentiti e limitati. In oltre 3.000 ore stimate di simulazioni di attacco, nessun membro del team di attacco ha trovato un jailbreak universale in grado di estrarre informazioni da un LLM protetto da un classificatore iniziale a un livello di dettaglio simile a un modello non protetto per la maggior parte delle query target. Nelle valutazioni automatizzate, i classificatori potenziati hanno dimostrato una difesa robusta contro jailbreak specifici di dominio non noti. Questi classificatori mantengono anche la praticità di implementazione, con un aumento assoluto dello 0,38% nei rifiuti di traffico di produzione e un overhead di inferenza del 23,7%. Il nostro lavoro dimostra che difendere contro i jailbreak universali mantenendo al contempo la praticità di implementazione è fattibile.

English

Large language models (LLMs) are vulnerable to universal jailbreaks-prompting strategies that systematically bypass model safeguards and enable users to carry out harmful processes that require many model interactions, like manufacturing illegal substances at scale. To defend against these attacks, we introduce Constitutional Classifiers: safeguards trained on synthetic data, generated by prompting LLMs with natural language rules (i.e., a constitution) specifying permitted and restricted content. In over 3,000 estimated hours of red teaming, no red teamer found a universal jailbreak that could extract information from an early classifier-guarded LLM at a similar level of detail to an unguarded model across most target queries. On automated evaluations, enhanced classifiers demonstrated robust defense against held-out domain-specific jailbreaks. These classifiers also maintain deployment viability, with an absolute 0.38% increase in production-traffic refusals and a 23.7% inference overhead. Our work demonstrates that defending against universal jailbreaks while maintaining practical deployment viability is tractable.