I Modelli Linguistici di Grandi Dimensioni Possono Seguire Semplici Regole?

Can LLMs Follow Simple Rules?

November 6, 2023

Autori: Norman Mu, Sarah Chen, Zifan Wang, Sizhe Chen, David Karamardian, Lulwa Aljeraisy, Dan Hendrycks, David Wagner

cs.AI

Abstract

Man mano che i Modelli Linguistici di Grande Dimensione (LLM) vengono implementati con responsabilità sempre più concrete nel mondo reale, è importante poter specificare e limitare il comportamento di questi sistemi in modo affidabile. Gli sviluppatori di modelli potrebbero voler stabilire regole esplicite per il modello, come "non generare contenuti offensivi", ma queste potrebbero essere aggirate da tecniche di jailbreaking. Valutare quanto bene gli LLM seguono le regole fornite dagli sviluppatori di fronte a input avversari richiede tipicamente una revisione manuale, che rallenta il monitoraggio e lo sviluppo di metodi. Per affrontare questo problema, proponiamo Rule-following Language Evaluation Scenarios (RuLES), un framework programmatico per misurare la capacità di seguire le regole negli LLM. RuLES consiste in 15 semplici scenari testuali in cui al modello viene chiesto di obbedire a un insieme di regole in linguaggio naturale mentre interagisce con l'utente umano. Ogni scenario ha un programma di valutazione conciso per determinare se il modello ha violato alcuna regola in una conversazione. Attraverso l'esplorazione manuale del comportamento del modello nei nostri scenari, identifichiamo 6 categorie di strategie di attacco e raccogliamo due suite di casi di test: una composta da conversazioni uniche provenienti da test manuali e una che implementa sistematicamente strategie dalle 6 categorie. Tra vari modelli popolari proprietari e open come GPT-4 e Llama 2, scopriamo che tutti i modelli sono suscettibili a una vasta gamma di input utente avversari creati manualmente, sebbene GPT-4 sia il modello con le migliori prestazioni. Inoltre, valutiamo i modelli open sotto attacchi basati su gradienti e troviamo vulnerabilità significative. Proponiamo RuLES come un nuovo e impegnativo contesto di ricerca per esplorare e difendersi sia da attacchi manuali che automatici sugli LLM.

English

As Large Language Models (LLMs) are deployed with increasing real-world responsibilities, it is important to be able to specify and constrain the behavior of these systems in a reliable manner. Model developers may wish to set explicit rules for the model, such as "do not generate abusive content", but these may be circumvented by jailbreaking techniques. Evaluating how well LLMs follow developer-provided rules in the face of adversarial inputs typically requires manual review, which slows down monitoring and methods development. To address this issue, we propose Rule-following Language Evaluation Scenarios (RuLES), a programmatic framework for measuring rule-following ability in LLMs. RuLES consists of 15 simple text scenarios in which the model is instructed to obey a set of rules in natural language while interacting with the human user. Each scenario has a concise evaluation program to determine whether the model has broken any rules in a conversation. Through manual exploration of model behavior in our scenarios, we identify 6 categories of attack strategies and collect two suites of test cases: one consisting of unique conversations from manual testing and one that systematically implements strategies from the 6 categories. Across various popular proprietary and open models such as GPT-4 and Llama 2, we find that all models are susceptible to a wide variety of adversarial hand-crafted user inputs, though GPT-4 is the best-performing model. Additionally, we evaluate open models under gradient-based attacks and find significant vulnerabilities. We propose RuLES as a challenging new setting for research into exploring and defending against both manual and automatic attacks on LLMs.