Kunnen LLM's eenvoudige regels volgen?

Can LLMs Follow Simple Rules?

November 6, 2023

Auteurs: Norman Mu, Sarah Chen, Zifan Wang, Sizhe Chen, David Karamardian, Lulwa Aljeraisy, Dan Hendrycks, David Wagner

cs.AI

Samenvatting

Naarmate Large Language Models (LLMs) steeds vaker worden ingezet met verantwoordelijkheden in de echte wereld, is het belangrijk om het gedrag van deze systemen op een betrouwbare manier te kunnen specificeren en beperken. Ontwikkelaars van modellen willen mogelijk expliciete regels instellen, zoals "genereer geen beledigende inhoud", maar deze kunnen worden omzeild door jailbreaking-technieken. Het evalueren van hoe goed LLMs door ontwikkelaars opgestelde regels volgen in het licht van adversariële inputs vereist doorgaans handmatige controle, wat het monitoren en de ontwikkeling van methoden vertraagt. Om dit probleem aan te pakken, stellen we Rule-following Language Evaluation Scenarios (RuLES) voor, een programmatisch raamwerk voor het meten van het regelvolggedrag in LLMs. RuLES bestaat uit 15 eenvoudige tekstscenario's waarin het model wordt geïnstrueerd om een reeks regels in natuurlijke taal te volgen tijdens interactie met de menselijke gebruiker. Elk scenario heeft een beknopt evaluatieprogramma om te bepalen of het model regels heeft overtreden in een gesprek. Door handmatig het modelgedrag in onze scenario's te verkennen, identificeren we 6 categorieën van aanvalsstrategieën en verzamelen we twee sets testcases: één bestaande uit unieke gesprekken uit handmatige tests en één die strategieën uit de 6 categorieën systematisch implementeert. Over verschillende populaire propriëtaire en open modellen zoals GPT-4 en Llama 2, vinden we dat alle modellen kwetsbaar zijn voor een breed scala aan adversariële, handmatig gemaakte gebruikersinputs, hoewel GPT-4 het best presterende model is. Daarnaast evalueren we open modellen onder gradient-gebaseerde aanvallen en vinden we significante kwetsbaarheden. We stellen RuLES voor als een uitdagende nieuwe setting voor onderzoek naar het verkennen en verdedigen tegen zowel handmatige als automatische aanvallen op LLMs.

English

As Large Language Models (LLMs) are deployed with increasing real-world responsibilities, it is important to be able to specify and constrain the behavior of these systems in a reliable manner. Model developers may wish to set explicit rules for the model, such as "do not generate abusive content", but these may be circumvented by jailbreaking techniques. Evaluating how well LLMs follow developer-provided rules in the face of adversarial inputs typically requires manual review, which slows down monitoring and methods development. To address this issue, we propose Rule-following Language Evaluation Scenarios (RuLES), a programmatic framework for measuring rule-following ability in LLMs. RuLES consists of 15 simple text scenarios in which the model is instructed to obey a set of rules in natural language while interacting with the human user. Each scenario has a concise evaluation program to determine whether the model has broken any rules in a conversation. Through manual exploration of model behavior in our scenarios, we identify 6 categories of attack strategies and collect two suites of test cases: one consisting of unique conversations from manual testing and one that systematically implements strategies from the 6 categories. Across various popular proprietary and open models such as GPT-4 and Llama 2, we find that all models are susceptible to a wide variety of adversarial hand-crafted user inputs, though GPT-4 is the best-performing model. Additionally, we evaluate open models under gradient-based attacks and find significant vulnerabilities. We propose RuLES as a challenging new setting for research into exploring and defending against both manual and automatic attacks on LLMs.