Les modèles de langage peuvent-ils suivre des règles simples ?

Can LLMs Follow Simple Rules?

November 6, 2023

Auteurs: Norman Mu, Sarah Chen, Zifan Wang, Sizhe Chen, David Karamardian, Lulwa Aljeraisy, Dan Hendrycks, David Wagner

cs.AI

Résumé

Alors que les modèles de langage de grande taille (LLMs) sont déployés avec des responsabilités croissantes dans le monde réel, il est important de pouvoir spécifier et contraindre le comportement de ces systèmes de manière fiable. Les développeurs de modèles peuvent souhaiter définir des règles explicites pour le modèle, telles que "ne pas générer de contenu abusif", mais celles-ci peuvent être contournées par des techniques de jailbreaking. Évaluer dans quelle mesure les LLMs respectent les règles fournies par les développeurs face à des entrées adverses nécessite généralement une revue manuelle, ce qui ralentit la surveillance et le développement de méthodes. Pour résoudre ce problème, nous proposons Rule-following Language Evaluation Scenarios (RuLES), un cadre programmatique pour mesurer la capacité des LLMs à suivre des règles. RuLES consiste en 15 scénarios textuels simples dans lesquels le modèle est invité à obéir à un ensemble de règles en langage naturel tout en interagissant avec l'utilisateur humain. Chaque scénario dispose d'un programme d'évaluation concis pour déterminer si le modèle a enfreint des règles au cours d'une conversation. Grâce à une exploration manuelle du comportement des modèles dans nos scénarios, nous identifions 6 catégories de stratégies d'attaque et collectons deux ensembles de cas de test : l'un composé de conversations uniques issues de tests manuels et l'autre implémentant systématiquement des stratégies issues des 6 catégories. À travers divers modèles populaires, propriétaires et open source, tels que GPT-4 et Llama 2, nous constatons que tous les modèles sont vulnérables à une grande variété d'entrées utilisateur adverses conçues manuellement, bien que GPT-4 soit le modèle le plus performant. De plus, nous évaluons les modèles open source sous des attaques basées sur le gradient et identifions des vulnérabilités significatives. Nous proposons RuLES comme un nouveau cadre de recherche stimulant pour explorer et se défendre contre les attaques manuelles et automatiques sur les LLMs.

English

As Large Language Models (LLMs) are deployed with increasing real-world responsibilities, it is important to be able to specify and constrain the behavior of these systems in a reliable manner. Model developers may wish to set explicit rules for the model, such as "do not generate abusive content", but these may be circumvented by jailbreaking techniques. Evaluating how well LLMs follow developer-provided rules in the face of adversarial inputs typically requires manual review, which slows down monitoring and methods development. To address this issue, we propose Rule-following Language Evaluation Scenarios (RuLES), a programmatic framework for measuring rule-following ability in LLMs. RuLES consists of 15 simple text scenarios in which the model is instructed to obey a set of rules in natural language while interacting with the human user. Each scenario has a concise evaluation program to determine whether the model has broken any rules in a conversation. Through manual exploration of model behavior in our scenarios, we identify 6 categories of attack strategies and collect two suites of test cases: one consisting of unique conversations from manual testing and one that systematically implements strategies from the 6 categories. Across various popular proprietary and open models such as GPT-4 and Llama 2, we find that all models are susceptible to a wide variety of adversarial hand-crafted user inputs, though GPT-4 is the best-performing model. Additionally, we evaluate open models under gradient-based attacks and find significant vulnerabilities. We propose RuLES as a challenging new setting for research into exploring and defending against both manual and automatic attacks on LLMs.