Os LLMs Podem Seguir Regras Simples?

Can LLMs Follow Simple Rules?

November 6, 2023

Autores: Norman Mu, Sarah Chen, Zifan Wang, Sizhe Chen, David Karamardian, Lulwa Aljeraisy, Dan Hendrycks, David Wagner

cs.AI

Resumo

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são implantados com responsabilidades cada vez mais reais, é importante ser capaz de especificar e restringir o comportamento desses sistemas de maneira confiável. Desenvolvedores de modelos podem desejar estabelecer regras explícitas para o modelo, como "não gerar conteúdo abusivo", mas essas podem ser contornadas por técnicas de jailbreaking. Avaliar o quão bem os LLMs seguem as regras fornecidas pelos desenvolvedores diante de entradas adversárias geralmente requer revisão manual, o que retarda o monitoramento e o desenvolvimento de métodos. Para abordar essa questão, propomos Cenários de Avaliação de Linguagem de Seguimento de Regras (RuLES), uma estrutura programática para medir a capacidade de seguir regras em LLMs. O RuLES consiste em 15 cenários de texto simples nos quais o modelo é instruído a obedecer a um conjunto de regras em linguagem natural enquanto interage com o usuário humano. Cada cenário possui um programa de avaliação conciso para determinar se o modelo violou alguma regra em uma conversa. Através da exploração manual do comportamento do modelo em nossos cenários, identificamos 6 categorias de estratégias de ataque e coletamos dois conjuntos de casos de teste: um consistindo de conversas únicas de testes manuais e outro que implementa sistematicamente estratégias das 6 categorias. Em vários modelos populares proprietários e abertos, como GPT-4 e Llama 2, descobrimos que todos os modelos são suscetíveis a uma ampla variedade de entradas de usuário adversariais criadas manualmente, embora o GPT-4 seja o modelo com melhor desempenho. Além disso, avaliamos modelos abertos sob ataques baseados em gradiente e encontramos vulnerabilidades significativas. Propomos o RuLES como um novo cenário desafiador para pesquisas que explorem e defendam contra ataques manuais e automáticos em LLMs.

English

As Large Language Models (LLMs) are deployed with increasing real-world responsibilities, it is important to be able to specify and constrain the behavior of these systems in a reliable manner. Model developers may wish to set explicit rules for the model, such as "do not generate abusive content", but these may be circumvented by jailbreaking techniques. Evaluating how well LLMs follow developer-provided rules in the face of adversarial inputs typically requires manual review, which slows down monitoring and methods development. To address this issue, we propose Rule-following Language Evaluation Scenarios (RuLES), a programmatic framework for measuring rule-following ability in LLMs. RuLES consists of 15 simple text scenarios in which the model is instructed to obey a set of rules in natural language while interacting with the human user. Each scenario has a concise evaluation program to determine whether the model has broken any rules in a conversation. Through manual exploration of model behavior in our scenarios, we identify 6 categories of attack strategies and collect two suites of test cases: one consisting of unique conversations from manual testing and one that systematically implements strategies from the 6 categories. Across various popular proprietary and open models such as GPT-4 and Llama 2, we find that all models are susceptible to a wide variety of adversarial hand-crafted user inputs, though GPT-4 is the best-performing model. Additionally, we evaluate open models under gradient-based attacks and find significant vulnerabilities. We propose RuLES as a challenging new setting for research into exploring and defending against both manual and automatic attacks on LLMs.