Aritmética de Segurança: Um Framework para Alinhamento de Segurança em Tempo de Teste de Modelos de Linguagem por meio de Direcionamento de Parâmetros e Ativações
Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations
June 17, 2024
Autores: Rima Hazra, Sayan Layek, Somnath Banerjee, Soujanya Poria
cs.AI
Resumo
Garantir o alinhamento seguro de grandes modelos de linguagem (LLMs) com os valores humanos é crucial à medida que eles se tornam essenciais para aplicações como tradução e resposta a perguntas. Os métodos atuais de alinhamento enfrentam dificuldades com intenções dinâmicas dos usuários e objetivos complexos, tornando os modelos vulneráveis à geração de conteúdo prejudicial. Propomos a Aritmética de Segurança, uma estrutura livre de treinamento que aprimora a segurança dos LLMs em diferentes cenários: modelos base, modelos ajustados por supervisão (SFT) e modelos editados. A Aritmética de Segurança envolve a Remoção de Direção de Dano para evitar conteúdo prejudicial e o Alinhamento de Segurança para promover respostas seguras. Além disso, apresentamos o NoIntentEdit, um conjunto de dados que destaca instâncias de edição que poderiam comprometer a segurança do modelo se usadas inadvertidamente. Nossos experimentos mostram que a Aritmética de Segurança melhora significativamente as medidas de segurança, reduz o excesso de segurança e mantém a utilidade do modelo, superando os métodos existentes na garantia da geração de conteúdo seguro.
English
Ensuring the safe alignment of large language models (LLMs) with human values
is critical as they become integral to applications like translation and
question answering. Current alignment methods struggle with dynamic user
intentions and complex objectives, making models vulnerable to generating
harmful content. We propose Safety Arithmetic, a training-free framework
enhancing LLM safety across different scenarios: Base models, Supervised
fine-tuned models (SFT), and Edited models. Safety Arithmetic involves Harm
Direction Removal to avoid harmful content and Safety Alignment to promote safe
responses. Additionally, we present NoIntentEdit, a dataset highlighting edit
instances that could compromise model safety if used unintentionally. Our
experiments show that Safety Arithmetic significantly improves safety measures,
reduces over-safety, and maintains model utility, outperforming existing
methods in ensuring safe content generation.