Безопасная арифметика: Фреймворк для выравнивания безопасности во время тестирования моделей языка путем управления параметрами и активациями

Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations

June 17, 2024

Авторы: Rima Hazra, Sayan Layek, Somnath Banerjee, Soujanya Poria

cs.AI

Аннотация

Обеспечение безопасного соответствия крупных языковых моделей (LLM) человеческим ценностям является критическим, поскольку они становятся неотъемлемыми для приложений, таких как перевод и вопросно-ответная система. Существующие методы соответствия испытывают затруднения с динамическими намерениями пользователей и сложными целями, что делает модели уязвимыми к созданию вредного контента. Мы предлагаем Safety Arithmetic, фреймворк без обучения, улучшающий безопасность LLM в различных сценариях: базовые модели, модели с обучением с учителем (SFT) и отредактированные модели. Safety Arithmetic включает удаление направления вреда для предотвращения создания вредного контента и выравнивание безопасности для поощрения безопасных ответов. Кроме того, мы представляем NoIntentEdit, набор данных, выделяющий примеры редактирования, которые могут подвергнуть опасности безопасность модели, если использованы непреднамеренно. Наши эксперименты показывают, что Safety Arithmetic значительно улучшает показатели безопасности, снижает избыточную безопасность и сохраняет полезность модели, превосходя существующие методы в обеспечении безопасного создания контента.

English

Ensuring the safe alignment of large language models (LLMs) with human values is critical as they become integral to applications like translation and question answering. Current alignment methods struggle with dynamic user intentions and complex objectives, making models vulnerable to generating harmful content. We propose Safety Arithmetic, a training-free framework enhancing LLM safety across different scenarios: Base models, Supervised fine-tuned models (SFT), and Edited models. Safety Arithmetic involves Harm Direction Removal to avoid harmful content and Safety Alignment to promote safe responses. Additionally, we present NoIntentEdit, a dataset highlighting edit instances that could compromise model safety if used unintentionally. Our experiments show that Safety Arithmetic significantly improves safety measures, reduces over-safety, and maintains model utility, outperforming existing methods in ensuring safe content generation.