Управляемое выравнивание безопасности: адаптация во время вывода к разнообразным требованиям безопасности

Controllable Safety Alignment: Inference-Time Adaptation to Diverse Safety Requirements

October 11, 2024

Авторы: Jingyu Zhang, Ahmed Elgohary, Ahmed Magooda, Daniel Khashabi, Benjamin Van Durme

cs.AI

Аннотация

Существующая парадигма обеспечения безопасности больших языковых моделей (LLM) следует принципу универсального подхода: модель отказывается взаимодействовать с любым контентом, считаемым небезопасным поставщиком модели. Такой подход лишен гибкости перед различными социокультурными нормами в различных культурах и регионах. Кроме того, пользователи могут иметь различные потребности в безопасности, что делает модель со статическими стандартами безопасности слишком ограничивающей для использования и слишком дорогостоящей для перенастройки. Мы предлагаем фреймворк "Управляемое выравнивание безопасности" (CoSA), разработанный для адаптации моделей к разнообразным требованиям безопасности без повторного обучения. Вместо выравнивания фиксированной модели мы выравниваем модели для следования конфигурациям безопасности - свободным описаниям желаемого поведения в области безопасности на естественном языке, предоставляемым в качестве части запроса системы. Чтобы настроить поведение безопасности модели, авторизованным пользователям нужно только изменить такие конфигурации безопасности во время вывода. Для обеспечения этого мы предлагаем CoSAlign, метод на основе данных для выравнивания LLM с возможностью легкой адаптации к различным конфигурациям безопасности. Кроме того, мы разрабатываем новый протокол оценки управляемости, который учитывает как полезность, так и настроенную безопасность, обобщая их в CoSA-Score, и создаем CoSApien, человекопонятный бенчмарк, состоящий из реальных случаев использования LLM с разнообразными требованиями безопасности и соответствующими запросами на оценку. Мы показываем, что CoSAlign приводит к значительному увеличению управляемости по сравнению с сильными базовыми вариантами, включая выравнивание в контексте. Наш фреймворк поощряет лучшее представление и адаптацию к плюралистическим человеческим ценностям в LLM, тем самым повышая их практичность.

English

The current paradigm for safety alignment of large language models (LLMs) follows a one-size-fits-all approach: the model refuses to interact with any content deemed unsafe by the model provider. This approach lacks flexibility in the face of varying social norms across cultures and regions. In addition, users may have diverse safety needs, making a model with static safety standards too restrictive to be useful, as well as too costly to be re-aligned. We propose Controllable Safety Alignment (CoSA), a framework designed to adapt models to diverse safety requirements without re-training. Instead of aligning a fixed model, we align models to follow safety configs -- free-form natural language descriptions of the desired safety behaviors -- that are provided as part of the system prompt. To adjust model safety behavior, authorized users only need to modify such safety configs at inference time. To enable that, we propose CoSAlign, a data-centric method for aligning LLMs to easily adapt to diverse safety configs. Furthermore, we devise a novel controllability evaluation protocol that considers both helpfulness and configured safety, summarizing them into CoSA-Score, and construct CoSApien, a human-authored benchmark that consists of real-world LLM use cases with diverse safety requirements and corresponding evaluation prompts. We show that CoSAlign leads to substantial gains of controllability over strong baselines including in-context alignment. Our framework encourages better representation and adaptation to pluralistic human values in LLMs, and thereby increasing their practicality.