Aritmética de Seguridad: Un Marco para la Alineación de Seguridad en Tiempo de Prueba de Modelos de Lenguaje mediante la Dirección de Parámetros y Activaciones

Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations

June 17, 2024

Autores: Rima Hazra, Sayan Layek, Somnath Banerjee, Soujanya Poria

cs.AI

Resumen

Garantizar la alineación segura de los modelos de lenguaje de gran escala (LLMs) con los valores humanos es crucial a medida que se integran en aplicaciones como la traducción y la respuesta a preguntas. Los métodos actuales de alineación enfrentan dificultades con las intenciones dinámicas de los usuarios y los objetivos complejos, lo que hace que los modelos sean vulnerables a generar contenido dañino. Proponemos Aritmética de Seguridad, un marco que no requiere entrenamiento y que mejora la seguridad de los LLMs en diferentes escenarios: modelos base, modelos ajustados mediante supervisión (SFT) y modelos editados. La Aritmética de Seguridad incluye la Eliminación de Dirección Dañina para evitar contenido perjudicial y la Alineación de Seguridad para promover respuestas seguras. Además, presentamos NoIntentEdit, un conjunto de datos que destaca instancias de edición que podrían comprometer la seguridad del modelo si se utilizan de manera no intencional. Nuestros experimentos muestran que la Aritmética de Seguridad mejora significativamente las medidas de seguridad, reduce el exceso de precaución y mantiene la utilidad del modelo, superando a los métodos existentes en la generación segura de contenido.

English

Ensuring the safe alignment of large language models (LLMs) with human values is critical as they become integral to applications like translation and question answering. Current alignment methods struggle with dynamic user intentions and complex objectives, making models vulnerable to generating harmful content. We propose Safety Arithmetic, a training-free framework enhancing LLM safety across different scenarios: Base models, Supervised fine-tuned models (SFT), and Edited models. Safety Arithmetic involves Harm Direction Removal to avoid harmful content and Safety Alignment to promote safe responses. Additionally, we present NoIntentEdit, a dataset highlighting edit instances that could compromise model safety if used unintentionally. Our experiments show that Safety Arithmetic significantly improves safety measures, reduces over-safety, and maintains model utility, outperforming existing methods in ensuring safe content generation.