Veiligheidsrekenkunde: Een raamwerk voor veiligheidsafstemming van taalmodelen tijdens testen door het sturen van parameters en activeringen

Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations

June 17, 2024

Auteurs: Rima Hazra, Sayan Layek, Somnath Banerjee, Soujanya Poria

cs.AI

Samenvatting

Het waarborgen van de veilige afstemming van grote taalmodellen (LLMs) op menselijke waarden is cruciaal naarmate ze een integraal onderdeel worden van toepassingen zoals vertaling en vraagbeantwoording. Huidige afstemmingsmethoden hebben moeite met dynamische gebruikersintenties en complexe doelstellingen, waardoor modellen kwetsbaar zijn voor het genereren van schadelijke inhoud. Wij stellen Safety Arithmetic voor, een trainingsvrij framework dat de veiligheid van LLMs verbetert in verschillende scenario's: basismodellen, modellen met supervised fine-tuning (SFT), en bewerkte modellen. Safety Arithmetic omvat Harm Direction Removal om schadelijke inhoud te vermijden en Safety Alignment om veilige reacties te bevorderen. Daarnaast presenteren we NoIntentEdit, een dataset die bewerkingsinstanties belicht die de modelveiligheid in gevaar kunnen brengen als ze onbedoeld worden gebruikt. Onze experimenten tonen aan dat Safety Arithmetic de veiligheidsmaatregelen aanzienlijk verbetert, overmatige veiligheid vermindert en de bruikbaarheid van het model behoudt, waardoor het bestaande methoden overtreft in het waarborgen van veilige inhoudsgeneratie.

English

Ensuring the safe alignment of large language models (LLMs) with human values is critical as they become integral to applications like translation and question answering. Current alignment methods struggle with dynamic user intentions and complex objectives, making models vulnerable to generating harmful content. We propose Safety Arithmetic, a training-free framework enhancing LLM safety across different scenarios: Base models, Supervised fine-tuned models (SFT), and Edited models. Safety Arithmetic involves Harm Direction Removal to avoid harmful content and Safety Alignment to promote safe responses. Additionally, we present NoIntentEdit, a dataset highlighting edit instances that could compromise model safety if used unintentionally. Our experiments show that Safety Arithmetic significantly improves safety measures, reduces over-safety, and maintains model utility, outperforming existing methods in ensuring safe content generation.