MetaSC: Optimierung der Sicherheitsspezifikation zur Testzeit für Sprachmodelle

MetaSC: Test-Time Safety Specification Optimization for Language Models

February 11, 2025

Autoren: Víctor Gallego

cs.AI

Zusammenfassung

Wir schlagen ein neuartiges dynamisches Sicherheitsframework vor, das die Sicherheitsüberlegungen von Sprachmodellen (LM) zur Inferenzzeit optimiert, ohne die Modellgewichte zu verändern. Aufbauend auf den neuesten Fortschritten in der Selbstkritik-Methode nutzt unser Ansatz einen Meta-Kritik-Mechanismus, der sicherheitsrelevante Aufforderungen - sogenannte Spezifikationen - iterativ aktualisiert, um den Kritik- und Überarbeitungsprozess adaptiv voranzutreiben. Diese Optimierung zur Testzeit verbessert nicht nur die Leistung gegenüber adversen Jailbreak-Anfragen, sondern auch bei verschiedenen allgemeinen sicherheitsbezogenen Aufgaben, wie dem Vermeiden moralischer Schäden oder dem Streben nach ehrlichen Antworten. Unsere empirischen Bewertungen über mehrere Sprachmodelle hinweg zeigen, dass dynamisch optimierte Sicherheitsaufforderungen im Vergleich zu festen Systemaufforderungen und statischen Selbstkritik-Verteidigungen signifikant höhere Sicherheitsbewertungen erzielen. Der Code wird unter https://github.com/vicgalle/meta-self-critique.git veröffentlicht.

English

We propose a novel dynamic safety framework that optimizes language model (LM) safety reasoning at inference time without modifying model weights. Building on recent advances in self-critique methods, our approach leverages a meta-critique mechanism that iteratively updates safety prompts-termed specifications-to drive the critique and revision process adaptively. This test-time optimization not only improves performance against adversarial jailbreak requests but also in diverse general safety-related tasks, such as avoiding moral harm or pursuing honest responses. Our empirical evaluations across several language models demonstrate that dynamically optimized safety prompts yield significantly higher safety scores compared to fixed system prompts and static self-critique defenses. Code to be released at https://github.com/vicgalle/meta-self-critique.git .