MetaSC: Optimalisatie van specificaties voor veiligheidstests voor taalmodellen op testtijd

MetaSC: Test-Time Safety Specification Optimization for Language Models

February 11, 2025

Auteurs: Víctor Gallego

cs.AI

Samenvatting

We stellen een nieuw dynamisch veiligheidskader voor dat de veiligheidsredenering van taalmodellen (LM) optimaliseert op het moment van inferentie zonder de modelgewichten te wijzigen. Voortbouwend op recente ontwikkelingen in zelfkritieke methoden, maakt onze aanpak gebruik van een meta-kritiekmechanisme dat veiligheidsprompts - termen specificaties - iteratief bijwerkt om het kritiek- en revisieproces adaptief aan te sturen. Deze optimalisatie op testtijd verbetert niet alleen de prestaties tegenover kwaadwillende jailbreak-verzoeken, maar ook in diverse algemene veiligheidstaken, zoals het vermijden van morele schade of het nastreven van eerlijke antwoorden. Onze empirische evaluaties over verschillende taalmodellen tonen aan dat dynamisch geoptimaliseerde veiligheidsprompts aanzienlijk hogere veiligheidsscores opleveren in vergelijking met vaste systeemprompts en statische zelfkritiekverdedigingen. Code zal worden vrijgegeven op https://github.com/vicgalle/meta-self-critique.git.

English

We propose a novel dynamic safety framework that optimizes language model (LM) safety reasoning at inference time without modifying model weights. Building on recent advances in self-critique methods, our approach leverages a meta-critique mechanism that iteratively updates safety prompts-termed specifications-to drive the critique and revision process adaptively. This test-time optimization not only improves performance against adversarial jailbreak requests but also in diverse general safety-related tasks, such as avoiding moral harm or pursuing honest responses. Our empirical evaluations across several language models demonstrate that dynamically optimized safety prompts yield significantly higher safety scores compared to fixed system prompts and static self-critique defenses. Code to be released at https://github.com/vicgalle/meta-self-critique.git .