MetaSC: Ottimizzazione della specifica di sicurezza al momento del test per i modelli linguistici

MetaSC: Test-Time Safety Specification Optimization for Language Models

February 11, 2025

Autori: Víctor Gallego

cs.AI

Abstract

Proponiamo un nuovo framework dinamico di sicurezza che ottimizza il ragionamento sulla sicurezza dei modelli linguistici (LM) al momento dell'inferenza senza modificare i pesi del modello. Basandoci sui recenti progressi nei metodi di autocritica, il nostro approccio sfrutta un meccanismo di metacritica che aggiorna iterativamente prompt di sicurezza, chiamati specifiche, per guidare il processo di critica e revisione in modo adattivo. Questa ottimizzazione al momento del test non solo migliora le prestazioni contro richieste di jailbreak avversarie, ma anche in diverse attività generali correlate alla sicurezza, come evitare danni morali o perseguire risposte oneste. Le nostre valutazioni empiriche su diversi modelli linguistici dimostrano che i prompt di sicurezza ottimizzati dinamicamente producono punteggi di sicurezza significativamente più alti rispetto ai prompt di sistema fissi e alle difese statiche di autocritica. Il codice sarà rilasciato su https://github.com/vicgalle/meta-self-critique.git.

English

We propose a novel dynamic safety framework that optimizes language model (LM) safety reasoning at inference time without modifying model weights. Building on recent advances in self-critique methods, our approach leverages a meta-critique mechanism that iteratively updates safety prompts-termed specifications-to drive the critique and revision process adaptively. This test-time optimization not only improves performance against adversarial jailbreak requests but also in diverse general safety-related tasks, such as avoiding moral harm or pursuing honest responses. Our empirical evaluations across several language models demonstrate that dynamically optimized safety prompts yield significantly higher safety scores compared to fixed system prompts and static self-critique defenses. Code to be released at https://github.com/vicgalle/meta-self-critique.git .