MetaSC: Optimización de la Especificación de Seguridad en Tiempo de Prueba para Modelos de Lenguaje

MetaSC: Test-Time Safety Specification Optimization for Language Models

February 11, 2025

Autores: Víctor Gallego

cs.AI

Resumen

Proponemos un nuevo marco de seguridad dinámica que optimiza el razonamiento de seguridad del modelo de lenguaje (LM) en tiempo de inferencia sin modificar los pesos del modelo. Basándonos en los avances recientes en métodos de autorrevisión, nuestro enfoque aprovecha un mecanismo de metacrítica que actualiza de forma iterativa las indicaciones de seguridad, denominadas especificaciones, para impulsar el proceso de crítica y revisión de manera adaptativa. Esta optimización en tiempo de prueba no solo mejora el rendimiento frente a solicitudes de desbloqueo adversarias, sino también en diversas tareas generales relacionadas con la seguridad, como evitar daños morales o buscar respuestas honestas. Nuestras evaluaciones empíricas en varios modelos de lenguaje demuestran que las indicaciones de seguridad optimizadas dinámicamente producen puntuaciones de seguridad significativamente más altas en comparación con las indicaciones fijas del sistema y las defensas estáticas de autorrevisión. El código se publicará en https://github.com/vicgalle/meta-self-critique.git.

English

We propose a novel dynamic safety framework that optimizes language model (LM) safety reasoning at inference time without modifying model weights. Building on recent advances in self-critique methods, our approach leverages a meta-critique mechanism that iteratively updates safety prompts-termed specifications-to drive the critique and revision process adaptively. This test-time optimization not only improves performance against adversarial jailbreak requests but also in diverse general safety-related tasks, such as avoiding moral harm or pursuing honest responses. Our empirical evaluations across several language models demonstrate that dynamically optimized safety prompts yield significantly higher safety scores compared to fixed system prompts and static self-critique defenses. Code to be released at https://github.com/vicgalle/meta-self-critique.git .