MetaSC: Оптимизация спецификации безопасности во время тестирования для языковых моделей

MetaSC: Test-Time Safety Specification Optimization for Language Models

February 11, 2025

Авторы: Víctor Gallego

cs.AI

Аннотация

Мы предлагаем новую динамическую систему безопасности, которая оптимизирует рассуждения о безопасности модели языка (LM) во время вывода без изменения весов модели. Основываясь на последних достижениях в методах самокритики, наш подход использует механизм мета-критики, который итеративно обновляет безопасные подсказки, называемые спецификациями, для управления процессом критики и корректировки адаптивно. Эта оптимизация на этапе тестирования не только улучшает производительность против запросов на нарушение безопасности, но также в различных общих задачах безопасности, таких как избегание морального вреда или стремление к честным ответам. Наши эмпирические оценки на нескольких моделях языка показывают, что динамически оптимизированные безопасные подсказки значительно повышают показатели безопасности по сравнению с фиксированными системными подсказками и статическими методами самокритики. Код будет опубликован на https://github.com/vicgalle/meta-self-critique.git.

English

We propose a novel dynamic safety framework that optimizes language model (LM) safety reasoning at inference time without modifying model weights. Building on recent advances in self-critique methods, our approach leverages a meta-critique mechanism that iteratively updates safety prompts-termed specifications-to drive the critique and revision process adaptively. This test-time optimization not only improves performance against adversarial jailbreak requests but also in diverse general safety-related tasks, such as avoiding moral harm or pursuing honest responses. Our empirical evaluations across several language models demonstrate that dynamically optimized safety prompts yield significantly higher safety scores compared to fixed system prompts and static self-critique defenses. Code to be released at https://github.com/vicgalle/meta-self-critique.git .