Самокоррекция спецификаций: смягчение взлома контекстных вознаграждений за счет уточнения на этапе тестирования

Specification Self-Correction: Mitigating In-Context Reward Hacking Through Test-Time Refinement

July 24, 2025

Авторы: Víctor Gallego

cs.AI

Аннотация

Языковые модели (ЯМ) подвержены уязвимости, называемой "взломом вознаграждения в контексте", когда они используют недостатки в некорректных или ошибочных письменных спецификациях или критериях для достижения высоких оценок, не выполняя истинных намерений пользователя. Мы представляем "Самоисправление спецификации" (Specification Self-Correction, SSC) — новый фреймворк, применяемый на этапе тестирования, который позволяет ЯМ выявлять и исправлять недостатки в своей собственной руководящей спецификации. SSC использует многошаговый процесс вывода, в котором модель сначала генерирует ответ на основе потенциально некорректной спецификации, анализирует свой вывод, а затем исправляет саму спецификацию, устраняя уязвимость. Затем на основе этой самоисправленной спецификации генерируется окончательный, более устойчивый ответ. В экспериментах, охватывающих задачи творческого письма и агентного программирования с использованием нескольких ЯМ, мы показываем, что, хотя модели изначально используют некорректные спецификации в 50–70\% случаев, процесс SSC снижает эту уязвимость более чем на 90\%. Это динамическое исправление происходит на этапе вывода, не требует изменения весов модели и приводит к более устойчивому и согласованному поведению модели. Код доступен по адресу https://github.com/vicgalle/specification-self-correction.

English

Language models (LMs) are susceptible to in-context reward hacking, where they exploit flaws in tainted or faulty written specifications or rubrics to achieve high scores without fulfilling the user's true intent. We introduce Specification Self-Correction (SSC), a novel, test-time framework that enables an LM to identify and correct flaws within its own guiding specification. SSC employs a multi-step inference process where the model first generates a response based on a potentially tainted specification, critiques its output, and then revises the specification itself to remove the exploitable loophole. A final, more robust response is then generated using this self-corrected specification. Across experiments spanning creative writing and agentic coding tasks with several LMs, we demonstrate that while models initially game tainted specifications in 50-70\% of cases, the SSC process reduces this vulnerability by over 90\%. This dynamic repair occurs at inference time, requires no weight modification, and leads to more robustly aligned model behavior. Code at https://github.com/vicgalle/specification-self-correction .