Рассуждение за пределами границ: улучшение соответствия спецификациям через калибровку во время тестирования

Reasoning over Boundaries: Enhancing Specification Alignment via Test-time Delibration

September 18, 2025

Авторы: Haoran Zhang, Yafu Li, Xuyang Hu, Dongrui Liu, Zhilin Wang, Bo Li, Yu Cheng

cs.AI

Аннотация

Крупные языковые модели (LLM) всё чаще применяются в различных реальных сценариях, каждый из которых регулируется уникальными поведенческими и безопасностными спецификациями (spec), адаптированными пользователями или организациями. Эти спецификации, разделяемые на безопасностные (safety-spec) и поведенческие (behavioral-spec), варьируются в зависимости от сценариев и эволюционируют вместе с изменяющимися предпочтениями и требованиями. Мы формализуем эту задачу как проблему согласования спецификаций, фокусируясь на способности LLM следовать динамическим, сценарий-специфичным спецификациям как с поведенческой, так и с безопасностной точек зрения. Для решения этой задачи мы предлагаем Align3 — лёгкий метод, использующий тестовую рефлексию (Test-Time Deliberation, TTD) с иерархическим анализом и корректировкой для рассуждений в рамках границ спецификаций. Мы также представляем SpecBench — унифицированный бенчмарк для измерения согласования спецификаций, охватывающий 5 сценариев, 103 спецификации и 1 500 запросов. Эксперименты с 15 моделями для рассуждений и 18 инструктивными моделями с использованием нескольких методов TTD, включая Self-Refine, TPO и MoreThink, дают три ключевых вывода: (i) тестовая рефлексия улучшает согласование спецификаций; (ii) Align3 продвигает границу компромисса между безопасностью и полезностью с минимальными накладными расходами; (iii) SpecBench эффективно выявляет пробелы в согласовании. Эти результаты подчеркивают потенциал тестовой рефлексии как эффективной стратегии для рассуждений в рамках границ реальных спецификаций.

English

Large language models (LLMs) are increasingly applied in diverse real-world scenarios, each governed by bespoke behavioral and safety specifications (spec) custom-tailored by users or organizations. These spec, categorized into safety-spec and behavioral-spec, vary across scenarios and evolve with changing preferences and requirements. We formalize this challenge as specification alignment, focusing on LLMs' ability to follow dynamic, scenario-specific spec from both behavioral and safety perspectives. To address this challenge, we propose Align3, a lightweight method that employs Test-Time Deliberation (TTD) with hierarchical reflection and revision to reason over the specification boundaries. We further present SpecBench, a unified benchmark for measuring specification alignment, covering 5 scenarios, 103 spec, and 1,500 prompts. Experiments on 15 reasoning and 18 instruct models with several TTD methods, including Self-Refine, TPO, and MoreThink, yield three key findings: (i) test-time deliberation enhances specification alignment; (ii) Align3 advances the safety-helpfulness trade-off frontier with minimal overhead; (iii) SpecBench effectively reveals alignment gaps. These results highlight the potential of test-time deliberation as an effective strategy for reasoning over the real-world specification boundaries.