境界を越えた推論：テスト時デリベーションによる仕様整合性の向上

Reasoning over Boundaries: Enhancing Specification Alignment via Test-time Delibration

September 18, 2025

著者: Haoran Zhang, Yafu Li, Xuyang Hu, Dongrui Liu, Zhilin Wang, Bo Li, Yu Cheng

cs.AI

要旨

大規模言語モデル（LLM）は、多様な現実世界のシナリオでますます活用されており、各シナリオはユーザーや組織によってカスタマイズされた独自の行動および安全性仕様（spec）によって管理されています。これらの仕様は、安全性仕様（safety-spec）と行動仕様（behavioral-spec）に分類され、シナリオごとに異なり、変化する好みや要件に応じて進化します。我々はこの課題を仕様アライメントとして形式化し、LLMが行動と安全性の両面から動的でシナリオ固有の仕様に従う能力に焦点を当てます。この課題に対処するため、我々はAlign3を提案します。これは、階層的な反省と修正を伴うテストタイム熟考（Test-Time Deliberation, TTD）を用いて仕様の境界を推論する軽量な手法です。さらに、仕様アライメントを測定するための統一ベンチマークであるSpecBenchを提示します。SpecBenchは5つのシナリオ、103の仕様、1,500のプロンプトをカバーしています。15の推論モデルと18の指示モデルを用いた実験では、Self-Refine、TPO、MoreThinkなどの複数のTTD手法を適用し、以下の3つの主要な知見を得ました：(i) テストタイム熟考は仕様アライメントを向上させる、(ii) Align3は最小限のオーバーヘッドで安全性と有用性のトレードオフのフロンティアを進展させる、(iii) SpecBenchはアライメントのギャップを効果的に明らかにする。これらの結果は、現実世界の仕様境界を推論するための効果的な戦略としてのテストタイム熟考の可能性を強調しています。

English

Large language models (LLMs) are increasingly applied in diverse real-world scenarios, each governed by bespoke behavioral and safety specifications (spec) custom-tailored by users or organizations. These spec, categorized into safety-spec and behavioral-spec, vary across scenarios and evolve with changing preferences and requirements. We formalize this challenge as specification alignment, focusing on LLMs' ability to follow dynamic, scenario-specific spec from both behavioral and safety perspectives. To address this challenge, we propose Align3, a lightweight method that employs Test-Time Deliberation (TTD) with hierarchical reflection and revision to reason over the specification boundaries. We further present SpecBench, a unified benchmark for measuring specification alignment, covering 5 scenarios, 103 spec, and 1,500 prompts. Experiments on 15 reasoning and 18 instruct models with several TTD methods, including Self-Refine, TPO, and MoreThink, yield three key findings: (i) test-time deliberation enhances specification alignment; (ii) Align3 advances the safety-helpfulness trade-off frontier with minimal overhead; (iii) SpecBench effectively reveals alignment gaps. These results highlight the potential of test-time deliberation as an effective strategy for reasoning over the real-world specification boundaries.