추론이 법칙을 만날 때

초록

대규모 추론 모델(LRMs)의 우수한 성능에도 불구하고, 그들의 추론 행동은 종종 직관에 반하여 최적의 추론 능력을 발휘하지 못하는 경우가 많습니다. 이러한 바람직한 추론 행동을 이론적으로 정형화하기 위해, 본 논문은 LRMs의 내재적 추론 패턴을 규정하는 통합 프레임워크인 '추론의 법칙(LoRe)'을 제시합니다. 먼저 추론 계산량이 문제 복잡도에 선형적으로 비례해야 한다는 가설과 함께 계산 법칙을 제안합니다. 계산량을 넘어서, 보완적 정확도 법칙으로 LoRe를 확장합니다. 문제 복잡도를 실제로 정량화하기 어렵기 때문에, 우리는 이러한 가설을 법칙의 두 가지 속성인 단조성과 구성성으로 검증합니다. 이에 따라 대규모 추론 모델의 이러한 두 가지 다루기 쉬운 속성을 체계적으로 측정하는 벤치마크인 LoRe-Bench를 소개합니다. 평가 결과, 대부분의 추론 모델은 합리적인 단조성을 보이지만 구성성이 부족한 것으로 나타났습니다. 이에 대응하여 계산 법칙 구성성을 강화하는 효과적인 파인튜닝 접근법을 개발합니다. 광범위한 실증 연구를 통해 계산 법칙을 더 잘 준수할수록 여러 벤치마크에서 추론 성능이 지속적으로 향상되며, 속성과 법칙 간의 시너지 효과가 발견됨을 입증합니다. 프로젝트 페이지: https://lore-project.github.io/

English

Despite the superior performance of Large Reasoning Models (LRMs), their reasoning behaviors are often counterintuitive, leading to suboptimal reasoning capabilities. To theoretically formalize the desired reasoning behaviors, this paper presents the Laws of Reasoning (LoRe), a unified framework that characterizes intrinsic reasoning patterns in LRMs. We first propose compute law with the hypothesis that the reasoning compute should scale linearly with question complexity. Beyond compute, we extend LoRe with a supplementary accuracy law. Since the question complexity is difficult to quantify in practice, we examine these hypotheses by two properties of the laws, monotonicity and compositionality. We therefore introduce LoRe-Bench, a benchmark that systematically measures these two tractable properties for large reasoning models. Evaluation shows that most reasoning models exhibit reasonable monotonicity but lack compositionality. In response, we develop an effective finetuning approach that enforces compute-law compositionality. Extensive empirical studies demonstrate that better compliance with compute laws yields consistently improved reasoning performance on multiple benchmarks, and uncovers synergistic effects across properties and laws. Project page: https://lore-project.github.io/

추론이 법칙을 만날 때

When Reasoning Meets Its Laws

초록

Support