효율적인 테스트 시점 추론을 위한 주장 수준 신뢰성 평가

초록

우리는 테스트 시간 확장의 원리로서 주장 수준 반증(claim-level falsification)을 제안하고, 이를 추가적인 해 샘플링에서 목표 지향적 검증으로 테스트 시간 계산을 재배분하는 훈련 없는 프레임워크인 주장 수준 신뢰성 평가(Claim-Level Reliability Assessment, CLR)를 통해 구현한다. 전체 추적 평가는 일상적인 토큰에서 비롯된 신호 희석으로 인해 결정적 오류를 종종 모호하게 만들기 때문에, CLR은 각 추론 추적을 의사결정에 중요한 주장들로 이루어진 간결한 집합으로 압축하여 논리적 기준점을 분리한다. 나아가, 고정된 모델 능력 하에서 완전히 올바른 해를 생성하는 것의 본질적 어려움을 인식하여, CLR은 의미론적 반증에 초점을 전환한다. 이 접근법은 해 구성과 주장 반박 사이의 근본적 비대칭성을 활용한다. 유효한 해를 구성하려면 완벽한 추론 경로가 요구되는 반면, 잘못된 주장을 반박하는 데에는 단 하나의 결정적 결함만 식별하면 된다. 이러한 부정적 증거에 대한 목표 지향적 탐색은 고신뢰 오류 추적이 생존할 수 있는 공간을 체계적으로 압축하며, 비선형 신뢰도 점수화를 통해 오류 합의를 효과적으로 억제한다. 동일한 예산 하에서 네 개의 LLM과 네 개의 추론 벤치마크에 걸쳐, CLR은 일반적으로 pass@1 및 자기 일관성을 개선한다. 예를 들어, GPT-OSS-20B/CMIMC25에서 CLR은 pass@1을 27.15퍼센트포인트 능가하고, 자기 일관성 정확도를 77.50\%에서 82.19\%로 끌어올리면서 토큰 사용량을 37.0\% 줄인다.

English

We propose claim-level falsification as a principle for test-time scaling and instantiate it through Claim-Level Reliability Assessment (CLR), a training-free framework that reallocates test-time compute from additional solution sampling to targeted verification. Since whole-trace evaluation often obscures decisive errors due to signal dilution from routine tokens, CLR condenses each reasoning trace into a compact set of decision-critical claims, thereby isolating its logical anchors. Furthermore, recognizing the inherent difficulty of generating entirely correct solutions under fixed model capabilities, CLR shifts the focus to semantic falsification. This approach exploits a fundamental asymmetry between solution construction and claim refutation. Constructing a valid solution requires a flawless reasoning path, whereas refuting an incorrect claim requires identifying only a single decisive flaw. This targeted search for negative evidence systematically compresses the survival space of high-confidence incorrect traces, effectively suppressing erroneous consensus via nonlinear reliability scoring. Across four LLMs and four reasoning benchmarks under matched budgets, CLR generally improves upon pass@1 and self-consistency. On GPT-OSS-20B/CMIMC25, for instance, CLR exceeds pass@1 by 27.15 percentage-points and raises self-consistency accuracy from 77.50\% to 82.19\% with 37.0\% fewer tokens.