PETS: 효율적인 테스트 타임 자기 일관성을 위한 최적 궤적 할당 원리 기반 프레임워크

초록

테스트 타임 스케일링은 확률적 추론 궤적을 집계함으로써 모델 성능을 향상시킬 수 있습니다. 그러나 제한된 예산 하에서 샘플 효율적인 테스트 타임 자기 일관성을 달성하는 것은 여전히 해결 과제로 남아 있습니다. 본 연구에서는 PETS(Principled and Efficient Test-Time Self-Consistency)를 소개하며, 최적화 프레임워크를 통한 궤적 할당에 대한 원칙적인 연구를 시작합니다. 우리 접근법의 핵심은 무한 예산 다수결 투표와의 일치도로 정의되는 새로운 측정치인 자기 일관성 비율입니다. 이 공식화를 통해 샘플 효율적인 테스트 타임 할당이 이론적 근거를 갖추고 엄밀한 분석이 가능해집니다. 우리는 오프라인과 온라인 설정을 모두 연구합니다. 모든 질문이 사전에 알려진 오프라인 영역에서는 추론 궤적을 작업자로 모델링함으로써 궤적 할당을 고전적이고 잘 발달된 분야인 크라우드소싱과 연결합니다. 이러한 관점을 통해 기존의 풍부한 이론을 활용하여 이론적 보장과 효율적인 다수결 기반 할당 알고리즘을 도출할 수 있습니다. 질문이 순차적으로 도착하고 할당을 즉시 수행해야 하는 온라인 스트리밍 영역에서는 오프라인 프레임워크에서 영감을 받은 새로운 방법을 제안합니다. 우리의 접근법은 강력한 이론적 보장과 계산 효율성을 유지하면서 질문 난이도에 따라 예산을 적응적으로 조정합니다. 실험 결과 PETS는 균일 할당을 지속적으로 능가하는 것으로 나타났습니다. GPQA에서 PETS는 두 설정 모두에서 완벽한 자기 일관성을 달성하면서 균일 할당 대비 샘플링 예산을 오프라인 최대 75%, 온라인 55%까지 절감했습니다. 코드는 https://github.com/ZDCSlab/PETS에서 이용할 수 있습니다.

English

Test-time scaling can improve model performance by aggregating stochastic reasoning trajectories. However, achieving sample-efficient test-time self-consistency under a limited budget remains an open challenge. We introduce PETS (Principled and Efficient Test-TimeSelf-Consistency), which initiates a principled study of trajectory allocation through an optimization framework. Central to our approach is the self-consistency rate, a new measure defined as agreement with the infinite-budget majority vote. This formulation makes sample-efficient test-time allocation theoretically grounded and amenable to rigorous analysis. We study both offline and online settings. In the offline regime, where all questions are known in advance, we connect trajectory allocation to crowdsourcing, a classic and well-developed area, by modeling reasoning traces as workers. This perspective allows us to leverage rich existing theory, yielding theoretical guarantees and an efficient majority-voting-based allocation algorithm. In the online streaming regime, where questions arrive sequentially and allocations must be made on the fly, we propose a novel method inspired by the offline framework. Our approach adapts budgets to question difficulty while preserving strong theoretical guarantees and computational efficiency. Experiments show that PETS consistently outperforms uniform allocation. On GPQA, PETS achieves perfect self-consistency in both settings while reducing the sampling budget by up to 75% (offline) and 55% (online) relative to uniform allocation. Code is available at https://github.com/ZDCSlab/PETS.

PETS: 효율적인 테스트 타임 자기 일관성을 위한 최적 궤적 할당 원리 기반 프레임워크

PETS: A Principled Framework Towards Optimal Trajectory Allocation for Efficient Test-Time Self-Consistency

초록

Support