REVES: 수정(REvision) 및 검증(VErification) - 테스트 시간 스케일링을 위한 증강 훈련

초록

테스트 시간 스케일링을 순차적 수정을 통해 구현하는 방식은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 패러다임으로 부상했다. 그러나 기존의 사후 학습 방법은 주로 단일 목표를 최적화하도록 설계되어 있어, 다단계 추론 동역학과 근본적인 부정합을 초래한다. 최근 연구는 이 문제를 다회차 강화 학습(RL)으로 다루고 있지만, 기존 접근법은 다단계 궤적을 직접 최적화함으로써 모델이 교정 과정에서 학습할 수 있는 중간 단계의 고품질 오류를 충분히 활용하지 못한다. 본 논문에서는 온라인 데이터/프롬프트 증강과 정책 최적화를 번갈아 수행하는 2단계 반복 프레임워크를 제안한다. 성공적인 회복 궤적 내 중간 단계('근접 실패' 답변)를 분리된 수정 및 검증 프롬프트로 변환함으로써, 제안 방법은 효과적인 답변 변환과 오류 식별에 훈련을 집중시킨다. 이 접근법은 효율적인 오프 정책 데이터 생성을 가능하게 하며, 표준 다회차 RL에 비해 장기 샘플링의 계산 부담을 줄인다. LiveCodeBench에서 공개적으로 사용 가능한 테스트 케이스를 피드백으로 활용한 결과, RL 기준선 대비 +6.5점, 표준 다회차 훈련 대비 +4.0점의 성능 향상을 관찰했다. 코드 작성 외에도, 원 포장 문제에서 가장 작은 기본 모델(4B)을 사용하면서도 훨씬 더 큰 진화 탐색 시스템보다 훨씬 적은 롤아웃으로 이전에 보고된 최고 성능(SOTA)과 일치하는 결과를 얻었다. 실측 검증 하의 수학 결과는 개선된 수정 능력을 추가로 확인시켜 준다. 또한, 올바름이 전적으로 문제 제약 조건에 의해 정의되는 분포 외 제약 조건 만족 퍼즐(n-퀸 및 미니 스도쿠 등)에 대해서도 일반화된다. 코드는 https://github.com/yxliu02/REVES.git에서 확인할 수 있다.

English

Test-time scaling via sequential revision has emerged as a powerful paradigm for enhancing Large Language Model (LLM) reasoning. However, standard post-training methods primarily optimize single-shot objectives, creating a fundamental misalignment with multi-step inference dynamics. While recent work treats this as multi-turn reinforcement learning (RL), conventional approaches optimize over the multi-step trajectories directly, failing to further exploit the high-quality mistakes in intermediate steps that model can learn from correcting them. We propose a two-stage iterative framework that alternates between online data/prompt augmentation and policy optimization. By converting the intermediate steps (``near-miss'' answers) in the successful recovery trajectories into decoupled revision and verification prompts, our approach concentrates training on both effective answer transformation and error identification. This approach enables efficient off-policy data generation and reduces the computational overhead of long-horizon sampling compared to standard multi-turn RL. On LiveCodeBench, using publicly available test cases as feedback, we observe gains of +6.5 points over the RL baseline and +4.0 points over standard multi-turn training. Beyond coding, our approach matches the previously reported SOTA result on circle packing while using the smallest base model (4B) and far fewer rollouts than the much larger evolutionary search systems. Math results under ground-truth verification further confirm improved correction ability. It also generalizes to out-of-distribution constraint-satisfaction puzzles such as n\_queens and mini\_sudoku, where correctness is defined entirely by problem constraints. Code is available at https://github.com/yxliu02/REVES.git.