REVES: Revisión y Verificación – Entrenamiento Aumentado para Escalado en Tiempo de Prueba

Resumen

El escalado en tiempo de prueba mediante revisión secuencial ha surgido como un paradigma poderoso para mejorar el razonamiento de los Modelos de Lenguaje Grande (LLM). Sin embargo, los métodos estándar de post-entrenamiento optimizan principalmente objetivos de un solo paso, creando un desajuste fundamental con las dinámicas de inferencia de múltiples pasos. Si bien trabajos recientes tratan esto como aprendizaje por refuerzo (RL) de múltiples turnos, los enfoques convencionales optimizan directamente las trayectorias de múltiples pasos sin explotar los errores de alta calidad en los pasos intermedios que el modelo puede aprender al corregirlos. Proponemos un marco iterativo de dos etapas que alterna entre el aumento de datos/instrucciones en línea y la optimización de políticas. Al convertir los pasos intermedios (respuestas de "casi acierto") en las trayectorias de recuperación exitosas en instrucciones de revisión y verificación desacopladas, nuestro enfoque concentra el entrenamiento tanto en la transformación efectiva de respuestas como en la identificación de errores. Este método permite una generación eficiente de datos fuera de política y reduce la sobrecarga computacional del muestreo de horizonte largo en comparación con el RL estándar de múltiples turnos. En LiveCodeBench, utilizando casos de prueba disponibles públicamente como retroalimentación, observamos mejoras de +6.5 puntos sobre la línea base de RL y +4.0 puntos sobre el entrenamiento estándar de múltiples turnos. Más allá de la programación, nuestro enfoque iguala el resultado SOTA previamente reportado en empaquetamiento de círculos, utilizando el modelo base más pequeño (4B) y muchas menos ejecuciones que los sistemas de búsqueda evolutiva mucho más grandes. Los resultados en matemáticas bajo verificación con datos de referencia confirman una mejor capacidad de corrección. También se generaliza a puzzles de satisfacción de restricciones fuera de distribución, como n_reinas y mini_sudoku, donde la corrección se define enteramente por las restricciones del problema. El código está disponible en https://github.com/yxliu02/REVES.git.

English

Test-time scaling via sequential revision has emerged as a powerful paradigm for enhancing Large Language Model (LLM) reasoning. However, standard post-training methods primarily optimize single-shot objectives, creating a fundamental misalignment with multi-step inference dynamics. While recent work treats this as multi-turn reinforcement learning (RL), conventional approaches optimize over the multi-step trajectories directly, failing to further exploit the high-quality mistakes in intermediate steps that model can learn from correcting them. We propose a two-stage iterative framework that alternates between online data/prompt augmentation and policy optimization. By converting the intermediate steps (``near-miss'' answers) in the successful recovery trajectories into decoupled revision and verification prompts, our approach concentrates training on both effective answer transformation and error identification. This approach enables efficient off-policy data generation and reduces the computational overhead of long-horizon sampling compared to standard multi-turn RL. On LiveCodeBench, using publicly available test cases as feedback, we observe gains of +6.5 points over the RL baseline and +4.0 points over standard multi-turn training. Beyond coding, our approach matches the previously reported SOTA result on circle packing while using the smallest base model (4B) and far fewer rollouts than the much larger evolutionary search systems. Math results under ground-truth verification further confirm improved correction ability. It also generalizes to out-of-distribution constraint-satisfaction puzzles such as n\_queens and mini\_sudoku, where correctness is defined entirely by problem constraints. Code is available at https://github.com/yxliu02/REVES.git.