Plan de Estudios de Rompecabezas GRPO para el Razonamiento Centrado en la Visión
Puzzle Curriculum GRPO for Vision-Centric Reasoning
December 16, 2025
Autores: Ahmadreza Jeddi, Hakki Can Karaimer, Hue Nguyen, Zhongling Wang, Ke Zhao, Javad Rajabi, Ran Zhang, Raghav Goyal, Babak Taati, Radek Grzeszczuk
cs.AI
Resumen
Los enfoques recientes de aprendizaje por refuerzo (RL) como GRPO supervisado por resultados han avanzado en el razonamiento de cadena de pensamiento en Modelos de Lenguaje Visual (VLMs), pero persisten problemas clave: (i) dependencia de anotaciones manuales costosas y ruidosas o de verificadores externos; (ii) esquemas de recompensa planos y dispersos en GRPO; y (iii) inconsistencia lógica entre el razonamiento de una cadena y su respuesta final. Presentamos Puzzle Curriculum GRPO (PC-GRPO), una receta sin supervisión para RL con Recompensas Verificables (RLVR) que fortalece el razonamiento visual en VLMs sin anotaciones ni verificadores externos. PC-GRPO reemplaza las etiquetas con tres entornos de rompecabezas auto-supervisados: PatchFit, Rotación (con recompensas binarias) y Rompecabezas (con crédito parcial graduado que mitiga la dispersión de recompensas). Para contrarrestar las recompensas planas y las ventajas grupales-relativas que se desvanecen, introducimos un currículo consciente de la dificultad que pondera dinámicamente las muestras y alcanza su punto máximo en dificultad media. Además, monitoreamos la Consistencia Razonamiento-Respuesta (RAC) durante el post-entrenamiento: reflejando informes de GRPO estándar en LLMs, la RAC típicamente aumenta al principio y luego se degrada; nuestro currículo retrasa esta disminución, y los esquemas de recompensa que refuerzan la consistencia aumentan aún más la RAC. La RAC se correlaciona con la precisión en tareas posteriores. En diversos benchmarks y utilizando arquitecturas Qwen-7B y Qwen-3B, PC-GRPO mejora la calidad del razonamiento, la estabilidad del entrenamiento y la precisión en la tarea final, ofreciendo un camino práctico hacia un post-entrenamiento de RL escalable, verificable e interpretable para VLMs.
English
Recent reinforcement learning (RL) approaches like outcome-supervised GRPO have advanced chain-of-thought reasoning in Vision Language Models (VLMs), yet key issues linger: (i) reliance on costly and noisy hand-curated annotations or external verifiers; (ii) flat and sparse reward schemes in GRPO; and (iii) logical inconsistency between a chain's reasoning and its final answer. We present Puzzle Curriculum GRPO (PC-GRPO), a supervision-free recipe for RL with Verifiable Rewards (RLVR) that strengthens visual reasoning in VLMs without annotations or external verifiers. PC-GRPO replaces labels with three self-supervised puzzle environments: PatchFit, Rotation (with binary rewards) and Jigsaw (with graded partial credit mitigating reward sparsity). To counter flat rewards and vanishing group-relative advantages, we introduce a difficulty-aware curriculum that dynamically weights samples and peaks at medium difficulty. We further monitor Reasoning-Answer Consistency (RAC) during post-training: mirroring reports for vanilla GRPO in LLMs, RAC typically rises early then degrades; our curriculum delays this decline, and consistency-enforcing reward schemes further boost RAC. RAC correlates with downstream accuracy. Across diverse benchmarks and on Qwen-7B and Qwen-3B backbones, PC-GRPO improves reasoning quality, training stability, and end-task accuracy, offering a practical path to scalable, verifiable, and interpretable RL post-training for VLMs.