Puzzle-Curriculum GRPO für visuell-zentriertes Denken
Puzzle Curriculum GRPO for Vision-Centric Reasoning
December 16, 2025
papers.authors: Ahmadreza Jeddi, Hakki Can Karaimer, Hue Nguyen, Zhongling Wang, Ke Zhao, Javad Rajabi, Ran Zhang, Raghav Goyal, Babak Taati, Radek Grzeszczuk
cs.AI
papers.abstract
Aktuelle Reinforcement-Learning (RL)-Ansätze wie das auf Ergebnisse überwachte GRPO haben das Chain-of-Thought-Reasoning in Vision-Language-Models (VLMs) vorangetrieben, doch bestehen zentrale Probleme fort: (i) die Abhängigkeit von kostspieligen und verrauschten, manuell erstellten Annotationen oder externen Verifizierern; (ii) flache und spärliche Belohnungsschemata in GRPO; und (iii) die logische Inkonsistenz zwischen der Begründungskette und ihrer endgültigen Antwort. Wir stellen Puzzle Curriculum GRPO (PC-GRPO) vor, ein aufsichtsfreies Verfahren für RL mit verifizierbaren Belohnungen (RLVR), das das visuelle Reasoning in VLMs ohne Annotationen oder externe Verifizierer stärkt. PC-GRPO ersetzt Labels durch drei selbstüberwachte Puzzle-Umgebungen: PatchFit, Rotation (mit binären Belohnungen) und Jigsaw (mit abgestufter Teilpunktevergabe, die die Belohnungssparsamkeit mildert). Um flachen Belohnungen und schwindenden gruppenrelativen Vorteilen entgegenzuwirken, führen wir einen schwierigkeitsbasierten Lehrplan ein, der Proben dynamisch gewichtet und bei mittlerer Schwierigkeit kulminiert. Weiterhin überwachen wir die Reasoning-Antwort-Konsistenz (RAC) während des Post-Trainings: In Übereinstimmung mit Berichten zu Standard-GRPO in LLMs steigt die RAC typischerweise zunächst an, um dann abzufallen; unser Lehrplan verzögert diesen Abfall, und konsistenzerzwingende Belohnungsschemata steigern die RAC weiter. Die RAC korreliert mit der Downstream-Genauigkeit. Über diverse Benchmarks hinweg und auf Qwen-7B- und Qwen-3B-Backbones verbessert PC-GRPO die Reasoning-Qualität, die Trainingsstabilität und die Endaufgabengenauigkeit und bietet damit einen praktischen Weg zu skalierbarem, verifizierbarem und interpretierbarem RL-Post-Training für VLMs.
English
Recent reinforcement learning (RL) approaches like outcome-supervised GRPO have advanced chain-of-thought reasoning in Vision Language Models (VLMs), yet key issues linger: (i) reliance on costly and noisy hand-curated annotations or external verifiers; (ii) flat and sparse reward schemes in GRPO; and (iii) logical inconsistency between a chain's reasoning and its final answer. We present Puzzle Curriculum GRPO (PC-GRPO), a supervision-free recipe for RL with Verifiable Rewards (RLVR) that strengthens visual reasoning in VLMs without annotations or external verifiers. PC-GRPO replaces labels with three self-supervised puzzle environments: PatchFit, Rotation (with binary rewards) and Jigsaw (with graded partial credit mitigating reward sparsity). To counter flat rewards and vanishing group-relative advantages, we introduce a difficulty-aware curriculum that dynamically weights samples and peaks at medium difficulty. We further monitor Reasoning-Answer Consistency (RAC) during post-training: mirroring reports for vanilla GRPO in LLMs, RAC typically rises early then degrades; our curriculum delays this decline, and consistency-enforcing reward schemes further boost RAC. RAC correlates with downstream accuracy. Across diverse benchmarks and on Qwen-7B and Qwen-3B backbones, PC-GRPO improves reasoning quality, training stability, and end-task accuracy, offering a practical path to scalable, verifiable, and interpretable RL post-training for VLMs.