Jigsaw-R1: Eine Studie zur regelbasierten visuellen Verstärkungslernmethode mit Jigsaw-Puzzles

Jigsaw-R1: A Study of Rule-based Visual Reinforcement Learning with Jigsaw Puzzles

May 29, 2025

Autoren: Zifu Wang, Junyi Zhu, Bo Tang, Zhiyu Li, Feiyu Xiong, Jiaqian Yu, Matthew B. Blaschko

cs.AI

Zusammenfassung

Die Anwendung regelbasierter Verstärkungslernverfahren (Reinforcement Learning, RL) auf multimodale große Sprachmodelle (Multimodal Large Language Models, MLLMs) stellt einzigartige Herausforderungen dar und kann zu Abweichungen von Erkenntnissen in rein textbasierten Domänen führen, insbesondere bei wahrnehmungsintensiven Aufgaben. Diese Arbeit bietet eine umfassende Studie zu regelbasiertem visuellem RL, wobei Puzzlespiele als strukturierter experimenteller Rahmen verwendet werden. Puzzlespiele bieten inhärente Ground Truth, einstellbare Schwierigkeitsgrade und erfordern komplexe Entscheidungsfindung, was sie ideal für diese Studie macht. Unsere Forschung zeigt mehrere zentrale Erkenntnisse: Erstens stellen wir fest, dass MLLMs, die anfangs bei den einfachsten Puzzlespielen nahezu zufällige Ergebnisse erzielen, durch Feinabstimmung nahezu perfekte Genauigkeit erreichen und sich auf komplexe, unbekannte Konfigurationen verallgemeinern lassen. Zweitens kann das Training an Puzzlespielen eine Verallgemeinerung auf andere visuelle Aufgaben bewirken, wobei die Effektivität an spezifische Aufgabenkonfigurationen gebunden ist. Drittens können MLLMs mit oder ohne explizites Schlussfolgern lernen und verallgemeinern, wobei Open-Source-Modelle oft direkte Antworten bevorzugen. Folglich können sie, selbst wenn sie für schrittweises Schlussfolgern trainiert wurden, den Denkprozess bei der Ableitung der endgültigen Antwort ignorieren. Viertens beobachten wir, dass komplexe Schlussfolgerungsmuster eher vorbestehend als emergent erscheinen, wobei ihre Häufigkeit mit dem Training und der Aufgabenkomplexität zunimmt. Schließlich zeigen unsere Ergebnisse, dass RL eine effektivere Verallgemeinerung als Supervised Fine-Tuning (SFT) aufweist und dass eine anfängliche SFT-Kaltstartphase die nachfolgende RL-Optimierung behindern kann. Obwohl diese Beobachtungen auf Puzzlespiele basieren und bei anderen visuellen Aufgaben variieren können, leistet diese Forschung einen wertvollen Beitrag zum größeren Puzzle des kollektiven Verständnisses regelbasierten visuellen RLs und seines Potenzials im multimodalen Lernen. Der Code ist verfügbar unter: https://github.com/zifuwanggg/Jigsaw-R1.

English

The application of rule-based reinforcement learning (RL) to multimodal large language models (MLLMs) introduces unique challenges and potential deviations from findings in text-only domains, particularly for perception-heavy tasks. This paper provides a comprehensive study of rule-based visual RL, using jigsaw puzzles as a structured experimental framework. Jigsaw puzzles offer inherent ground truth, adjustable difficulty, and demand complex decision-making, making them ideal for this study. Our research reveals several key findings: Firstly, we find that MLLMs, initially performing near to random guessing on the simplest jigsaw puzzles, achieve near-perfect accuracy and generalize to complex, unseen configurations through fine-tuning. Secondly, training on jigsaw puzzles can induce generalization to other visual tasks, with effectiveness tied to specific task configurations. Thirdly, MLLMs can learn and generalize with or without explicit reasoning, though open-source models often favor direct answering. Consequently, even when trained for step-by-step reasoning, they can ignore the thinking process in deriving the final answer. Fourthly, we observe that complex reasoning patterns appear to be pre-existing rather than emergent, with their frequency increasing alongside training and task difficulty. Finally, our results demonstrate that RL exhibits more effective generalization than Supervised Fine-Tuning (SFT), and an initial SFT cold start phase can hinder subsequent RL optimization. Although these observations are based on jigsaw puzzles and may vary across other visual tasks, this research contributes a valuable piece of jigsaw to the larger puzzle of collective understanding rule-based visual RL and its potential in multimodal learning. The code is available at: https://github.com/zifuwanggg/Jigsaw-R1.