Jigsaw-R1 : Une étude sur l'apprentissage par renforcement visuel basé sur des règles avec des puzzles de type casse-tête

Jigsaw-R1: A Study of Rule-based Visual Reinforcement Learning with Jigsaw Puzzles

May 29, 2025

Auteurs: Zifu Wang, Junyi Zhu, Bo Tang, Zhiyu Li, Feiyu Xiong, Jiaqian Yu, Matthew B. Blaschko

cs.AI

Résumé

L'application de l'apprentissage par renforcement basé sur des règles (RL) aux modèles de langage multimodaux de grande taille (MLLMs) introduit des défis uniques et des écarts potentiels par rapport aux résultats observés dans les domaines textuels uniquement, en particulier pour les tâches fortement axées sur la perception. Cet article propose une étude approfondie du RL visuel basé sur des règles, en utilisant les puzzles comme cadre expérimental structuré. Les puzzles offrent une vérité terrain inhérente, une difficulté ajustable et nécessitent une prise de décision complexe, ce qui les rend idéaux pour cette étude. Nos recherches révèlent plusieurs conclusions clés : Premièrement, nous constatons que les MLLMs, qui initialement performent proches du hasard sur les puzzles les plus simples, atteignent une précision quasi parfaite et généralisent à des configurations complexes et inédites grâce à un ajustement fin. Deuxièmement, l'entraînement sur des puzzles peut induire une généralisation à d'autres tâches visuelles, avec une efficacité liée à des configurations spécifiques de tâches. Troisièmement, les MLLMs peuvent apprendre et généraliser avec ou sans raisonnement explicite, bien que les modèles open-source privilégient souvent des réponses directes. Par conséquent, même lorsqu'ils sont entraînés pour un raisonnement étape par étape, ils peuvent ignorer le processus de réflexion dans l'obtention de la réponse finale. Quatrièmement, nous observons que les schémas de raisonnement complexes semblent préexistants plutôt qu'émergents, avec leur fréquence augmentant parallèlement à l'entraînement et à la difficulté de la tâche. Enfin, nos résultats démontrent que le RL présente une généralisation plus efficace que l'ajustement fin supervisé (SFT), et qu'une phase initiale de démarrage à froid par SFT peut entraver l'optimisation ultérieure du RL. Bien que ces observations soient basées sur des puzzles et puissent varier selon d'autres tâches visuelles, cette recherche apporte une pièce précieuse au puzzle plus large de la compréhension collective du RL visuel basé sur des règles et de son potentiel dans l'apprentissage multimodal. Le code est disponible à l'adresse : https://github.com/zifuwanggg/Jigsaw-R1.

English

The application of rule-based reinforcement learning (RL) to multimodal large language models (MLLMs) introduces unique challenges and potential deviations from findings in text-only domains, particularly for perception-heavy tasks. This paper provides a comprehensive study of rule-based visual RL, using jigsaw puzzles as a structured experimental framework. Jigsaw puzzles offer inherent ground truth, adjustable difficulty, and demand complex decision-making, making them ideal for this study. Our research reveals several key findings: Firstly, we find that MLLMs, initially performing near to random guessing on the simplest jigsaw puzzles, achieve near-perfect accuracy and generalize to complex, unseen configurations through fine-tuning. Secondly, training on jigsaw puzzles can induce generalization to other visual tasks, with effectiveness tied to specific task configurations. Thirdly, MLLMs can learn and generalize with or without explicit reasoning, though open-source models often favor direct answering. Consequently, even when trained for step-by-step reasoning, they can ignore the thinking process in deriving the final answer. Fourthly, we observe that complex reasoning patterns appear to be pre-existing rather than emergent, with their frequency increasing alongside training and task difficulty. Finally, our results demonstrate that RL exhibits more effective generalization than Supervised Fine-Tuning (SFT), and an initial SFT cold start phase can hinder subsequent RL optimization. Although these observations are based on jigsaw puzzles and may vary across other visual tasks, this research contributes a valuable piece of jigsaw to the larger puzzle of collective understanding rule-based visual RL and its potential in multimodal learning. The code is available at: https://github.com/zifuwanggg/Jigsaw-R1.