Quand les modèles s'auto-évaluent : auto-évolution non supervisée pour le raisonnement multimodal
When Models Judge Themselves: Unsupervised Self-Evolution for Multimodal Reasoning
March 22, 2026
Auteurs: Zhengxian Wu, Kai Shi, Chuanrui Zhang, Zirui Liao, Jun Yang, Ni Yang, Qiuying Peng, Luyuan Zhang, Hangrui Xu, Tianhuang Su, Zhenyu Yang, Haonan Lu, Haoqian Wang
cs.AI
Résumé
Les progrès récents des modèles de langage multimodaux ont conduit à des performances solides sur les tâches de raisonnement, mais ces améliorations reposent largement sur des données annotées de haute qualité ou sur la distillation de modèles enseignants, deux approches coûteuses et difficiles à mettre à l'échelle. Pour remédier à cela, nous proposons un cadre d'entraînement par auto-évolution non supervisé pour le raisonnement multimodal, qui obtient des améliorations stables de performance sans utiliser de réponses annotées manuellement ni de modèles de récompense externes. Pour chaque entrée, nous échantillonnons plusieurs trajectoires de raisonnement et modélisons conjointement leur structure au sein du groupe. Nous utilisons le signal d'auto-cohérence de l'Acteur comme préalable d'entraînement, et introduisons une modulation par un Juge borné pour repondérer continuellement les trajectoires de qualité différente. Nous modélisons ensuite les scores modulés comme une distribution au niveau du groupe et convertissons les scores absolus en avantages relatifs au sein de chaque groupe, permettant des mises à jour de politique plus robustes. Entraînée par Optimisation de Politique Relative de Groupe (GRPO) sur des données non étiquetées, notre méthode améliore constamment les performances de raisonnement et la généralisation sur cinq benchmarks de raisonnement mathématique, offrant une voie évolutive vers des modèles multimodaux auto-évolutifs. Le code est disponible à l'adresse https://github.com/OPPO-Mente-Lab/LLM-Self-Judge.
English
Recent progress in multimodal large language models has led to strong performance on reasoning tasks, but these improvements largely rely on high-quality annotated data or teacher-model distillation, both of which are costly and difficult to scale. To address this, we propose an unsupervised self-evolution training framework for multimodal reasoning that achieves stable performance improvements without using human-annotated answers or external reward models. For each input, we sample multiple reasoning trajectories and jointly model their within group structure. We use the Actor's self-consistency signal as a training prior, and introduce a bounded Judge based modulation to continuously reweight trajectories of different quality. We further model the modulated scores as a group level distribution and convert absolute scores into relative advantages within each group, enabling more robust policy updates. Trained with Group Relative Policy Optimization (GRPO) on unlabeled data, our method consistently improves reasoning performance and generalization on five mathematical reasoning benchmarks, offering a scalable path toward self-evolving multimodal models. The code are available at https://github.com/OPPO-Mente-Lab/LLM-Self-Judge.