Wanneer Modellen Zichzelf Beoordelen: Onbewaakte Zelfevolutie voor Multimodale Redenering
When Models Judge Themselves: Unsupervised Self-Evolution for Multimodal Reasoning
March 22, 2026
Auteurs: Zhengxian Wu, Kai Shi, Chuanrui Zhang, Zirui Liao, Jun Yang, Ni Yang, Qiuying Peng, Luyuan Zhang, Hangrui Xu, Tianhuang Su, Zhenyu Yang, Haonan Lu, Haoqian Wang
cs.AI
Samenvatting
Recente vooruitgang in multimodale grote taalmodellen heeft geleid tot sterke prestaties bij redeneertaken, maar deze verbeteringen zijn grotendeels afhankelijk van hoogwaardige geannoteerde data of distillatie van leraarmodellen, beide kostbaar en moeilijk op te schalen. Om dit aan te pakken, stellen we een onbewaakt zelf-evolutie trainingsraamwerk voor voor multimodaal redeneren dat stabiele prestatieverbeteringen bereikt zonder gebruik te maken van door mensen geannoteerde antwoorden of externe beloningsmodellen. Voor elke invoer bemonsteren we meerdere redeneertrajecten en modelleren gezamenlijk hun structuur binnen de groep. We gebruiken de zelfconsistentie van de Actor als een trainingsprior en introduceren een gemoduleerde modulatie op basis van een begrensde Judge om trajecten van verschillende kwaliteit continu opnieuw te wegen. We modelleren de gemoduleerde scores verder als een distributie op groepsniveau en zetten absolute scores om in relatieve voordelen binnen elke groep, wat robuustere beleidsupdates mogelijk maakt. Getraind met Group Relative Policy Optimization (GRPO) op ongelabelde data, verbetert onze methode consistent de redeneerprestaties en generalisatie op vijf wiskundige redeneerbenchmarks, en biedt zo een schaalbare weg naar zelf-evoluerende multimodale modellen. De code is beschikbaar op https://github.com/OPPO-Mente-Lab/LLM-Self-Judge.
English
Recent progress in multimodal large language models has led to strong performance on reasoning tasks, but these improvements largely rely on high-quality annotated data or teacher-model distillation, both of which are costly and difficult to scale. To address this, we propose an unsupervised self-evolution training framework for multimodal reasoning that achieves stable performance improvements without using human-annotated answers or external reward models. For each input, we sample multiple reasoning trajectories and jointly model their within group structure. We use the Actor's self-consistency signal as a training prior, and introduce a bounded Judge based modulation to continuously reweight trajectories of different quality. We further model the modulated scores as a group level distribution and convert absolute scores into relative advantages within each group, enabling more robust policy updates. Trained with Group Relative Policy Optimization (GRPO) on unlabeled data, our method consistently improves reasoning performance and generalization on five mathematical reasoning benchmarks, offering a scalable path toward self-evolving multimodal models. The code are available at https://github.com/OPPO-Mente-Lab/LLM-Self-Judge.