Когда модели судят сами себя: неконтролируемая самоэволюция для мультимодального мышления
When Models Judge Themselves: Unsupervised Self-Evolution for Multimodal Reasoning
March 22, 2026
Авторы: Zhengxian Wu, Kai Shi, Chuanrui Zhang, Zirui Liao, Jun Yang, Ni Yang, Qiuying Peng, Luyuan Zhang, Hangrui Xu, Tianhuang Su, Zhenyu Yang, Haonan Lu, Haoqian Wang
cs.AI
Аннотация
Недавние успехи в области мультимодальных больших языковых моделей привели к значительному прогрессу в решении задач логического вывода, однако эти улучшения в значительной степени опираются на размеченные данные высокого качества или дистилляцию от моделей-учителей, что является дорогостоящим и сложно масштабируемым. Для решения этой проблемы мы предлагаем фреймворк неконтролируемого самообучения для мультимодального логического вывода, который обеспечивает стабильное улучшение производительности без использования размеченных человеком ответов или внешних моделей вознаграждения. Для каждого входа мы семплируем несколько траекторий рассуждений и совместно моделируем их внутригрупповую структуру. Мы используем сигнал самосогласованности Актора в качестве априорного знания для обучения и вводим ограниченную модуляцию на основе Судьи для непрерывного перевзвешивания траекторий разного качества. Далее мы моделируем модулированные оценки как распределение на групповом уровне и преобразуем абсолютные оценки в относительные преимущества внутри каждой группы, что позволяет осуществлять более устойчивые обновления политики. Обученная с помощью Оптимизации Групповой Относительной Политики (GRPO) на немаркированных данных, наша методика последовательно улучшает качество логического вывода и способность к обобщению на пяти эталонных наборах данных для математических рассуждений, предлагая масштабируемый путь к саморазвивающимся мультимодальным моделям. Код доступен по адресу https://github.com/OPPO-Mente-Lab/LLM-Self-Judge.
English
Recent progress in multimodal large language models has led to strong performance on reasoning tasks, but these improvements largely rely on high-quality annotated data or teacher-model distillation, both of which are costly and difficult to scale. To address this, we propose an unsupervised self-evolution training framework for multimodal reasoning that achieves stable performance improvements without using human-annotated answers or external reward models. For each input, we sample multiple reasoning trajectories and jointly model their within group structure. We use the Actor's self-consistency signal as a training prior, and introduce a bounded Judge based modulation to continuously reweight trajectories of different quality. We further model the modulated scores as a group level distribution and convert absolute scores into relative advantages within each group, enabling more robust policy updates. Trained with Group Relative Policy Optimization (GRPO) on unlabeled data, our method consistently improves reasoning performance and generalization on five mathematical reasoning benchmarks, offering a scalable path toward self-evolving multimodal models. The code are available at https://github.com/OPPO-Mente-Lab/LLM-Self-Judge.