Визуальный пазл после обучения улучшает MLLM.

Аннотация

Обучение с подкреплением в посттренинге недавно стало мощной парадигмой для улучшения согласованности и способностей к рассуждению мультимодальных больших языковых моделей (MLLMs). Хотя посттренинг, ориентированный на визуальные данные, крайне важен для улучшения внутреннего понимания MLLMs визуальных сигналов, текущие подходы к посттренингу преимущественно текстоцентричны, где плотные визуальные входные данные используются только для извлечения редких подсказок для текстового рассуждения. Существует несколько подходов в этом направлении, однако они часто по-прежнему полагаются на текст как промежуточный посредник или вводят дополнительные визуально-генеративные компоненты. В данной работе мы представляем Visual Jigsaw — универсальную самообучаемую посттренинговую структуру, предназначенную для усиления визуального понимания в MLLMs. Visual Jigsaw формулируется как общая задача упорядочивания: визуальные входные данные разделяются, перемешиваются, и модель должна восстановить визуальную информацию, создавая правильную перестановку на естественном языке. Это естественным образом согласуется с обучением с подкреплением на основе проверяемых наград (RLVR), не требует дополнительных визуально-генеративных компонентов и автоматически извлекает сигналы для обучения без каких-либо аннотаций. Мы реализуем Visual Jigsaw для трех визуальных модальностей, включая изображения, видео и 3D-данные. Многочисленные эксперименты демонстрируют значительные улучшения в детальном восприятии, временном рассуждении и понимании 3D-пространства. Наши результаты подчеркивают потенциал самообучаемых задач, ориентированных на визуальные данные, в посттренинге MLLMs и призваны вдохновить дальнейшие исследования в области визуально-ориентированных предтекстовых конструкций. Страница проекта: https://penghao-wu.github.io/visual_jigsaw/

English

Reinforcement learning based post-training has recently emerged as a powerful paradigm for enhancing the alignment and reasoning capabilities of multimodal large language models (MLLMs). While vision-centric post-training is crucial for enhancing MLLMs' intrinsic understanding of visual signals, current post-training paradigms are predominantly text-centric, where dense visual inputs are only leveraged to extract sparse cues for text-based reasoning. There exist a few approaches in this direction, however, they often still rely on text as an intermediate mediator or introduce additional visual generative designs. In this work, we introduce Visual Jigsaw, a generic self-supervised post-training framework designed to strengthen visual understanding in MLLMs. Visual Jigsaw is formulated as a general ordering task: visual inputs are partitioned, shuffled, and the model must reconstruct the visual information by producing the correct permutation in natural language. This naturally aligns with reinforcement learning from verifiable rewards (RLVR), requires no additional visual generative components, and derives its supervisory signal automatically without any annotations. We instantiate Visual Jigsaw across three visual modalities, including images, videos, and 3D data. Extensive experiments demonstrate substantial improvements in fine-grained perception, temporal reasoning, and 3D spatial understanding. Our findings highlight the potential of self-supervised vision-centric tasks in post-training MLLMs and aim to inspire further research on vision-centric pretext designs. Project Page: https://penghao-wu.github.io/visual_jigsaw/

Визуальный пазл после обучения улучшает MLLM.

Visual Jigsaw Post-Training Improves MLLMs

Аннотация

Support