Visuelles Puzzle-Training nach der Schulung verbessert MLLMs

papers.abstract

Reinforcement-Learning-basierte Nachschulung hat sich kürzlich als leistungsstarkes Paradigma zur Verbesserung der Ausrichtung und der Fähigkeiten zum logischen Schlussfolgern von multimodalen großen Sprachmodellen (MLLMs) etabliert. Während visionzentrierte Nachschulung entscheidend ist, um das intrinsische Verständnis von visuellen Signalen in MLLMs zu verbessern, sind aktuelle Nachschulungsparadigmen überwiegend textzentriert, bei denen dichte visuelle Eingaben nur genutzt werden, um spärliche Hinweise für textbasiertes Schlussfolgern zu extrahieren. Es gibt zwar einige Ansätze in diese Richtung, jedoch stützen sie sich oft noch auf Text als vermittelndes Zwischenglied oder führen zusätzliche visuelle generative Designs ein. In dieser Arbeit stellen wir Visual Jigsaw vor, ein generisches, selbstüberwachtes Nachschulungsframework, das entwickelt wurde, um das visuelle Verständnis in MLLMs zu stärken. Visual Jigsaw wird als allgemeine Sortieraufgabe formuliert: Visuelle Eingaben werden partitioniert, gemischt, und das Modell muss die visuellen Informationen rekonstruieren, indem es die korrekte Permutation in natürlicher Sprache erzeugt. Dies passt natürlich zu Reinforcement Learning aus überprüfbaren Belohnungen (RLVR), erfordert keine zusätzlichen visuellen generativen Komponenten und leitet sein Überwachungssignal automatisch ohne jegliche Annotationen ab. Wir implementieren Visual Jigsaw über drei visuelle Modalitäten, einschließlich Bildern, Videos und 3D-Daten. Umfangreiche Experimente zeigen erhebliche Verbesserungen in der feinkörnigen Wahrnehmung, dem zeitlichen Schlussfolgern und dem räumlichen 3D-Verständnis. Unsere Ergebnisse unterstreichen das Potenzial selbstüberwachter, visionzentrierter Aufgaben in der Nachschulung von MLLMs und sollen weitere Forschung zu visionzentrierten Vorwanddesigns inspirieren. Projektseite: https://penghao-wu.github.io/visual_jigsaw/

English

Reinforcement learning based post-training has recently emerged as a powerful paradigm for enhancing the alignment and reasoning capabilities of multimodal large language models (MLLMs). While vision-centric post-training is crucial for enhancing MLLMs' intrinsic understanding of visual signals, current post-training paradigms are predominantly text-centric, where dense visual inputs are only leveraged to extract sparse cues for text-based reasoning. There exist a few approaches in this direction, however, they often still rely on text as an intermediate mediator or introduce additional visual generative designs. In this work, we introduce Visual Jigsaw, a generic self-supervised post-training framework designed to strengthen visual understanding in MLLMs. Visual Jigsaw is formulated as a general ordering task: visual inputs are partitioned, shuffled, and the model must reconstruct the visual information by producing the correct permutation in natural language. This naturally aligns with reinforcement learning from verifiable rewards (RLVR), requires no additional visual generative components, and derives its supervisory signal automatically without any annotations. We instantiate Visual Jigsaw across three visual modalities, including images, videos, and 3D data. Extensive experiments demonstrate substantial improvements in fine-grained perception, temporal reasoning, and 3D spatial understanding. Our findings highlight the potential of self-supervised vision-centric tasks in post-training MLLMs and aim to inspire further research on vision-centric pretext designs. Project Page: https://penghao-wu.github.io/visual_jigsaw/

Visuelles Puzzle-Training nach der Schulung verbessert MLLMs

Visual Jigsaw Post-Training Improves MLLMs

papers.abstract

Support