Visuele Puzzel Post-Training Verbeterd MLLMs

Samenvatting

Reinforcement learning gebaseerd op post-training is recentelijk naar voren gekomen als een krachtig paradigma voor het verbeteren van de uitlijning en redeneervaardigheden van multimodale grote taalmodellen (MLLMs). Hoewel visie-gerichte post-training cruciaal is voor het versterken van het intrinsieke begrip van visuele signalen door MLLMs, zijn de huidige post-trainingsparadigma's voornamelijk tekst-gericht, waarbij dichte visuele inputs alleen worden gebruikt om schaarse aanwijzingen te extraheren voor tekstgebaseerd redeneren. Er bestaan enkele benaderingen in deze richting, maar deze vertrouwen vaak nog steeds op tekst als een tussenliggende bemiddelaar of introduceren aanvullende visuele generatieve ontwerpen. In dit werk introduceren we Visual Jigsaw, een generiek zelf-gesuperviseerd post-trainingsraamwerk ontworpen om het visuele begrip in MLLMs te versterken. Visual Jigsaw is geformuleerd als een algemene ordeningstaak: visuele inputs worden opgedeeld, geschud, en het model moet de visuele informatie reconstrueren door de juiste permutatie in natuurlijke taal te produceren. Dit sluit natuurlijk aan bij reinforcement learning vanuit verifieerbare beloningen (RLVR), vereist geen aanvullende visuele generatieve componenten, en haalt zijn superviserende signaal automatisch op zonder enige annotaties. We concretiseren Visual Jigsaw over drie visuele modaliteiten, waaronder afbeeldingen, video's en 3D-data. Uitgebreide experimenten tonen substantiële verbeteringen in fijnmazige perceptie, temporeel redeneren en 3D-ruimtelijk begrip. Onze bevindingen benadrukken het potentieel van zelf-gesuperviseerde visie-gerichte taken in post-training van MLLMs en streven ernaar om verder onderzoek naar visie-gerichte pretext-ontwerpen te inspireren. Projectpagina: https://penghao-wu.github.io/visual_jigsaw/

English

Reinforcement learning based post-training has recently emerged as a powerful paradigm for enhancing the alignment and reasoning capabilities of multimodal large language models (MLLMs). While vision-centric post-training is crucial for enhancing MLLMs' intrinsic understanding of visual signals, current post-training paradigms are predominantly text-centric, where dense visual inputs are only leveraged to extract sparse cues for text-based reasoning. There exist a few approaches in this direction, however, they often still rely on text as an intermediate mediator or introduce additional visual generative designs. In this work, we introduce Visual Jigsaw, a generic self-supervised post-training framework designed to strengthen visual understanding in MLLMs. Visual Jigsaw is formulated as a general ordering task: visual inputs are partitioned, shuffled, and the model must reconstruct the visual information by producing the correct permutation in natural language. This naturally aligns with reinforcement learning from verifiable rewards (RLVR), requires no additional visual generative components, and derives its supervisory signal automatically without any annotations. We instantiate Visual Jigsaw across three visual modalities, including images, videos, and 3D data. Extensive experiments demonstrate substantial improvements in fine-grained perception, temporal reasoning, and 3D spatial understanding. Our findings highlight the potential of self-supervised vision-centric tasks in post-training MLLMs and aim to inspire further research on vision-centric pretext designs. Project Page: https://penghao-wu.github.io/visual_jigsaw/

Visuele Puzzel Post-Training Verbeterd MLLMs

Visual Jigsaw Post-Training Improves MLLMs

Samenvatting

Support