Il Post-Addestramento con Visual Jigsaw Migliora i MLLM

Visual Jigsaw Post-Training Improves MLLMs

September 29, 2025

Autori: Penghao Wu, Yushan Zhang, Haiwen Diao, Bo Li, Lewei Lu, Ziwei Liu

cs.AI

Abstract

Il post-addestramento basato sul reinforcement learning è emerso recentemente come un paradigma potente per migliorare le capacità di allineamento e ragionamento dei modelli linguistici multimodali di grandi dimensioni (MLLM). Sebbene il post-addestramento incentrato sulla visione sia cruciale per migliorare la comprensione intrinseca dei segnali visivi da parte degli MLLM, gli attuali paradigmi di post-addestramento sono prevalentemente incentrati sul testo, dove gli input visivi densi vengono sfruttati solo per estrarre indizi sparsi per il ragionamento basato su testo. Esistono alcuni approcci in questa direzione, tuttavia, spesso si basano ancora sul testo come mediatore intermedio o introducono ulteriori componenti generativi visivi. In questo lavoro, presentiamo Visual Jigsaw, un framework generico di post-addestramento auto-supervisionato progettato per rafforzare la comprensione visiva negli MLLM. Visual Jigsaw è formulato come un compito generale di ordinamento: gli input visivi vengono suddivisi, mescolati e il modello deve ricostruire le informazioni visive producendo la permutazione corretta in linguaggio naturale. Questo si allinea naturalmente con il reinforcement learning da ricompense verificabili (RLVR), non richiede componenti generativi visivi aggiuntivi e deriva il suo segnale di supervisione automaticamente senza alcuna annotazione. Istanziamo Visual Jigsaw su tre modalità visive, tra cui immagini, video e dati 3D. Esperimenti estensivi dimostrano miglioramenti sostanziali nella percezione fine, nel ragionamento temporale e nella comprensione spaziale 3D. I nostri risultati evidenziano il potenziale dei compiti auto-supervisionati incentrati sulla visione nel post-addestramento degli MLLM e mirano a ispirare ulteriori ricerche sui design di pre-testo incentrati sulla visione. Pagina del progetto: https://penghao-wu.github.io/visual_jigsaw/

English

Reinforcement learning based post-training has recently emerged as a powerful paradigm for enhancing the alignment and reasoning capabilities of multimodal large language models (MLLMs). While vision-centric post-training is crucial for enhancing MLLMs' intrinsic understanding of visual signals, current post-training paradigms are predominantly text-centric, where dense visual inputs are only leveraged to extract sparse cues for text-based reasoning. There exist a few approaches in this direction, however, they often still rely on text as an intermediate mediator or introduce additional visual generative designs. In this work, we introduce Visual Jigsaw, a generic self-supervised post-training framework designed to strengthen visual understanding in MLLMs. Visual Jigsaw is formulated as a general ordering task: visual inputs are partitioned, shuffled, and the model must reconstruct the visual information by producing the correct permutation in natural language. This naturally aligns with reinforcement learning from verifiable rewards (RLVR), requires no additional visual generative components, and derives its supervisory signal automatically without any annotations. We instantiate Visual Jigsaw across three visual modalities, including images, videos, and 3D data. Extensive experiments demonstrate substantial improvements in fine-grained perception, temporal reasoning, and 3D spatial understanding. Our findings highlight the potential of self-supervised vision-centric tasks in post-training MLLMs and aim to inspire further research on vision-centric pretext designs. Project Page: https://penghao-wu.github.io/visual_jigsaw/