Ripensare l'Ottimizzazione della Politica a Livello di Token per il Ragionamento a Catena Multimodale
Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought
March 24, 2026
Autori: Yunheng Li, Hangyi Kuang, Hengrui Zhang, Jiangxia Cao, Zhaojie Liu, Qibin Hou, Ming-Ming Cheng
cs.AI
Abstract
Il ragionamento multimodale a catena del pensiero (CoT) richiede ai grandi modelli visione-linguaggio di costruire traiettorie di ragionamento che intercalano l'ancoraggio percettivo con inferenze a più passaggi. Tuttavia, i metodi esistenti di Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) ottimizzano tipicamente il ragionamento a una granularità grossolana, trattando il CoT in modo uniforme senza distinguere i loro diversi gradi di ancoraggio visivo. In questo lavoro, conduciamo un'analisi a livello di token delle traiettorie di ragionamento multimodale e dimostriamo che il ragionamento di successo è caratterizzato da dinamiche strutturate dei token che riflettono sia l'ancoraggio percettivo che l'inferenza esplorativa. Basandoci su questa analisi, proponiamo l'Ottimizzazione della Politica Percettione-Esplorazione (PEPO), che deriva un prior percettivo dalla similarità degli stati nascosti e lo integra con l'entropia dei token attraverso un meccanismo di gating regolare per produrre vantaggi a livello di token. PEPO si integra perfettamente con i framework RLVR esistenti come GRPO e DAPO, non richiedendo né supervisione aggiuntiva né rami ausiliari. Esperimenti estesi su diversi benchmark multimodali dimostrano miglioramenti consistenti e robusti rispetto a forti baseline di RL, spaziando dal ragionamento geometrico, all'ancoraggio visivo, alla risoluzione di puzzle visivi e alla classificazione few-shot, mantenendo al contempo dinamiche di addestramento stabili. Codice: https://github.com/xzxxntxdy/PEPO
English
Multimodal Chain-of-Thought (CoT) reasoning requires large vision-language models to construct reasoning trajectories that interleave perceptual grounding with multi-step inference. However, existing Reinforcement Learning with Verifiable Rewards (RLVR) methods typically optimize reasoning at a coarse granularity, treating CoT uniformly without distinguishing their varying degrees of visual grounding. In this work, we conduct a token-level analysis of multimodal reasoning trajectories and show that successful reasoning is characterized by structured token dynamics reflecting both perceptual grounding and exploratory inference. Building upon this analysis, we propose Perception-Exploration Policy Optimization (PEPO), which derives a perception prior from hidden state similarity and integrates it with token entropy through a smooth gating mechanism to produce token-level advantages. PEPO integrates seamlessly with existing RLVR frameworks such as GRPO and DAPO, requiring neither additional supervision nor auxiliary branches. Extensive experiments across diverse multimodal benchmarks demonstrate consistent and robust improvements over strong RL baselines, spanning geometry reasoning, visual grounding, visual puzzle solving, and few-shot classification, while maintaining stable training dynamics. Code: https://github.com/xzxxntxdy/PEPO