Opnieuw nadenken over tokenniveau-beleidsoptimalisatie voor multimodale keten-van-gedachten

Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought

March 24, 2026

Auteurs: Yunheng Li, Hangyi Kuang, Hengrui Zhang, Jiangxia Cao, Zhaojie Liu, Qibin Hou, Ming-Ming Cheng

cs.AI

Samenvatting

Multimodale Chain-of-Thought (CoT) redenering vereist dat grote visueel-taalkundige modellen redeneertrajecten construeren die perceptuele verankering afwisselen met meerstapsinferentie. Bestaande methoden voor Reinforcement Learning met Verifieerbare Beloningen (RLVR) optimaliseren de redenering echter typisch op een grove granulariteit, waarbij CoT uniform wordt behandeld zonder onderscheid te maken tussen hun variërende gradaties van visuele verankering. In dit werk voeren we een token-level analyse uit van multimodale redeneertrajecten en tonen we aan dat succesvol redeneren wordt gekenmerkt door gestructureerde token-dynamiek die zowel perceptuele verankering als exploratieve inferentie weerspiegelt. Voortbouwend op deze analyse stellen we Perception-Exploration Policy Optimization (PEPO) voor, dat een perceptieprior afleidt uit de gelijkenis van verborgen toestanden en deze integreert met token-entropie via een soepele gatingmechanisme om token-level voordelen te produceren. PEPO integreert naadloos met bestaande RLVR-kaders zoals GRPO en DAPO, zonder extra supervisie of hulptakken te vereisen. Uitgebreide experimenten op diverse multimodale benchmarks demonstreren consistente en robuuste verbeteringen ten opzichte van sterke RL-basislijnen, variërend van geometrisch redeneren, visuele verankering, het oplossen van visuele puzzels tot few-shot classificatie, waarbij stabiele trainingsdynamiek behouden blijft. Code: https://github.com/xzxxntxdy/PEPO

English

Multimodal Chain-of-Thought (CoT) reasoning requires large vision-language models to construct reasoning trajectories that interleave perceptual grounding with multi-step inference. However, existing Reinforcement Learning with Verifiable Rewards (RLVR) methods typically optimize reasoning at a coarse granularity, treating CoT uniformly without distinguishing their varying degrees of visual grounding. In this work, we conduct a token-level analysis of multimodal reasoning trajectories and show that successful reasoning is characterized by structured token dynamics reflecting both perceptual grounding and exploratory inference. Building upon this analysis, we propose Perception-Exploration Policy Optimization (PEPO), which derives a perception prior from hidden state similarity and integrates it with token entropy through a smooth gating mechanism to produce token-level advantages. PEPO integrates seamlessly with existing RLVR frameworks such as GRPO and DAPO, requiring neither additional supervision nor auxiliary branches. Extensive experiments across diverse multimodal benchmarks demonstrate consistent and robust improvements over strong RL baselines, spanning geometry reasoning, visual grounding, visual puzzle solving, and few-shot classification, while maintaining stable training dynamics. Code: https://github.com/xzxxntxdy/PEPO