Repensando a Otimização de Políticas em Nível de Token para Cadeia de Pensamento Multimodal
Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought
March 24, 2026
Autores: Yunheng Li, Hangyi Kuang, Hengrui Zhang, Jiangxia Cao, Zhaojie Liu, Qibin Hou, Ming-Ming Cheng
cs.AI
Resumo
A Raciocínio em Cadeia de Pensamento (CoT) Multimodal exige que grandes modelos de visão e linguagem construam trajetórias de raciocínio que intercalem a fundamentação perceptual com inferência em múltiplos passos. No entanto, os métodos existentes de Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) normalmente otimizam o raciocínio a uma granularidade grosseira, tratando o CoT de forma uniforme sem distinguir seus diferentes graus de fundamentação visual. Neste trabalho, conduzimos uma análise a nível de token das trajetórias de raciocínio multimodal e mostramos que o raciocínio bem-sucedido é caracterizado por dinâmicas estruturadas de tokens que refletem tanto a fundamentação perceptual quanto a inferência exploratória. Com base nesta análise, propomos a Otimização de Políticas de Percepção-Exploração (PEPO), que deriva um prior de percepção a partir da similaridade de estados ocultos e o integra com a entropia de tokens através de um mecanismo de gateamento suave para produzir vantagens a nível de token. O PEPO integra-se perfeitamente com estruturas RLVR existentes, como GRPO e DAPO, não requerendo supervisão adicional nem ramificações auxiliares. Experimentos extensos em diversos benchmarks multimodais demonstram melhorias consistentes e robustas sobre fortes linhas de base de RL, abrangendo raciocínio geométrico, fundamentação visual, resolução de quebra-cabeças visuais e classificação com poucos exemplos, mantendo ao mesmo tempo dinâmicas de treinamento estáveis. Código: https://github.com/xzxxntxdy/PEPO
English
Multimodal Chain-of-Thought (CoT) reasoning requires large vision-language models to construct reasoning trajectories that interleave perceptual grounding with multi-step inference. However, existing Reinforcement Learning with Verifiable Rewards (RLVR) methods typically optimize reasoning at a coarse granularity, treating CoT uniformly without distinguishing their varying degrees of visual grounding. In this work, we conduct a token-level analysis of multimodal reasoning trajectories and show that successful reasoning is characterized by structured token dynamics reflecting both perceptual grounding and exploratory inference. Building upon this analysis, we propose Perception-Exploration Policy Optimization (PEPO), which derives a perception prior from hidden state similarity and integrates it with token entropy through a smooth gating mechanism to produce token-level advantages. PEPO integrates seamlessly with existing RLVR frameworks such as GRPO and DAPO, requiring neither additional supervision nor auxiliary branches. Extensive experiments across diverse multimodal benchmarks demonstrate consistent and robust improvements over strong RL baselines, spanning geometry reasoning, visual grounding, visual puzzle solving, and few-shot classification, while maintaining stable training dynamics. Code: https://github.com/xzxxntxdy/PEPO