Replanteamiento de la Optimización de Políticas a Nivel de Token para las Cadenas de Razonamiento Multimodales

Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought

March 24, 2026

Autores: Yunheng Li, Hangyi Kuang, Hengrui Zhang, Jiangxia Cao, Zhaojie Liu, Qibin Hou, Ming-Ming Cheng

cs.AI

Resumen

El razonamiento multimodal de Cadena de Pensamiento (CoT) requiere que los grandes modelos de visión y lenguaje construyan trayectorias de razonamiento que intercalen el anclaje perceptual con la inferencia multi-etapa. Sin embargo, los métodos existentes de Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) suelen optimizar el razonamiento a una granularidad gruesa, tratando el CoT de manera uniforme sin distinguir sus distintos grados de anclaje visual. En este trabajo, realizamos un análisis a nivel de token de las trayectorias de razonamiento multimodal y demostramos que el razonamiento exitoso se caracteriza por dinámicas de tokens estructuradas que reflejan tanto el anclaje perceptual como la inferencia exploratoria. Basándonos en este análisis, proponemos la Optimización de la Política de Percepción-Exploración (PEPO), que deriva un prior de percepción a partir de la similitud de estados ocultos y lo integra con la entropía de tokens mediante un mecanismo de compuerta suave para producir ventajas a nivel de token. PEPO se integra perfectamente con marcos RLVR existentes como GRPO y DAPO, sin requerir supervisión adicional ni ramas auxiliares. Experimentos exhaustivos en diversos benchmarks multimodales demuestran mejoras consistentes y robustas respecto a sólidas líneas base de RL, abarcando razonamiento geométrico, anclaje visual, resolución de puzles visuales y clasificación con pocos ejemplos, manteniendo al mismo tiempo dinámicas de entrenamiento estables. Código: https://github.com/xzxxntxdy/PEPO

English

Multimodal Chain-of-Thought (CoT) reasoning requires large vision-language models to construct reasoning trajectories that interleave perceptual grounding with multi-step inference. However, existing Reinforcement Learning with Verifiable Rewards (RLVR) methods typically optimize reasoning at a coarse granularity, treating CoT uniformly without distinguishing their varying degrees of visual grounding. In this work, we conduct a token-level analysis of multimodal reasoning trajectories and show that successful reasoning is characterized by structured token dynamics reflecting both perceptual grounding and exploratory inference. Building upon this analysis, we propose Perception-Exploration Policy Optimization (PEPO), which derives a perception prior from hidden state similarity and integrates it with token entropy through a smooth gating mechanism to produce token-level advantages. PEPO integrates seamlessly with existing RLVR frameworks such as GRPO and DAPO, requiring neither additional supervision nor auxiliary branches. Extensive experiments across diverse multimodal benchmarks demonstrate consistent and robust improvements over strong RL baselines, spanning geometry reasoning, visual grounding, visual puzzle solving, and few-shot classification, while maintaining stable training dynamics. Code: https://github.com/xzxxntxdy/PEPO