Переосмысление оптимизации политики на уровне токенов для мультимодальных цепочек рассуждений

Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought

March 24, 2026

Авторы: Yunheng Li, Hangyi Kuang, Hengrui Zhang, Jiangxia Cao, Zhaojie Liu, Qibin Hou, Ming-Ming Cheng

cs.AI

Аннотация

Мультимодальное рассуждение по цепочке мыслей (CoT) требует от больших визуально-языковых моделей построения траекторий рассуждений, которые чередуют перцептивное обоснование с многошаговым выводом. Однако существующие методы обучения с подкреплением с верифицируемыми вознаграждениями (RLVR) обычно оптимизируют рассуждения на грубом уровне гранулярности, трактуя CoT единообразно без различения их varying degrees визуального обоснования. В данной работе мы проводим покомпонентный анализ мультимодальных траекторий рассуждений и показываем, что успешное рассуждение характеризуется структурированной динамикой компонентов, отражающей как перцептивное обоснование, так и исследовательский вывод. Основываясь на этом анализе, мы предлагаем Оптимизацию политики восприятия-исследования (PEPO), которая извлекает априорное распределение восприятия из сходства скрытых состояний и интегрирует его с энтропией компонентов через гладкий механизм стробирования для получения покомпонентных преимуществ. PEPO бесшовно интегрируется с существующими RLVR-фреймворками, такими как GRPO и DAPO, не требуя ни дополнительного контроля, ни вспомогательных ветвей. Многочисленные эксперименты на разнообразных мультимодальных бенчмарках демонстрируют последовательное и устойчивое улучшение по сравнению с сильными RL-базисами, охватывая геометрические рассуждения, визуальное обоснование, решение визуальных головоломок и few-shot классификацию, при сохранении стабильной динамики обучения. Код: https://github.com/xzxxntxdy/PEPO

English

Multimodal Chain-of-Thought (CoT) reasoning requires large vision-language models to construct reasoning trajectories that interleave perceptual grounding with multi-step inference. However, existing Reinforcement Learning with Verifiable Rewards (RLVR) methods typically optimize reasoning at a coarse granularity, treating CoT uniformly without distinguishing their varying degrees of visual grounding. In this work, we conduct a token-level analysis of multimodal reasoning trajectories and show that successful reasoning is characterized by structured token dynamics reflecting both perceptual grounding and exploratory inference. Building upon this analysis, we propose Perception-Exploration Policy Optimization (PEPO), which derives a perception prior from hidden state similarity and integrates it with token entropy through a smooth gating mechanism to produce token-level advantages. PEPO integrates seamlessly with existing RLVR frameworks such as GRPO and DAPO, requiring neither additional supervision nor auxiliary branches. Extensive experiments across diverse multimodal benchmarks demonstrate consistent and robust improvements over strong RL baselines, spanning geometry reasoning, visual grounding, visual puzzle solving, and few-shot classification, while maintaining stable training dynamics. Code: https://github.com/xzxxntxdy/PEPO