Otimização de Política Exploratória de Agentes para Raciocínio Agentivo Multimodal

Resumo

Modelos de visão-linguagem com raciocínio estendido obtêm sucesso em problemas complexos, mas muitos problemas do mundo real exigem ferramentas externas que o raciocínio interno, por si só, muitas vezes não consegue resolver. O raciocínio agêntico, portanto, intercala dois comportamentos com uma assimetria estrutural: pensar (o padrão autossuficiente) e usar ferramentas (uma ação auxiliar de alta variância). Referimo-nos a essa assimetria como a Lacuna Pensamento-Ação. Sob receitas padrão de RL, como GRPO, a lacuna se manifesta por meio de dois sintomas diagnósticos durante o treinamento: o uso de ferramentas é tentado em apenas ~30% das rolagens e, quando tentado, as rolagens com uso de ferramentas dentro de um grupo estão todas erradas em ~40% das perguntas, suprimindo o sinal de aprendizado nas chamadas de ferramenta que dele necessitavam. Propomos AXPO (Agent eXplorative Policy Optimization): para cada subgrupo de uso de ferramentas totalmente errado, o AXPO fixa o prefixo de pensamento e reamostra a chamada de ferramenta e sua continuação, emparelhado com seleção de prefixo baseada em incerteza. Em nove benchmarks multimodais e três escalas do Qwen3-VL-Thinking, o SFT+AXPO supera o SFT+GRPO em média (+1,8pp Pass@1 e +1,8pp Pass@4 em 8B na média) e o 8B com SFT+AXPO ultrapassa o Base 32B em Pass@4 com 4 vezes menos parâmetros.

English

Vision-language models with extended reasoning succeed on complex problems, but many real-world problems require external tools that internal reasoning alone often cannot resolve. Agentic reasoning therefore interleaves two behaviors with a structural asymmetry: thinking (the self-contained default) and tool use (a high-variance auxiliary acting). We refer to this asymmetry as the Thinking-Acting Gap. Under standard RL recipes like GRPO, the gap manifests as two diagnostic symptoms during training: tool use is attempted on only ~30% of rollouts, and when attempted, the tool-using rollouts within a group are all-wrong on ~40% of questions, suppressing the learning signal at the tool calls that needed it. We propose AXPO (Agent eXplorative Policy Optimization): for each all-wrong tool-using subgroup, AXPO fixes the thinking prefix and resamples the tool call and its continuation, paired with uncertainty-based prefix selection. Across nine multimodal benchmarks and three scales of Qwen3-VL-Thinking, SFT+AXPO outperforms SFT+GRPO at average (+1.8pp Pass@1 and +1.8pp Pass@4 at 8B on average) and 8B with SFT+AXPO surpasses the 32B Base on Pass@4 with 4 times fewer parameters.