VG-Refiner: Rumo a um Raciocínio Fundamentado por Referência Refinado por Ferramentas via Aprendizado por Reforço Agente
VG-Refiner: Towards Tool-Refined Referring Grounded Reasoning via Agentic Reinforcement Learning
December 6, 2025
Autores: Yuji Wang, Wenlong Liu, Jingxuan Niu, Haoji Zhang, Yansong Tang
cs.AI
Resumo
O raciocínio visual integrado a ferramentas (TiVR) demonstrou grande potencial para aprimorar a resolução multimodal de problemas. No entanto, os paradigmas existentes de TiVR concentram-se principalmente na integração de várias ferramentas visuais por meio de aprendizado por reforço, negligenciando a criação de mecanismos de resposta eficazes para lidar com saídas de ferramentas não confiáveis ou errôneas. Essa limitação é particularmente pronunciada em tarefas de referência e fundamentação, onde previsões imprecisas de ferramentas de detecção frequentemente induzem os modelos TiVR a gerar raciocínios alucinados. Para resolver essa questão, propomos o VG-Refiner, o primeiro framework voltado para o raciocínio fundamentado em referência refinado por ferramentas. Tecnicamente, introduzimos um mecanismo de pensar-repensar em dois estágios que permite ao modelo analisar e responder explicitamente ao feedback da ferramenta, juntamente com uma recompensa de refinamento que incentiva a correção eficaz diante de resultados inadequados das ferramentas. Além disso, propomos duas novas métricas e estabelecemos protocolos de avaliação justos para medir sistematicamente a capacidade de refinamento dos modelos atuais. Adotamos uma pequena quantidade de dados específicos da tarefa para aprimorar a capacidade de refinamento do VG-Refiner, alcançando uma melhoria significativa na precisão e capacidade de correção em benchmarks de fundamentação de referência e raciocínio, preservando as capacidades gerais do modelo pré-treinado.
English
Tool-integrated visual reasoning (TiVR) has demonstrated great potential in enhancing multimodal problem-solving. However, existing TiVR paradigms mainly focus on integrating various visual tools through reinforcement learning, while neglecting to design effective response mechanisms for handling unreliable or erroneous tool outputs. This limitation is particularly pronounced in referring and grounding tasks, where inaccurate detection tool predictions often mislead TiVR models into generating hallucinated reasoning. To address this issue, we propose the VG-Refiner, the first framework aiming at the tool-refined referring grounded reasoning. Technically, we introduce a two-stage think-rethink mechanism that enables the model to explicitly analyze and respond to tool feedback, along with a refinement reward that encourages effective correction in response to poor tool results. In addition, we propose two new metrics and establish fair evaluation protocols to systematically measure the refinement ability of current models. We adopt a small amount of task-specific data to enhance the refinement capability of VG-Refiner, achieving a significant improvement in accuracy and correction ability on referring and reasoning grounding benchmarks while preserving the general capabilities of the pretrained model.