Percepção Visual Reforçada com Ferramentas

Resumo

O raciocínio visual, um pilar fundamental da inteligência humana, engloba processos perceptivos e lógicos complexos essenciais para resolver diversos problemas visuais. Embora os avanços em visão computacional tenham produzido modelos poderosos para várias tarefas perceptivas, a utilização desses modelos para o raciocínio visual geral ainda é um desafio. Trabalhos anteriores demonstram que aprimorar LLMs (Large Language Models) com modelos de visão por meio de ajuste fino supervisionado melhora o desempenho, mas enfrenta limitações significativas, como a geração de dados dispendiosa, a dependência de uma filtragem cuidadosa de dados e a má generalização. Para abordar essas questões, propomos o ReVPT para aprimorar as habilidades de LLMs multimodais em raciocinar e utilizar ferramentas visuais por meio de aprendizado por reforço. Introduzimos um novo algoritmo de RL (Reinforcement Learning) baseado em GRPO, projetado para treinar modelos a raciocinar com um conjunto de quatro ferramentas visuais. Através de extensos experimentos, mostramos que nosso método alcança desempenho de ponta em vários benchmarks com forte componente perceptivo, incluindo SAT, CV-Bench, BLINK e MMStar, superando significativamente as linhas de base de ajuste fino supervisionado e RL baseado em texto. Notavelmente, nossos modelos ReVPT-3B e ReVPT-7B superam os modelos de instrução em 9,03% e 9,44% no CV-Bench. Por fim, trazemos à comunidade novos insights sobre o uso de ferramentas visuais baseadas em RL por meio de extensas ablações. Nosso código está disponível em https://github.com/ls-kelvin/REVPT.

English

Visual reasoning, a cornerstone of human intelligence, encompasses complex perceptual and logical processes essential for solving diverse visual problems. While advances in computer vision have produced powerful models for various perceptual tasks, leveraging these for general visual reasoning remains challenging. Prior work demonstrates that augmenting LLMs with vision models via supervised finetuning improves performance, but faces key limitations such as expensive data generation, reliance on careful data filtering, and poor generalization. To address these issues, we propose ReVPT to enhance multi-modal LLMs' abilities to reason about and use visual tools through reinforcement learning. We introduce a novel RL algorithm based on GRPO, designed to train models to reason with a suite of four visual tools. Through extensive experiments, we show that our method achieves state-of-the-art performance on several perception-heavy benchmarks, including SAT, CV-Bench, BLINK and MMStar, significantly outperforming the supervised and text-based RL finetuning baselines. Notably, Our ReVPT-3B and ReVPT-7B outperform the instruct models by 9.03% and 9.44% on CV-Bench. Finally, we bring to the community new insights on RL-based visual tool-usage through extensive ablations. Our code is available at https://github.com/ls-kelvin/REVPT.

Percepção Visual Reforçada com Ferramentas

Reinforced Visual Perception with Tools

Resumo

Support