DeepEyesV2: Rumo a um Modelo Multimodal Agente

Resumo

Os modelos multimodais agentivos não devem apenas compreender texto e imagens, mas também invocar ativamente ferramentas externas, como ambientes de execução de código e buscas na web, integrando essas operações no raciocínio. Neste trabalho, apresentamos o DeepEyesV2 e exploramos como construir um modelo multimodal agentivo sob as perspectivas de construção de dados, métodos de treinamento e avaliação do modelo. Observamos que o uso exclusivo de aprendizado por reforço direto não induz comportamentos robustos de utilização de ferramentas. Esse fenômeno motiva um pipeline de treinamento em dois estágios: uma fase de inicialização para estabelecer padrões de uso de ferramentas, e uma fase de aprendizado por reforço para refinar ainda mais a invocação de ferramentas. Curadamos um conjunto de dados de treinamento diversificado e moderadamente desafiador, incluindo especificamente exemplos onde o uso de ferramentas é benéfico. Introduzimos ainda o RealX-Bench, um benchmark abrangente projetado para avaliar o raciocínio multimodal no mundo real, que requer inerentemente a integração de múltiplas capacidades, incluindo percepção, busca e raciocínio. Avaliamos o DeepEyesV2 no RealX-Bench e em outros benchmarks representativos, demonstrando sua eficácia em tarefas de compreensão do mundo real, raciocínio matemático e tarefas intensivas em busca. Além disso, o DeepEyesV2 exibe invocação de ferramentas adaptativa à tarefa, tendendo a usar operações de imagem para tarefas de percepção e computações numéricas para tarefas de raciocínio. O aprendizado por reforço permite ainda combinações complexas de ferramentas e capacita o modelo a invocar ferramentas seletivamente com base no contexto. Esperamos que nosso estudo possa fornecer orientações para a comunidade no desenvolvimento de modelos multimodais agentivos.

English

Agentic multimodal models should not only comprehend text and images, but also actively invoke external tools, such as code execution environments and web search, and integrate these operations into reasoning. In this work, we introduce DeepEyesV2 and explore how to build an agentic multimodal model from the perspectives of data construction, training methods, and model evaluation. We observe that direct reinforcement learning alone fails to induce robust tool-use behavior. This phenomenon motivates a two-stage training pipeline: a cold-start stage to establish tool-use patterns, and reinforcement learning stage to further refine tool invocation. We curate a diverse, moderately challenging training dataset, specifically including examples where tool use is beneficial. We further introduce RealX-Bench, a comprehensive benchmark designed to evaluate real-world multimodal reasoning, which inherently requires the integration of multiple capabilities, including perception, search, and reasoning. We evaluate DeepEyesV2 on RealX-Bench and other representative benchmarks, demonstrating its effectiveness across real-world understanding, mathematical reasoning, and search-intensive tasks. Moreover, DeepEyesV2 exhibits task-adaptive tool invocation, tending to use image operations for perception tasks and numerical computations for reasoning tasks. Reinforcement learning further enables complex tool combinations and allows model to selectively invoke tools based on context. We hope our study can provide guidance for community in developing agentic multimodal models.

DeepEyesV2: Rumo a um Modelo Multimodal Agente

DeepEyesV2: Toward Agentic Multimodal Model

Resumo

Support