DeepEyesV2: Hacia un Modelo Multimodal Agéntico

Resumen

Los modelos multimodales agentivos no solo deben comprender texto e imágenes, sino también invocar activamente herramientas externas, como entornos de ejecución de código y búsqueda web, e integrar estas operaciones en el razonamiento. En este trabajo, presentamos DeepEyesV2 y exploramos cómo construir un modelo multimodal agentivo desde las perspectivas de construcción de datos, métodos de entrenamiento y evaluación de modelos. Observamos que el aprendizaje por refuerzo directo por sí solo no logra inducir un comportamiento robusto de uso de herramientas. Este fenómeno motiva un pipeline de entrenamiento en dos etapas: una etapa de arranque en frío para establecer patrones de uso de herramientas, y una etapa de aprendizaje por refuerzo para refinar aún más la invocación de herramientas. Curationamos un conjunto de datos de entrenamiento diverso y moderadamente desafiante, incluyendo específicamente ejemplos donde el uso de herramientas es beneficioso. Además, presentamos RealX-Bench, un benchmark integral diseñado para evaluar el razonamiento multimodal en escenarios reales, que inherentemente requiere la integración de múltiples capacidades, incluyendo percepción, búsqueda y razonamiento. Evaluamos DeepEyesV2 en RealX-Bench y otros benchmarks representativos, demostrando su eficacia en tareas de comprensión del mundo real, razonamiento matemático y tareas intensivas en búsqueda. Además, DeepEyesV2 exhibe una invocación de herramientas adaptativa a la tarea, tendiendo a usar operaciones de imagen para tareas de percepción y cálculos numéricos para tareas de razonamiento. El aprendizaje por refuerzo permite además combinaciones complejas de herramientas y le permite al modelo invocar herramientas selectivamente según el contexto. Esperamos que nuestro estudio pueda proporcionar orientación a la comunidad en el desarrollo de modelos multimodales agentivos.

English

Agentic multimodal models should not only comprehend text and images, but also actively invoke external tools, such as code execution environments and web search, and integrate these operations into reasoning. In this work, we introduce DeepEyesV2 and explore how to build an agentic multimodal model from the perspectives of data construction, training methods, and model evaluation. We observe that direct reinforcement learning alone fails to induce robust tool-use behavior. This phenomenon motivates a two-stage training pipeline: a cold-start stage to establish tool-use patterns, and reinforcement learning stage to further refine tool invocation. We curate a diverse, moderately challenging training dataset, specifically including examples where tool use is beneficial. We further introduce RealX-Bench, a comprehensive benchmark designed to evaluate real-world multimodal reasoning, which inherently requires the integration of multiple capabilities, including perception, search, and reasoning. We evaluate DeepEyesV2 on RealX-Bench and other representative benchmarks, demonstrating its effectiveness across real-world understanding, mathematical reasoning, and search-intensive tasks. Moreover, DeepEyesV2 exhibits task-adaptive tool invocation, tending to use image operations for perception tasks and numerical computations for reasoning tasks. Reinforcement learning further enables complex tool combinations and allows model to selectively invoke tools based on context. We hope our study can provide guidance for community in developing agentic multimodal models.

DeepEyesV2: Hacia un Modelo Multimodal Agéntico

DeepEyesV2: Toward Agentic Multimodal Model

Resumen

Support