DeepEyesV2: в сторону агентной мультимодальной модели

DeepEyesV2: Toward Agentic Multimodal Model

November 7, 2025

Авторы: Jack Hong, Chenxiao Zhao, ChengLin Zhu, Weiheng Lu, Guohai Xu, Xing Yu

cs.AI

Аннотация

Агентные мультимодальные модели должны не только понимать текст и изображения, но и активно задействовать внешние инструменты, такие как среды выполнения кода и веб-поиск, интегрируя эти операции в процесс рассуждений. В данной работе мы представляем DeepEyesV2 и исследуем, как построить агентную мультимодальную модель с точки зрения создания данных, методов обучения и оценки модели. Мы наблюдаем, что одно лишь прямое обучение с подкреплением не позволяет сформировать устойчивое поведение использования инструментов. Это явление мотивирует двухэтапный конвейер обучения: этап холодного старта для установления шаблонов использования инструментов и этап обучения с подкреплением для дальнейшего совершенствования их вызова. Мы тщательно отбираем разнообразный, умеренно сложный набор данных для обучения, специально включая примеры, где использование инструментов целесообразно. Кроме того, мы представляем RealX-Bench — комплексный бенчмарк, предназначенный для оценки мультимодальных рассуждений в реальных условиях, что по своей сути требует интеграции множества способностей, включая восприятие, поиск и логическое мышление. Мы оцениваем DeepEyesV2 на RealX-Bench и других репрезентативных бенчмарках, демонстрируя его эффективность в задачах понимания реального мира, математических рассуждений и задач, интенсивно использующих поиск. Более того, DeepEyesV2 демонстрирует адаптивный вызов инструментов в зависимости от задачи, склоняясь к использованию операций с изображениями для задач восприятия и численных вычислений для задач рассуждений. Обучение с подкреплением дополнительно позволяет реализовать сложные комбинации инструментов и дает модели возможность выборочно вызывать инструменты в зависимости от контекста. Мы надеемся, что наше исследование сможет предоставить сообществу руководство по разработке агентных мультимодальных моделей.

English

Agentic multimodal models should not only comprehend text and images, but also actively invoke external tools, such as code execution environments and web search, and integrate these operations into reasoning. In this work, we introduce DeepEyesV2 and explore how to build an agentic multimodal model from the perspectives of data construction, training methods, and model evaluation. We observe that direct reinforcement learning alone fails to induce robust tool-use behavior. This phenomenon motivates a two-stage training pipeline: a cold-start stage to establish tool-use patterns, and reinforcement learning stage to further refine tool invocation. We curate a diverse, moderately challenging training dataset, specifically including examples where tool use is beneficial. We further introduce RealX-Bench, a comprehensive benchmark designed to evaluate real-world multimodal reasoning, which inherently requires the integration of multiple capabilities, including perception, search, and reasoning. We evaluate DeepEyesV2 on RealX-Bench and other representative benchmarks, demonstrating its effectiveness across real-world understanding, mathematical reasoning, and search-intensive tasks. Moreover, DeepEyesV2 exhibits task-adaptive tool invocation, tending to use image operations for perception tasks and numerical computations for reasoning tasks. Reinforcement learning further enables complex tool combinations and allows model to selectively invoke tools based on context. We hope our study can provide guidance for community in developing agentic multimodal models.