DeepImageSearch: Сравнительный анализ мультимодальных агентов для контекстно-зависимого поиска изображений в визуальных историях

DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories

February 11, 2026

Авторы: Chenlong Deng, Mengjie Deng, Junjie Wu, Dun Zeng, Teng Wang, Qingsong Xie, Jiadeng Huang, Shengjie Ma, Changwang Zhang, Zhaoxiang Wang, Jun Wang, Yutao Zhu, Zhicheng Dou

cs.AI

Аннотация

Существующие многомодальные системы поиска преуспевают в семантическом сопоставлении, но неявно предполагают, что релевантность запроса и изображения можно оценивать изолированно. Эта парадигма упускает из виду богатые зависимости, присущие реалистичным визуальным потокам, где информация распределена во временных последовательностях, а не ограничена отдельными кадрами. Чтобы устранить этот пробел, мы представляем DeepImageSearch — новую агентную парадигму, которая переформулирует задачу поиска изображений как автономную задачу исследования. Модели должны планировать и выполнять многошаговые рассуждения над сырыми визуальными историями, чтобы находить цели на основе неявных контекстных сигналов. Мы создали DISBench, сложный бенчмарк, построенный на взаимосвязанных визуальных данных. Чтобы решить проблему масштабируемости создания контекстно-зависимых запросов, мы предлагаем гибридный человеко-модельный конвейер, который использует визуально-языковые модели для выявления скрытых пространственно-временных связей, эффективно перекладывая трудоемкий процесс обнаружения контекста на этап, предшествующий проверке человеком. Кроме того, мы создали надежный базовый уровень с использованием модульной агентной архитектуры, оснащенной инструментами для детального анализа и системой двойной памяти для навигации в длительных временных горизонтах. Многочисленные эксперименты показывают, что DISBench представляет серьезные трудности для современных моделей, подчеркивая необходимость интеграции агентных рассуждений в системы поиска следующего поколения.

English

Existing multimodal retrieval systems excel at semantic matching but implicitly assume that query-image relevance can be measured in isolation. This paradigm overlooks the rich dependencies inherent in realistic visual streams, where information is distributed across temporal sequences rather than confined to single snapshots. To bridge this gap, we introduce DeepImageSearch, a novel agentic paradigm that reformulates image retrieval as an autonomous exploration task. Models must plan and perform multi-step reasoning over raw visual histories to locate targets based on implicit contextual cues. We construct DISBench, a challenging benchmark built on interconnected visual data. To address the scalability challenge of creating context-dependent queries, we propose a human-model collaborative pipeline that employs vision-language models to mine latent spatiotemporal associations, effectively offloading intensive context discovery before human verification. Furthermore, we build a robust baseline using a modular agent framework equipped with fine-grained tools and a dual-memory system for long-horizon navigation. Extensive experiments demonstrate that DISBench poses significant challenges to state-of-the-art models, highlighting the necessity of incorporating agentic reasoning into next-generation retrieval systems.