XR: Кросс-модальные агенты для композитного поиска изображений

XR: Cross-Modal Agents for Composed Image Retrieval

January 20, 2026

Авторы: Zhongyu Yang, Wei Pang, Yingfang Yuan

cs.AI

Аннотация

Сфера информационного поиска переосмысливается под влиянием агентного ИИ, что требует мультимодального мышления, выходящего за рамки традиционных подходов, основанных на схожести. Составной поиск изображений (CIR) является ярким примером этого сдвига, поскольку каждый запрос сочетает эталонное изображение с текстовыми модификациями, что требует композиционного понимания across модальностями. Хотя методы CIR на основе эмбеддингов достигли прогресса, они остаются ограниченными в перспективе, захватывая лишь ограниченные межмодальные связи и не обладая семантическим мышлением. Чтобы устранить эти ограничения, мы представляем XR — беспараметрическую мультиагентную систему, которая переосмысливает поиск как прогрессивно координируемый процесс рассуждений. Она организует три специализированных типа агентов: агенты воображения синтезируют целевые представления через кросс-модальную генерацию, агенты схожести выполняют грубую фильтрацию с помощью гибридного сопоставления, а агенты-вопросы проверяют фактическую согласованность через целенаправленные рассуждения для тонкой фильтрации. Благодаря прогрессивной мультиагентной координации XR итеративно уточняет результаты поиска, чтобы удовлетворить как семантические, так и визуальные ограничения запроса, демонстрируя до 38% улучшения по сравнению с сильными беспараметрическими и параметрическими базовыми методами на наборах данных FashionIQ, CIRR и CIRCO, в то время как ablation-исследования показывают важность каждого агента. Код доступен: https://01yzzyu.github.io/xr.github.io/.

English

Retrieval is being redefined by agentic AI, demanding multimodal reasoning beyond conventional similarity-based paradigms. Composed Image Retrieval (CIR) exemplifies this shift as each query combines a reference image with textual modifications, requiring compositional understanding across modalities. While embedding-based CIR methods have achieved progress, they remain narrow in perspective, capturing limited cross-modal cues and lacking semantic reasoning. To address these limitations, we introduce XR, a training-free multi-agent framework that reframes retrieval as a progressively coordinated reasoning process. It orchestrates three specialized types of agents: imagination agents synthesize target representations through cross-modal generation, similarity agents perform coarse filtering via hybrid matching, and question agents verify factual consistency through targeted reasoning for fine filtering. Through progressive multi-agent coordination, XR iteratively refines retrieval to meet both semantic and visual query constraints, achieving up to a 38% gain over strong training-free and training-based baselines on FashionIQ, CIRR, and CIRCO, while ablations show each agent is essential. Code is available: https://01yzzyu.github.io/xr.github.io/.