XR: Agentes Cross-Modal para la Recuperación de Imágenes Compuestas

XR: Cross-Modal Agents for Composed Image Retrieval

January 20, 2026

Autores: Zhongyu Yang, Wei Pang, Yingfang Yuan

cs.AI

Resumen

La recuperación está siendo redefinida por la IA agentiva, exigiendo un razonamiento multimodal más allá de los paradigmas convencionales basados en similitud. La Recuperación de Imágenes Compuestas (CIR) ejemplifica este cambio, ya que cada consulta combina una imagen de referencia con modificaciones textuales, requiriendo una comprensión compositiva entre modalidades. Si bien los métodos CIR basados en *embeddings* han logrado progresos, mantienen una perspectiva limitada, captando señales cruzadas entre modalidades de forma restringida y careciendo de razonamiento semántico. Para abordar estas limitaciones, presentamos XR, un marco multiagente libre de entrenamiento que reformula la recuperación como un proceso de razonamiento progresivamente coordinado. Este sistema orquesta tres tipos especializados de agentes: los agentes de imaginación sintetizan representaciones objetivo mediante generación multimodal, los agentes de similitud realizan un filtrado grueso mediante emparejamiento híbrido, y los agentes de pregunta verifican la consistencia factual mediante razonamiento dirigido para un filtrado fino. A través de una coordinación multiagente progresiva, XR refina iterativamente la recuperación para satisfacer tanto las restricciones semánticas como visuales de la consulta, logrando una mejora de hasta el 38% sobre líneas base sólidas, tanto libres de entrenamiento como basadas en él, en FashionIQ, CIRR y CIRCO, mientras que los estudios de ablación demuestran que cada agente es esencial. El código está disponible en: https://01yzzyu.github.io/xr.github.io/.

English

Retrieval is being redefined by agentic AI, demanding multimodal reasoning beyond conventional similarity-based paradigms. Composed Image Retrieval (CIR) exemplifies this shift as each query combines a reference image with textual modifications, requiring compositional understanding across modalities. While embedding-based CIR methods have achieved progress, they remain narrow in perspective, capturing limited cross-modal cues and lacking semantic reasoning. To address these limitations, we introduce XR, a training-free multi-agent framework that reframes retrieval as a progressively coordinated reasoning process. It orchestrates three specialized types of agents: imagination agents synthesize target representations through cross-modal generation, similarity agents perform coarse filtering via hybrid matching, and question agents verify factual consistency through targeted reasoning for fine filtering. Through progressive multi-agent coordination, XR iteratively refines retrieval to meet both semantic and visual query constraints, achieving up to a 38% gain over strong training-free and training-based baselines on FashionIQ, CIRR, and CIRCO, while ablations show each agent is essential. Code is available: https://01yzzyu.github.io/xr.github.io/.