XR: Agentes Multimodais para Recuperação de Imagens Compostas
XR: Cross-Modal Agents for Composed Image Retrieval
January 20, 2026
Autores: Zhongyu Yang, Wei Pang, Yingfang Yuan
cs.AI
Resumo
A recuperação está a ser redefinida pela IA agentiva, exigindo raciocínio multimodal para além dos paradigmas convencionais baseados em similaridade. A Recuperação de Imagem Composta (CIR) exemplifica esta mudança, pois cada consulta combina uma imagem de referência com modificações textuais, exigindo compreensão composicional entre modalidades. Embora os métodos de CIR baseados em incorporação tenham alcançado progresso, mantêm-se limitados na perspetiva, captando pistas multimodais restritas e carecendo de raciocínio semântico. Para superar estas limitações, introduzimos XR, uma estrutura multiagente livre de treino que reformula a recuperação como um processo de raciocínio progressivamente coordenado. Esta orquestra três tipos especializados de agentes: agentes de imaginação sintetizam representações-alvo através de geração multimodal, agentes de similaridade realizam filtragem grosseira via correspondência híbrida, e agentes de questionamento verificam a consistência factual através de raciocínio direcionado para filtragem fina. Através de uma coordenação multiagente progressiva, o XR refina iterativamente a recuperação para satisfazer restrições semânticas e visuais da consulta, alcançando um ganho de até 38% sobre linhas de base fortes, tanto livres de treino como baseadas em treino, nos conjuntos FashionIQ, CIRR e CIRCO, enquanto ablations demonstram que cada agente é essencial. Código disponível: https://01yzzyu.github.io/xr.github.io/.
English
Retrieval is being redefined by agentic AI, demanding multimodal reasoning beyond conventional similarity-based paradigms. Composed Image Retrieval (CIR) exemplifies this shift as each query combines a reference image with textual modifications, requiring compositional understanding across modalities. While embedding-based CIR methods have achieved progress, they remain narrow in perspective, capturing limited cross-modal cues and lacking semantic reasoning. To address these limitations, we introduce XR, a training-free multi-agent framework that reframes retrieval as a progressively coordinated reasoning process. It orchestrates three specialized types of agents: imagination agents synthesize target representations through cross-modal generation, similarity agents perform coarse filtering via hybrid matching, and question agents verify factual consistency through targeted reasoning for fine filtering. Through progressive multi-agent coordination, XR iteratively refines retrieval to meet both semantic and visual query constraints, achieving up to a 38% gain over strong training-free and training-based baselines on FashionIQ, CIRR, and CIRCO, while ablations show each agent is essential. Code is available: https://01yzzyu.github.io/xr.github.io/.