XR: Cross-modale Agenten für zusammengesetzte Bildersuche
XR: Cross-Modal Agents for Composed Image Retrieval
January 20, 2026
papers.authors: Zhongyu Yang, Wei Pang, Yingfang Yuan
cs.AI
papers.abstract
Die Relevanzsuche wird durch agentenbasierte KI neu definiert und erfordert multimodales Denken, das über konventionelle, ähnlichkeitsbasierte Paradigmen hinausgeht. Composed Image Retrieval (CIR) verkörpert diesen Wandel, da jede Abfrage ein Referenzbild mit textuellen Modifikationen kombiniert und somit ein kompositionelles Verständnis über Modalitäten hinweg erfordert. Während embedding-basierte CIR-Methoden Fortschritte erzielt haben, bleiben sie in ihrer Perspektive begrenzt, erfassen nur eingeschränkte cross-modale Hinweise und mangelt es ihnen an semantischer Schlussfolgerung. Um diese Einschränkungen zu adressieren, stellen wir XR vor – ein trainierungsfreies Multi-Agenten-Framework, das die Relevanzsuche als einen progressiv koordinierten Denkprozess neu definiert. Es orchestriert drei spezialisierte Agententypen: Imaginations-Agenten synthetisieren Zielrepräsentationen durch cross-modale Generierung, Ähnlichkeits-Agenten führen über hybride Matching-Verfahren eine grobe Filterung durch, und Frage-Agenten verifizieren die faktische Konsistenz durch gezieltes Schlussfolgern zur Feinabstimmung. Durch progressive Multi-Agenten-Koordination verfeinert XR die Relevanzsuche iterativ, um sowohl semantischen als auch visuellen Abfragebeschränkungen gerecht zu werden, und erzielt auf FashionIQ, CIRR und CIRCO eine Steigerung von bis zu 38 % gegenüber starken trainierungsfreien und trainierten Baseline-Modellen, während Ablationstudien belegen, dass jeder Agententyp essenziell ist. Code ist verfügbar: https://01yzzyu.github.io/xr.github.io/.
English
Retrieval is being redefined by agentic AI, demanding multimodal reasoning beyond conventional similarity-based paradigms. Composed Image Retrieval (CIR) exemplifies this shift as each query combines a reference image with textual modifications, requiring compositional understanding across modalities. While embedding-based CIR methods have achieved progress, they remain narrow in perspective, capturing limited cross-modal cues and lacking semantic reasoning. To address these limitations, we introduce XR, a training-free multi-agent framework that reframes retrieval as a progressively coordinated reasoning process. It orchestrates three specialized types of agents: imagination agents synthesize target representations through cross-modal generation, similarity agents perform coarse filtering via hybrid matching, and question agents verify factual consistency through targeted reasoning for fine filtering. Through progressive multi-agent coordination, XR iteratively refines retrieval to meet both semantic and visual query constraints, achieving up to a 38% gain over strong training-free and training-based baselines on FashionIQ, CIRR, and CIRCO, while ablations show each agent is essential. Code is available: https://01yzzyu.github.io/xr.github.io/.