FashionLens: Naar veelzijdige modebeeldterugvinding via taakadaptief leren

Samenvatting

Modebeeldretrieval is een hoeksteen van moderne e-commercesystemen. Een verenigd raamwerk dat diverse queryformaten en zoekintenties ondersteunt, is in de praktijk zeer gewenst. Bestaande benaderingen richten zich echter op smalle retrievaltaken en vatten deze diversiteit niet volledig. Daarom streven we in dit werk naar de ontwikkeling van een verenigd raamwerk dat diverse realistische modebeeldretrievalscenario's aankan, waarmee we werkelijk veelzijdige modebeeldretrieval realiseren. Om een databasis te leggen, introduceren we eerst U-FIRE, een uitgebreide benchmark die gefragmenteerde modedatasets consolideert in een verenigde collectie, aangevuld met twee handmatig samengestelde datasets voor het testen van generalisatie. Hierop voortbouwend stellen we FashionLens voor, een verenigd raamwerk gebaseerd op Multimodale Grote Taalmodellen. Om uiteenlopende matchingdoelen te hanteren, ontwerpen we een Proposal-Guided Spherical Query Calibrator die queryrepresentaties dynamisch verschuift naar taakafgestemde metrische ruimten via adaptieve sferische lineaire interpolatie. Daarnaast ontwikkelen we, om de optimalisatie-onbalans door variërende taakcomplexiteit en dataschalen te verminderen, een Gradient-Guided Adaptive Sampling-strategie die taken automatisch herweegt op basis van realtime leermoeilijkheid en de dataschaalprior. Experimenten op U-FIRE tonen aan dat FashionLens state-of-the-art prestaties levert in diverse retrievercenario's en robuust generaliseert naar ongeziene taken. De data en code zijn openbaar beschikbaar gesteld op https://github.com/haokunwen/FashionLens.

English

Fashion image retrieval is a cornerstone of modern e-commerce systems. A unified framework that supports diverse query formats and search intentions is highly desired in practice. However, existing approaches focus on narrow retrieval tasks and do not fully capture such diversity. Therefore, in this work, we aim to develop a unified framework capable of handling diverse realistic fashion retrieval scenarios, achieving truly versatile fashion image retrieval. To establish a data foundation, we first introduce U-FIRE, a comprehensive benchmark that consolidates fragmented fashion datasets into a unified collection, supplemented by two manually curated datasets for testing generalization. Building upon this, we propose FashionLens, a unified framework based on Multimodal Large Language Models. To handle divergent matching objectives, we design a Proposal-Guided Spherical Query Calibrator that dynamically shifts query representations into task-aligned metric spaces via adaptive spherical linear interpolation. Additionally, to mitigate the optimization imbalance caused by varying task complexities and data scales, we develop a Gradient-Guided Adaptive Sampling strategy that automatically re-weights tasks based on realtime learning difficulty and the data scale prior. Experiments on U-FIRE show that FashionLens achieves state-of-the-art performance across diverse retrieval scenarios and generalizes robustly to unseen tasks. The data and code are publicly released at https://github.com/haokunwen/FashionLens.