FashionLens: Für vielseitigen Modebildabruf mittels aufgabenadaptiven Lernens

Zusammenfassung

Modebild-Retrieval ist ein grundlegender Bestandteil moderner E-Commerce-Systeme. Ein einheitliches Framework, das verschiedene Abfrageformate und Suchintentionen unterstützt, wird in der Praxis stark nachgefragt. Bestehende Ansätze konzentrieren sich jedoch auf eng gefasste Retrieval-Aufgaben und bilden diese Vielfalt nicht vollständig ab. Daher zielen wir in dieser Arbeit darauf ab, ein einheitliches Framework zu entwickeln, das verschiedene realistische Modebild-Retrieval-Szenarien bewältigen kann und so ein wirklich vielseitiges Modebild-Retrieval ermöglicht. Als Datengrundlage führen wir zunächst U-FIRE ein, einen umfassenden Benchmark, der fragmentierte Mode-Datensätze in einer einheitlichen Sammlung zusammenfasst, ergänzt durch zwei manuell kuratierte Datensätze zum Testen der Generalisierung. Darauf aufbauend schlagen wir FashionLens vor, ein einheitliches Framework, das auf multimodalen großen Sprachmodellen basiert. Um unterschiedliche Matching-Ziele zu handhaben, entwickeln wir einen vorschlagsgesteuerten sphärischen Abfragekalibrator, der Abfrage-Repräsentationen mittels adaptiver sphärischer linearer Interpolation dynamisch in aufgabenabgestimmte metrische Räume verschiebt. Darüber hinaus entwickeln wir zur Minderung des Optimierungsungleichgewichts, das durch unterschiedliche Aufgabenkomplexitäten und Datenskalen verursacht wird, eine gradientengeleitete adaptive Stichprobenstrategie, die Aufgaben basierend auf dem Echtzeit-Lernschwierigkeitsgrad und dem Datenskalen-Prior automatisch neu gewichtet. Experimente auf U-FIRE zeigen, dass FashionLens in verschiedenen Retrieval-Szenarien eine State-of-the-Art-Leistung erzielt und robust auf unbekannte Aufgaben generalisiert. Die Daten und der Code sind öffentlich unter https://github.com/haokunwen/FashionLens verfügbar.

English

Fashion image retrieval is a cornerstone of modern e-commerce systems. A unified framework that supports diverse query formats and search intentions is highly desired in practice. However, existing approaches focus on narrow retrieval tasks and do not fully capture such diversity. Therefore, in this work, we aim to develop a unified framework capable of handling diverse realistic fashion retrieval scenarios, achieving truly versatile fashion image retrieval. To establish a data foundation, we first introduce U-FIRE, a comprehensive benchmark that consolidates fragmented fashion datasets into a unified collection, supplemented by two manually curated datasets for testing generalization. Building upon this, we propose FashionLens, a unified framework based on Multimodal Large Language Models. To handle divergent matching objectives, we design a Proposal-Guided Spherical Query Calibrator that dynamically shifts query representations into task-aligned metric spaces via adaptive spherical linear interpolation. Additionally, to mitigate the optimization imbalance caused by varying task complexities and data scales, we develop a Gradient-Guided Adaptive Sampling strategy that automatically re-weights tasks based on realtime learning difficulty and the data scale prior. Experiments on U-FIRE show that FashionLens achieves state-of-the-art performance across diverse retrieval scenarios and generalizes robustly to unseen tasks. The data and code are publicly released at https://github.com/haokunwen/FashionLens.