ZooClaw-FashionSigLIP2: Destilliertes Feintuning für robustes Mode-Retrieval

Zusammenfassung

Die Anpassung eines grundlegenden Vision-Language-Encoders an eine spezialisierte Retrieval-Aufgabe führt zu einem grundlegenden Zielkonflikt: Gewinne auf der Zieldistribution gehen zu Lasten der breiten Generalisierungsfähigkeit des Foundation-Modells – und Fashion-Retrieval ist ein besonders prägnantes Beispiel für dieses Problem. Wir präsentieren ZooClaw-FashionSigLIP2, ein auf Mode spezialisiertes SigLIP2-Basismodell, das diesen Zielkonflikt mit einem einfachen Rezept löst – vollständiges Feintuning mit Wissensdestillation auf kuratierten domänenspezifischen Daten, gefolgt von einer \wiseft~wortsman2022wiseft-Gewichtsinterpolation mit dem Basismodell – und dabei LoRA, größere Backbones (bis zu 1B Parametern) sowie externe Trainingsdaten übertrifft. Unter fairer Evaluierung übertrifft ZooClaw-FashionSigLIP2 alle Baselines in jedem Benchmark unseres Testpakets. Darüber hinaus veröffentlichen wir ZooClaw-Fashion, einen neuen hochwertigen Fashion-Retrieval-Benchmark, sowie eine systematische Qualitätsanalyse weit verbreiteter Benchmarks, die strukturelle Verzerrungen in deren öffentlichem Ground Truth aufdeckt und abschwächt. Wir stellen die Modellgewichte und alle Evaluierungsartefakte als Open Source zur Verfügung, um zukünftige Forschung zu ermöglichen.

English

Adapting a foundation vision-language encoder to a specialized retrieval task creates a fundamental tradeoff: gains on the target distribution come at the cost of the foundation model's broad generalization, and fashion retrieval is a stringent instance of this problem. We present ZooClaw-FashionSigLIP2, a fashion-specialized SigLIP2-base model that resolves this tradeoff with a simple recipe -- full fine-tuning with knowledge distillation on curated in-domain data, followed by \wiseft~wortsman2022wiseft weight interpolation with the base model -- and outperforms LoRA, larger backbones (up to 1B parameters), and external training data. Under fair evaluation, ZooClaw-FashionSigLIP2 outperforms all baselines on every benchmark in our suite. In addition, we release ZooClaw-Fashion, a new high-quality fashion retrieval benchmark, and a systematic quality analysis of widely-used benchmarks that exposes and mitigates structural biases in their public ground truth. We open-source the model weights and all evaluation artifacts to facilitate future research.