ZooClaw-FashionSigLIP2 : Réglage fin distillé pour une recherche robuste de mode

Résumé

Adapter un encodeur vision-langage fondamental à une tâche de recherche spécialisée crée un compromis fondamental : les gains sur la distribution cible se font au détriment de la large généralisation du modèle de fondation, et la recherche de mode en est un cas rigoureux. Nous présentons ZooClaw-FashionSigLIP2, un modèle SigLIP2-base spécialisé dans la mode, qui résout ce compromis grâce à une recette simple — un ajustement fin complet avec distillation des connaissances sur des données de domaine soigneusement sélectionnées, suivi d’une interpolation des poids \wiseft~wortsman2022wiseft avec le modèle de base — et surpasse LoRA, des architectures plus grandes (jusqu’à 1 milliard de paramètres) et des données d’entraînement externes. Dans le cadre d’une évaluation équitable, ZooClaw-FashionSigLIP2 surpasse toutes les références sur chaque benchmark de notre suite. De plus, nous publions ZooClaw-Fashion, un nouveau benchmark de haute qualité pour la recherche de mode, ainsi qu’une analyse systématique de la qualité de benchmarks largement utilisés, qui expose et atténue les biais structurels dans leur vérité de terrain publique. Nous mettons en open source les poids du modèle et tous les artefacts d’évaluation pour faciliter les recherches futures.

English

Adapting a foundation vision-language encoder to a specialized retrieval task creates a fundamental tradeoff: gains on the target distribution come at the cost of the foundation model's broad generalization, and fashion retrieval is a stringent instance of this problem. We present ZooClaw-FashionSigLIP2, a fashion-specialized SigLIP2-base model that resolves this tradeoff with a simple recipe -- full fine-tuning with knowledge distillation on curated in-domain data, followed by \wiseft~wortsman2022wiseft weight interpolation with the base model -- and outperforms LoRA, larger backbones (up to 1B parameters), and external training data. Under fair evaluation, ZooClaw-FashionSigLIP2 outperforms all baselines on every benchmark in our suite. In addition, we release ZooClaw-Fashion, a new high-quality fashion retrieval benchmark, and a systematic quality analysis of widely-used benchmarks that exposes and mitigates structural biases in their public ground truth. We open-source the model weights and all evaluation artifacts to facilitate future research.