ZooClaw-FashionSigLIP2: Ajuste fino destilado para recuperación robusta de moda

Resumen

Adaptar un codificador de visión-lenguaje fundamental a una tarea especializada de recuperación crea un equilibrio fundamental: las ganancias en la distribución objetivo se logran a costa de la amplia generalización del modelo base, y la recuperación de moda constituye un ejemplo exigente de este problema. Presentamos ZooClaw-FashionSigLIP2, un modelo especializado en moda basado en SigLIP2-base que resuelve este equilibrio con una receta simple — ajuste fino completo con destilación de conocimiento sobre datos curados del dominio, seguido de interpolación de pesos mediante \wiseft~wortsman2022wiseft con el modelo base — y supera a LoRA, backbones más grandes (de hasta 1B de parámetros) y datos de entrenamiento externos. Bajo una evaluación justa, ZooClaw-FashionSigLIP2 supera a todas las líneas base en cada referencia de nuestro conjunto. Además, publicamos ZooClaw-Fashion, una nueva referencia de alta calidad para recuperación de moda, y un análisis sistemático de la calidad de referencias ampliamente utilizadas que expone y mitiga sesgos estructurales en sus datos de verificación real públicos. Publicamos los pesos del modelo y todos los artefactos de evaluación en código abierto para facilitar futuras investigaciones.

English

Adapting a foundation vision-language encoder to a specialized retrieval task creates a fundamental tradeoff: gains on the target distribution come at the cost of the foundation model's broad generalization, and fashion retrieval is a stringent instance of this problem. We present ZooClaw-FashionSigLIP2, a fashion-specialized SigLIP2-base model that resolves this tradeoff with a simple recipe -- full fine-tuning with knowledge distillation on curated in-domain data, followed by \wiseft~wortsman2022wiseft weight interpolation with the base model -- and outperforms LoRA, larger backbones (up to 1B parameters), and external training data. Under fair evaluation, ZooClaw-FashionSigLIP2 outperforms all baselines on every benchmark in our suite. In addition, we release ZooClaw-Fashion, a new high-quality fashion retrieval benchmark, and a systematic quality analysis of widely-used benchmarks that exposes and mitigates structural biases in their public ground truth. We open-source the model weights and all evaluation artifacts to facilitate future research.