ZooClaw-FashionSigLIP2: Дистиллированное дообучение для устойчивого поиска моды

Аннотация

Адаптация базового кодировщика vision-language к специализированной задаче поиска создает фундаментальный компромисс: выигрыш на целевом распределении достигается ценой потери широкой обобщающей способности базовой модели, и поиск одежды является ярким примером этой проблемы. Мы представляем ZooClaw-FashionSigLIP2 — специализированную модель на базе SigLIP2, которая разрешает этот компромисс с помощью простого рецепта: полная тонкая настройка с дистилляцией знаний на курируемых внутридоменных данных с последующей интерполяцией весов (WiseFT, wortsman2022wiseft) с базовой моделью. Этот подход превосходит LoRA, более крупные архитектуры (вплоть до 1 млрд параметров) и использование внешних обучающих данных. При честном сравнении ZooClaw-FashionSigLIP2 превосходит все базовые линии по каждому бенчмарку в нашем наборе. Кроме того, мы выпускаем ZooClaw-Fashion — новый высококачественный бенчмарк для поиска одежды — и проводим систематический анализ качества широко используемых бенчмарков, вскрывающий и смягчающий структурные смещения в их публичных эталонных данных. Мы публикуем веса модели и все артефакты для оценки в открытом доступе, чтобы способствовать будущим исследованиям.

English

Adapting a foundation vision-language encoder to a specialized retrieval task creates a fundamental tradeoff: gains on the target distribution come at the cost of the foundation model's broad generalization, and fashion retrieval is a stringent instance of this problem. We present ZooClaw-FashionSigLIP2, a fashion-specialized SigLIP2-base model that resolves this tradeoff with a simple recipe -- full fine-tuning with knowledge distillation on curated in-domain data, followed by \wiseft~wortsman2022wiseft weight interpolation with the base model -- and outperforms LoRA, larger backbones (up to 1B parameters), and external training data. Under fair evaluation, ZooClaw-FashionSigLIP2 outperforms all baselines on every benchmark in our suite. In addition, we release ZooClaw-Fashion, a new high-quality fashion retrieval benchmark, and a systematic quality analysis of widely-used benchmarks that exposes and mitigates structural biases in their public ground truth. We open-source the model weights and all evaluation artifacts to facilitate future research.