ZooClaw-FashionSigLIP2: 강건한 패션 검색을 위한 증류 기반 미세 조정

초록

기초 비전-언어 인코더를 특수 검색 작업에 적용하는 것은 근본적인 트레이드오프를 야기한다. 목표 분포에서의 성능 향상은 기초 모델의 광범위한 일반화 능력을 희생하는 대가로 얻어지며, 패션 검색은 이러한 문제의 엄격한 사례에 해당한다. 본 논문에서는 ZooClaw-FashionSigLIP2를 제안한다. 이는 패션 특화 SigLIP2-베이스 모델로, 간단한 레시피——큐레이팅된 인-도메인 데이터에 대한 전체 파인튜닝 및 지식 증류, 이어서 \wiseft~wortsman2022wiseft 가중치 보간을 통한 베이스 모델과의 결합——을 통해 해당 트레이드오프를 해결하며, LoRA, 더 큰 백본(최대 1B 파라미터), 외부 훈련 데이터보다 우수한 성능을 보인다. 공정한 평가 하에 ZooClaw-FashionSigLIP2는 우리 벤치마크 제품군의 모든 평가 지표에서 모든 기준선을 능가한다. 또한, 새로운 고품질 패션 검색 벤치마크인 ZooClaw-Fashion과, 널리 사용되는 벤치마크들의 체계적인 품질 분석을 공개하여 공개 정답 데이터에 내재된 구조적 편향을 드러내고 완화한다. 향후 연구를 촉진하기 위해 모델 가중치와 모든 평가 산출물을 오픈소스로 공개한다.

English

Adapting a foundation vision-language encoder to a specialized retrieval task creates a fundamental tradeoff: gains on the target distribution come at the cost of the foundation model's broad generalization, and fashion retrieval is a stringent instance of this problem. We present ZooClaw-FashionSigLIP2, a fashion-specialized SigLIP2-base model that resolves this tradeoff with a simple recipe -- full fine-tuning with knowledge distillation on curated in-domain data, followed by \wiseft~wortsman2022wiseft weight interpolation with the base model -- and outperforms LoRA, larger backbones (up to 1B parameters), and external training data. Under fair evaluation, ZooClaw-FashionSigLIP2 outperforms all baselines on every benchmark in our suite. In addition, we release ZooClaw-Fashion, a new high-quality fashion retrieval benchmark, and a systematic quality analysis of widely-used benchmarks that exposes and mitigates structural biases in their public ground truth. We open-source the model weights and all evaluation artifacts to facilitate future research.