Efficienza Trasferibile e Principiata per la Segmentazione a Vocabolario Aperto

Transferable and Principled Efficiency for Open-Vocabulary Segmentation

April 11, 2024

Autori: Jingxuan Xu, Wuyang Chen, Yao Zhao, Yunchao Wei

cs.AI

Abstract

Il recente successo dei modelli pre-addestrati di visione e linguaggio ha reso possibile la Segmentazione a Vocabolario Aperto (Open-Vocabulary Segmentation, OVS). Nonostante le prestazioni promettenti, questo approccio introduce un pesante sovraccarico computazionale a causa di due sfide principali: 1) le dimensioni elevate dei modelli di base; 2) i costi elevati durante la fase di fine-tuning. Queste sfide limitano l'applicabilità e l'accessibilità di questa strategia OVS negli scenari reali. Sebbene metodi tradizionali come la compressione dei modelli e il fine-tuning efficiente possano affrontare queste sfide, spesso si basano su euristiche. Ciò significa che le loro soluzioni non possono essere facilmente trasferite e richiedono un ri-addestramento su modelli diversi, con un costo associato. Nel contesto di un OVS efficiente, il nostro obiettivo è raggiungere prestazioni paragonabili o addirittura superiori rispetto ai precedenti lavori OVS basati su grandi modelli di visione e linguaggio, utilizzando modelli più piccoli che comportano costi di addestramento inferiori. La strategia principale è rendere la nostra efficienza basata su principi e quindi trasferibile senza soluzione di continuità da un framework OVS a un altro senza ulteriori personalizzazioni. Esperimenti completi su diversi benchmark OVS dimostrano il nostro miglior compromesso tra accuratezza di segmentazione e costi computazionali rispetto ai lavori precedenti. Il nostro codice è disponibile su https://github.com/Xujxyang/OpenTrans.

English

Recent success of pre-trained foundation vision-language models makes Open-Vocabulary Segmentation (OVS) possible. Despite the promising performance, this approach introduces heavy computational overheads for two challenges: 1) large model sizes of the backbone; 2) expensive costs during the fine-tuning. These challenges hinder this OVS strategy from being widely applicable and affordable in real-world scenarios. Although traditional methods such as model compression and efficient fine-tuning can address these challenges, they often rely on heuristics. This means that their solutions cannot be easily transferred and necessitate re-training on different models, which comes at a cost. In the context of efficient OVS, we target achieving performance that is comparable to or even better than prior OVS works based on large vision-language foundation models, by utilizing smaller models that incur lower training costs. The core strategy is to make our efficiency principled and thus seamlessly transferable from one OVS framework to others without further customization. Comprehensive experiments on diverse OVS benchmarks demonstrate our superior trade-off between segmentation accuracy and computation costs over previous works. Our code is available on https://github.com/Xujxyang/OpenTrans