Eficiência Transferível e Fundamentada para Segmentação de Vocabulário Aberto

Transferable and Principled Efficiency for Open-Vocabulary Segmentation

April 11, 2024

Autores: Jingxuan Xu, Wuyang Chen, Yao Zhao, Yunchao Wei

cs.AI

Resumo

O recente sucesso dos modelos de base pré-treinados de visão e linguagem tornou possível a Segmentação de Vocabulário Aberto (Open-Vocabulary Segmentation, OVS). Apesar do desempenho promissor, essa abordagem introduz uma sobrecarga computacional significativa devido a dois desafios: 1) o grande tamanho dos modelos da arquitetura principal; 2) os custos elevados durante o ajuste fino. Esses desafios impedem que essa estratégia de OVS seja amplamente aplicável e acessível em cenários do mundo real. Embora métodos tradicionais, como compressão de modelos e ajuste fino eficiente, possam abordar esses desafios, eles frequentemente dependem de heurísticas. Isso significa que suas soluções não podem ser facilmente transferidas e exigem retreinamento em diferentes modelos, o que acarreta custos adicionais. No contexto de uma OVS eficiente, nosso objetivo é alcançar um desempenho comparável ou até superior aos trabalhos anteriores de OVS baseados em grandes modelos de base de visão e linguagem, utilizando modelos menores que incorrem em custos de treinamento mais baixos. A estratégia central é tornar nossa eficiência fundamentada e, portanto, perfeitamente transferível de um framework de OVS para outros sem a necessidade de personalização adicional. Experimentos abrangentes em diversos benchmarks de OVS demonstram nossa superior relação entre precisão de segmentação e custos computacionais em comparação com trabalhos anteriores. Nosso código está disponível em https://github.com/Xujxyang/OpenTrans.

English

Recent success of pre-trained foundation vision-language models makes Open-Vocabulary Segmentation (OVS) possible. Despite the promising performance, this approach introduces heavy computational overheads for two challenges: 1) large model sizes of the backbone; 2) expensive costs during the fine-tuning. These challenges hinder this OVS strategy from being widely applicable and affordable in real-world scenarios. Although traditional methods such as model compression and efficient fine-tuning can address these challenges, they often rely on heuristics. This means that their solutions cannot be easily transferred and necessitate re-training on different models, which comes at a cost. In the context of efficient OVS, we target achieving performance that is comparable to or even better than prior OVS works based on large vision-language foundation models, by utilizing smaller models that incur lower training costs. The core strategy is to make our efficiency principled and thus seamlessly transferable from one OVS framework to others without further customization. Comprehensive experiments on diverse OVS benchmarks demonstrate our superior trade-off between segmentation accuracy and computation costs over previous works. Our code is available on https://github.com/Xujxyang/OpenTrans