Übertragbare und prinzipientreue Effizienz für die Segmentierung mit offenen Vokabularen

Transferable and Principled Efficiency for Open-Vocabulary Segmentation

April 11, 2024

Autoren: Jingxuan Xu, Wuyang Chen, Yao Zhao, Yunchao Wei

cs.AI

Zusammenfassung

Der jüngste Erfolg von vortrainierten Grundlagenmodellen für die Verbindung von Bildern und Sprache ermöglicht die Open-Vocabulary Segmentation (OVS). Trotz der vielversprechenden Leistung führt dieser Ansatz zu hohen Rechenlasten aufgrund von zwei Herausforderungen: 1) großen Modellgrößen des Kernmodells; 2) hohen Kosten während des Feinabstimmungsprozesses. Diese Herausforderungen verhindern, dass diese OVS-Strategie weit verbreitet und kostengünstig in realen Szenarien eingesetzt wird. Obwohl traditionelle Methoden wie Modellkompression und effiziente Feinabstimmung diese Herausforderungen bewältigen können, stützen sie sich oft auf Heuristiken. Das bedeutet, dass ihre Lösungen nicht einfach übertragbar sind und ein erneutes Training auf verschiedenen Modellen erfordern, was mit Kosten verbunden ist. Im Kontext einer effizienten OVS zielen wir darauf ab, eine Leistung zu erzielen, die mit oder sogar besser als frühere OVS-Arbeiten basierend auf großen Modellen für die Verbindung von Bildern und Sprache ist, indem wir kleinere Modelle nutzen, die geringere Trainingskosten verursachen. Die Kernstrategie besteht darin, unsere Effizienz methodisch zu gestalten und somit nahtlos von einem OVS-Framework auf andere übertragbar zu machen, ohne weitere Anpassungen vornehmen zu müssen. Umfassende Experimente an verschiedenen OVS-Benchmarks zeigen unseren überlegenen Kompromiss zwischen Segmentierungsgenauigkeit und Rechenkosten im Vergleich zu früheren Arbeiten. Unser Code ist verfügbar unter https://github.com/Xujxyang/OpenTrans

English

Recent success of pre-trained foundation vision-language models makes Open-Vocabulary Segmentation (OVS) possible. Despite the promising performance, this approach introduces heavy computational overheads for two challenges: 1) large model sizes of the backbone; 2) expensive costs during the fine-tuning. These challenges hinder this OVS strategy from being widely applicable and affordable in real-world scenarios. Although traditional methods such as model compression and efficient fine-tuning can address these challenges, they often rely on heuristics. This means that their solutions cannot be easily transferred and necessitate re-training on different models, which comes at a cost. In the context of efficient OVS, we target achieving performance that is comparable to or even better than prior OVS works based on large vision-language foundation models, by utilizing smaller models that incur lower training costs. The core strategy is to make our efficiency principled and thus seamlessly transferable from one OVS framework to others without further customization. Comprehensive experiments on diverse OVS benchmarks demonstrate our superior trade-off between segmentation accuracy and computation costs over previous works. Our code is available on https://github.com/Xujxyang/OpenTrans