Segmenteren van Alles in Hoge Kwaliteit

Samenvatting

Het recente Segment Anything Model (SAM) vertegenwoordigt een grote sprong voorwaarts in het opschalen van segmentatiemodellen, waardoor krachtige zero-shot-mogelijkheden en flexibele prompting mogelijk worden. Ondanks de training met 1,1 miljard maskers, schiet de maskervoorspellingskwaliteit van SAM in veel gevallen tekort, vooral bij het omgaan met objecten die complexe structuren hebben. Wij stellen HQ-SAM voor, dat SAM uitrust met de mogelijkheid om elk object nauwkeurig te segmenteren, terwijl het oorspronkelijke promptbare ontwerp, de efficiëntie en de zero-shot-generaliseerbaarheid van SAM behouden blijven. Ons zorgvuldige ontwerp hergebruikt en behoudt de vooraf getrainde modelgewichten van SAM, terwijl slechts minimale extra parameters en rekenkracht worden geïntroduceerd. We ontwerpen een leerbare High-Quality Output Token, die wordt geïnjecteerd in de maskerdecoder van SAM en verantwoordelijk is voor het voorspellen van het hoogwaardige masker. In plaats van deze alleen toe te passen op maskerdecoderfeatures, fuseren we deze eerst met vroege en finale ViT-features voor verbeterde maskerdetails. Om onze geïntroduceerde leerbare parameters te trainen, stellen we een dataset samen van 44K fijnmazige maskers uit verschillende bronnen. HQ-SAM wordt alleen getraind op de geïntroduceerde dataset van 44k maskers, wat slechts 4 uur in beslag neemt op 8 GPU's. We tonen de effectiviteit van HQ-SAM aan in een reeks van 9 diverse segmentatiedatasets voor verschillende downstreamtaken, waarvan er 7 worden geëvalueerd in een zero-shot-transferprotocol. Onze code en modellen zullen worden vrijgegeven op https://github.com/SysCV/SAM-HQ.

English

The recent Segment Anything Model (SAM) represents a big leap in scaling up segmentation models, allowing for powerful zero-shot capabilities and flexible prompting. Despite being trained with 1.1 billion masks, SAM's mask prediction quality falls short in many cases, particularly when dealing with objects that have intricate structures. We propose HQ-SAM, equipping SAM with the ability to accurately segment any object, while maintaining SAM's original promptable design, efficiency, and zero-shot generalizability. Our careful design reuses and preserves the pre-trained model weights of SAM, while only introducing minimal additional parameters and computation. We design a learnable High-Quality Output Token, which is injected into SAM's mask decoder and is responsible for predicting the high-quality mask. Instead of only applying it on mask-decoder features, we first fuse them with early and final ViT features for improved mask details. To train our introduced learnable parameters, we compose a dataset of 44K fine-grained masks from several sources. HQ-SAM is only trained on the introduced detaset of 44k masks, which takes only 4 hours on 8 GPUs. We show the efficacy of HQ-SAM in a suite of 9 diverse segmentation datasets across different downstream tasks, where 7 out of them are evaluated in a zero-shot transfer protocol. Our code and models will be released at https://github.com/SysCV/SAM-HQ.

Segmenteren van Alles in Hoge Kwaliteit

Segment Anything in High Quality

Samenvatting

Support