UnSAMv2: Zelf-gesuperviseerd leren maakt segmentatie mogelijk op elke granulariteit
UnSAMv2: Self-Supervised Learning Enables Segment Anything at Any Granularity
November 17, 2025
Auteurs: Junwei Yu, Trevor Darrell, XuDong Wang
cs.AI
Samenvatting
Het Segment Anything Model (SAM) is uitgegroeid tot een veelgebruikt vision foundation model, maar het vermogen om de segmentatiekorreligheid te beheersen blijft beperkt. Gebruikers moeten de resultaten vaak handmatig verfijnen - door meer prompts toe te voegen of te kiezen uit vooraf gegenereerde maskers - om het gewenste detailniveau te bereiken. Dit proces kan dubbelzinnig zijn, omdat dezelfde prompt kan corresponderen met verschillende plausibele maskers, en het verzamelen van dichte annotaties over alle korreligheden is buitensporig duur, waardoor supervised oplossingen onhaalbaar zijn. Om deze beperking aan te pakken, introduceren we UnSAMv2, dat segmentatie op elke korreligheid mogelijk maakt zonder menselijke annotaties. UnSAMv2 breidt de verdeel-en-heers strategie van UnSAM uit door overvloedige masker-korreligheidsparen te ontdekken en een nieuwe granulariteitscontrole-embedding te introduceren die nauwkeurige, continue controle over de segmentatieschaal mogelijk maakt. Opmerkelijk is dat met slechts 6K ongelabelde afbeeldingen en 0.02% extra parameters, UnSAMv2 SAM-2 aanzienlijk verbetert en segmentatie op elke korreligheid mogelijk maakt voor interactieve, volledige-afbeelding en videosegmentatietaken. Geëvalueerd op meer dan 11 benchmarks, verbetert UnSAMv2 NoC_{90} (5.69 → 4.75), 1-IoU (58.0 → 73.1) en AR_{1000} (49.6 → 68.3), wat aantoont dat kleine hoeveelheden ongelabelde data met een korreligheidsbewuste zelf-gesuperviseerde leermethode het potentieel van vision foundation modellen kunnen ontsluiten.
English
The Segment Anything Model (SAM) family has become a widely adopted vision foundation model, but its ability to control segmentation granularity remains limited. Users often need to refine results manually - by adding more prompts or selecting from pre-generated masks - to achieve the desired level of detail. This process can be ambiguous, as the same prompt may correspond to several plausible masks, and collecting dense annotations across all granularities is prohibitively expensive, making supervised solutions infeasible. To address this limitation, we introduce UnSAMv2, which enables segment anything at any granularity without human annotations. UnSAMv2 extends the divide-and-conquer strategy of UnSAM by discovering abundant mask-granularity pairs and introducing a novel granularity control embedding that enables precise, continuous control over segmentation scale. Remarkably, with only 6K unlabeled images and 0.02% additional parameters, UnSAMv2 substantially enhances SAM-2, achieving segment anything at any granularity across interactive, whole-image, and video segmentation tasks. Evaluated on over 11 benchmarks, UnSAMv2 improves NoC_{90} (5.69 rightarrow 4.75), 1-IoU (58.0 rightarrow 73.1), and AR_{1000} (49.6 rightarrow 68.3), showing that small amounts of unlabeled data with a granularity-aware self-supervised learning method can unlock the potential of vision foundation models.