Ontdekken en gebruiken van Spelke-segmenten

Samenvatting

Segmenten in computervisie worden vaak gedefinieerd door semantische overwegingen en zijn sterk afhankelijk van categorie-specifieke conventies. Daarentegen suggereert ontwikkelingspsychologie dat mensen de wereld waarnemen in termen van Spelke-objecten—groeperingen van fysieke dingen die betrouwbaar samen bewegen wanneer ze worden beïnvloed door fysieke krachten. Spelke-objecten werken dus op categorie-agnostische causale bewegingsrelaties, wat mogelijk beter geschikt is voor taken zoals manipulatie en planning. In dit artikel benchmarken we eerst het Spelke-objectconcept, waarbij we de SpelkeBench-dataset introduceren die een breed scala aan goed gedefinieerde Spelke-segmenten in natuurlijke afbeeldingen bevat. Vervolgens bouwen we SpelkeNet, een klasse van visuele wereldmodellen die getraind zijn om verdelingen over toekomstige bewegingen te voorspellen, om Spelke-segmenten algoritmisch uit afbeeldingen te extraheren. SpelkeNet ondersteunt de schatting van twee sleutelconcepten voor Spelke-objectdetectie: (1) de bewegingsaffordantiekaart, die regio's identificeert die waarschijnlijk bewegen bij een prik, en (2) de verwachte-verplaatsingskaart, die vastlegt hoe de rest van de scène zal bewegen. Deze concepten worden gebruikt voor "statistische tegenfeitelijke verkenning", waarbij diverse "virtuele prikken" worden toegepast op regio's met hoge bewegingsaffordantie, en de resulterende verwachte verplaatsingskaarten worden gebruikt om Spelke-segmenten te definiëren als statistische aggregaten van gecorreleerde bewegingsstatistieken. We constateren dat SpelkeNet gesuperviseerde baseline-modellen zoals SegmentAnything (SAM) overtreft op SpelkeBench. Tot slot tonen we aan dat het Spelke-concept praktisch nuttig is voor downstream-toepassingen, waarbij het superieure prestaties oplevert op de 3DEditBench-benchmark voor fysieke objectmanipulatie wanneer het wordt gebruikt in een verscheidenheid aan kant-en-klare objectmanipulatiemodellen.

English

Segments in computer vision are often defined by semantic considerations and are highly dependent on category-specific conventions. In contrast, developmental psychology suggests that humans perceive the world in terms of Spelke objects--groupings of physical things that reliably move together when acted on by physical forces. Spelke objects thus operate on category-agnostic causal motion relationships which potentially better support tasks like manipulation and planning. In this paper, we first benchmark the Spelke object concept, introducing the SpelkeBench dataset that contains a wide variety of well-defined Spelke segments in natural images. Next, to extract Spelke segments from images algorithmically, we build SpelkeNet, a class of visual world models trained to predict distributions over future motions. SpelkeNet supports estimation of two key concepts for Spelke object discovery: (1) the motion affordance map, identifying regions likely to move under a poke, and (2) the expected-displacement map, capturing how the rest of the scene will move. These concepts are used for "statistical counterfactual probing", where diverse "virtual pokes" are applied on regions of high motion-affordance, and the resultant expected displacement maps are used define Spelke segments as statistical aggregates of correlated motion statistics. We find that SpelkeNet outperforms supervised baselines like SegmentAnything (SAM) on SpelkeBench. Finally, we show that the Spelke concept is practically useful for downstream applications, yielding superior performance on the 3DEditBench benchmark for physical object manipulation when used in a variety of off-the-shelf object manipulation models.

Ontdekken en gebruiken van Spelke-segmenten

Discovering and using Spelke segments

Samenvatting

Support