Découverte et utilisation des segments de Spelke

papers.abstract

Les segments en vision par ordinateur sont souvent définis par des considérations sémantiques et dépendent fortement de conventions spécifiques à des catégories. En revanche, la psychologie du développement suggère que les humains perçoivent le monde en termes d'objets de Spelke—des regroupements d'éléments physiques qui se déplacent de manière cohérente lorsqu'ils sont soumis à des forces physiques. Les objets de Spelke opèrent donc sur des relations de mouvement causal indépendantes des catégories, ce qui pourrait mieux soutenir des tâches comme la manipulation et la planification. Dans cet article, nous évaluons d'abord le concept d'objet de Spelke, en introduisant le jeu de données SpelkeBench qui contient une grande variété de segments de Spelke bien définis dans des images naturelles. Ensuite, pour extraire algorithmiquement les segments de Spelke à partir d'images, nous construisons SpelkeNet, une classe de modèles visuels entraînés à prédire des distributions de mouvements futurs. SpelkeNet permet d'estimer deux concepts clés pour la découverte d'objets de Spelke : (1) la carte d'affordance de mouvement, identifiant les régions susceptibles de bouger sous une poussée, et (2) la carte de déplacement attendu, capturant comment le reste de la scène se déplacera. Ces concepts sont utilisés pour une "exploration contrefactuelle statistique", où diverses "poussées virtuelles" sont appliquées sur des régions à forte affordance de mouvement, et les cartes de déplacement attendu résultantes sont utilisées pour définir les segments de Spelke comme des agrégats statistiques de corrélations de mouvement. Nous constatons que SpelkeNet surpasse les modèles supervisés de référence comme SegmentAnything (SAM) sur SpelkeBench. Enfin, nous montrons que le concept de Spelke est utile en pratique pour des applications en aval, offrant des performances supérieures sur le benchmark 3DEditBench pour la manipulation d'objets physiques lorsqu'il est utilisé dans divers modèles de manipulation d'objets prêts à l'emploi.

English

Segments in computer vision are often defined by semantic considerations and are highly dependent on category-specific conventions. In contrast, developmental psychology suggests that humans perceive the world in terms of Spelke objects--groupings of physical things that reliably move together when acted on by physical forces. Spelke objects thus operate on category-agnostic causal motion relationships which potentially better support tasks like manipulation and planning. In this paper, we first benchmark the Spelke object concept, introducing the SpelkeBench dataset that contains a wide variety of well-defined Spelke segments in natural images. Next, to extract Spelke segments from images algorithmically, we build SpelkeNet, a class of visual world models trained to predict distributions over future motions. SpelkeNet supports estimation of two key concepts for Spelke object discovery: (1) the motion affordance map, identifying regions likely to move under a poke, and (2) the expected-displacement map, capturing how the rest of the scene will move. These concepts are used for "statistical counterfactual probing", where diverse "virtual pokes" are applied on regions of high motion-affordance, and the resultant expected displacement maps are used define Spelke segments as statistical aggregates of correlated motion statistics. We find that SpelkeNet outperforms supervised baselines like SegmentAnything (SAM) on SpelkeBench. Finally, we show that the Spelke concept is practically useful for downstream applications, yielding superior performance on the 3DEditBench benchmark for physical object manipulation when used in a variety of off-the-shelf object manipulation models.

Découverte et utilisation des segments de Spelke

Discovering and using Spelke segments

papers.abstract

Support