Descubrimiento y uso de segmentos de Spelke

Resumen

En visión por computadora, los segmentos suelen definirse por consideraciones semánticas y dependen en gran medida de convenciones específicas de categorías. En contraste, la psicología del desarrollo sugiere que los humanos perciben el mundo en términos de objetos de Spelke: agrupaciones de elementos físicos que se mueven de manera conjunta y predecible cuando son afectados por fuerzas físicas. Los objetos de Spelke, por lo tanto, operan en relaciones causales de movimiento independientes de categorías, lo que potencialmente brinda un mejor soporte para tareas como la manipulación y la planificación. En este artículo, primero evaluamos el concepto de objeto de Spelke, presentando el conjunto de datos SpelkeBench, que contiene una amplia variedad de segmentos de Spelke bien definidos en imágenes naturales. Luego, para extraer segmentos de Spelke de imágenes de manera algorítmica, construimos SpelkeNet, una clase de modelos de mundo visual entrenados para predecir distribuciones de movimientos futuros. SpelkeNet permite estimar dos conceptos clave para el descubrimiento de objetos de Spelke: (1) el mapa de posibilidades de movimiento, que identifica regiones con probabilidad de moverse ante un "empujón", y (2) el mapa de desplazamiento esperado, que captura cómo se moverá el resto de la escena. Estos conceptos se utilizan en la "exploración contrafáctica estadística", donde se aplican diversos "empujones virtuales" en regiones con alta posibilidad de movimiento, y los mapas de desplazamiento esperado resultantes se usan para definir segmentos de Spelke como agregados estadísticos de correlaciones en el movimiento. Encontramos que SpelkeNet supera a líneas base supervisadas como SegmentAnything (SAM) en SpelkeBench. Finalmente, demostramos que el concepto de Spelke es práctico para aplicaciones posteriores, obteniendo un rendimiento superior en el benchmark 3DEditBench para la manipulación de objetos físicos cuando se utiliza en una variedad de modelos de manipulación de objetos listos para usar.

English

Segments in computer vision are often defined by semantic considerations and are highly dependent on category-specific conventions. In contrast, developmental psychology suggests that humans perceive the world in terms of Spelke objects--groupings of physical things that reliably move together when acted on by physical forces. Spelke objects thus operate on category-agnostic causal motion relationships which potentially better support tasks like manipulation and planning. In this paper, we first benchmark the Spelke object concept, introducing the SpelkeBench dataset that contains a wide variety of well-defined Spelke segments in natural images. Next, to extract Spelke segments from images algorithmically, we build SpelkeNet, a class of visual world models trained to predict distributions over future motions. SpelkeNet supports estimation of two key concepts for Spelke object discovery: (1) the motion affordance map, identifying regions likely to move under a poke, and (2) the expected-displacement map, capturing how the rest of the scene will move. These concepts are used for "statistical counterfactual probing", where diverse "virtual pokes" are applied on regions of high motion-affordance, and the resultant expected displacement maps are used define Spelke segments as statistical aggregates of correlated motion statistics. We find that SpelkeNet outperforms supervised baselines like SegmentAnything (SAM) on SpelkeBench. Finally, we show that the Spelke concept is practically useful for downstream applications, yielding superior performance on the 3DEditBench benchmark for physical object manipulation when used in a variety of off-the-shelf object manipulation models.

Descubrimiento y uso de segmentos de Spelke

Discovering and using Spelke segments

Resumen

Support