Entdeckung und Nutzung von Spelke-Segmenten

papers.abstract

Segmente in der Computer Vision werden oft durch semantische Überlegungen definiert und sind stark von kategoriespezifischen Konventionen abhängig. Im Gegensatz dazu legt die Entwicklungspsychologie nahe, dass Menschen die Welt in Form von Spelke-Objekten wahrnehmen – Gruppierungen physischer Dinge, die sich zuverlässig gemeinsam bewegen, wenn sie durch physikalische Kräfte beeinflusst werden. Spelke-Objekte basieren somit auf kategorieunabhängigen kausalen Bewegungsbeziehungen, die potenziell Aufgaben wie Manipulation und Planung besser unterstützen. In diesem Artikel evaluieren wir zunächst das Konzept der Spelke-Objekte und stellen den SpelkeBench-Datensatz vor, der eine Vielzahl von klar definierten Spelke-Segmenten in natürlichen Bildern enthält. Anschließend entwickeln wir SpelkeNet, eine Klasse von visuellen Weltmodellen, die darauf trainiert sind, Verteilungen über zukünftige Bewegungen vorherzusagen, um Spelke-Segmente algorithmisch aus Bildern zu extrahieren. SpelkeNet unterstützt die Schätzung zweier Schlüsselkonzepte für die Entdeckung von Spelke-Objekten: (1) die Bewegungsaffordanzkarte, die Regionen identifiziert, die sich wahrscheinlich bei einem Stoß bewegen, und (2) die erwartete Verschiebungskarte, die erfasst, wie sich der Rest der Szene bewegen wird. Diese Konzepte werden für „statistisches kontrafaktisches Testen“ verwendet, bei dem diverse „virtuelle Stöße“ auf Regionen mit hoher Bewegungsaffordanz angewendet werden, und die resultierenden erwarteten Verschiebungskarten genutzt werden, um Spelke-Segmente als statistische Aggregate korrelierter Bewegungsstatistiken zu definieren. Wir stellen fest, dass SpelkeNet überwachte Baselines wie SegmentAnything (SAM) auf SpelkeBench übertrifft. Schließlich zeigen wir, dass das Spelke-Konzept praktisch nützlich für nachgelagerte Anwendungen ist und eine überlegene Leistung auf dem 3DEditBench-Benchmark für die physische Objektmanipulation erzielt, wenn es in einer Vielzahl von Standardmodellen zur Objektmanipulation eingesetzt wird.

English

Segments in computer vision are often defined by semantic considerations and are highly dependent on category-specific conventions. In contrast, developmental psychology suggests that humans perceive the world in terms of Spelke objects--groupings of physical things that reliably move together when acted on by physical forces. Spelke objects thus operate on category-agnostic causal motion relationships which potentially better support tasks like manipulation and planning. In this paper, we first benchmark the Spelke object concept, introducing the SpelkeBench dataset that contains a wide variety of well-defined Spelke segments in natural images. Next, to extract Spelke segments from images algorithmically, we build SpelkeNet, a class of visual world models trained to predict distributions over future motions. SpelkeNet supports estimation of two key concepts for Spelke object discovery: (1) the motion affordance map, identifying regions likely to move under a poke, and (2) the expected-displacement map, capturing how the rest of the scene will move. These concepts are used for "statistical counterfactual probing", where diverse "virtual pokes" are applied on regions of high motion-affordance, and the resultant expected displacement maps are used define Spelke segments as statistical aggregates of correlated motion statistics. We find that SpelkeNet outperforms supervised baselines like SegmentAnything (SAM) on SpelkeBench. Finally, we show that the Spelke concept is practically useful for downstream applications, yielding superior performance on the 3DEditBench benchmark for physical object manipulation when used in a variety of off-the-shelf object manipulation models.

Entdeckung und Nutzung von Spelke-Segmenten

Discovering and using Spelke segments

papers.abstract

Support