Descobrindo e utilizando segmentos de Spelke

Discovering and using Spelke segments

July 21, 2025

Autores: Rahul Venkatesh, Klemen Kotar, Lilian Naing Chen, Seungwoo Kim, Luca Thomas Wheeler, Jared Watrous, Ashley Xu, Gia Ancone, Wanhee Lee, Honglin Chen, Daniel Bear, Stefan Stojanov, Daniel Yamins

cs.AI

Resumo

Segmentos em visão computacional são frequentemente definidos por considerações semânticas e são altamente dependentes de convenções específicas de categorias. Em contraste, a psicologia do desenvolvimento sugere que os humanos percebem o mundo em termos de objetos de Spelke—agrupamentos de coisas físicas que se movem de forma confiável juntas quando atuadas por forças físicas. Objetos de Spelke, portanto, operam com base em relações causais de movimento que são independentes de categorias, o que potencialmente oferece melhor suporte para tarefas como manipulação e planejamento. Neste artigo, primeiro avaliamos o conceito de objeto de Spelke, introduzindo o conjunto de dados SpelkeBench, que contém uma ampla variedade de segmentos de Spelke bem definidos em imagens naturais. Em seguida, para extrair segmentos de Spelke de imagens de forma algorítmica, construímos o SpelkeNet, uma classe de modelos de mundo visual treinados para prever distribuições sobre movimentos futuros. O SpelkeNet suporta a estimativa de dois conceitos-chave para a descoberta de objetos de Spelke: (1) o mapa de affordance de movimento, identificando regiões que provavelmente se moverão sob um toque, e (2) o mapa de deslocamento esperado, capturando como o restante da cena se moverá. Esses conceitos são usados para "sondagem contrafactual estatística", onde diversos "toques virtuais" são aplicados em regiões de alta affordance de movimento, e os mapas de deslocamento esperado resultantes são usados para definir segmentos de Spelke como agregações estatísticas de correlações de movimento. Descobrimos que o SpelkeNet supera baselines supervisionados como o SegmentAnything (SAM) no SpelkeBench. Por fim, mostramos que o conceito de Spelke é praticamente útil para aplicações subsequentes, proporcionando desempenho superior no benchmark 3DEditBench para manipulação de objetos físicos quando utilizado em uma variedade de modelos de manipulação de objetos prontos para uso.

English

Segments in computer vision are often defined by semantic considerations and are highly dependent on category-specific conventions. In contrast, developmental psychology suggests that humans perceive the world in terms of Spelke objects--groupings of physical things that reliably move together when acted on by physical forces. Spelke objects thus operate on category-agnostic causal motion relationships which potentially better support tasks like manipulation and planning. In this paper, we first benchmark the Spelke object concept, introducing the SpelkeBench dataset that contains a wide variety of well-defined Spelke segments in natural images. Next, to extract Spelke segments from images algorithmically, we build SpelkeNet, a class of visual world models trained to predict distributions over future motions. SpelkeNet supports estimation of two key concepts for Spelke object discovery: (1) the motion affordance map, identifying regions likely to move under a poke, and (2) the expected-displacement map, capturing how the rest of the scene will move. These concepts are used for "statistical counterfactual probing", where diverse "virtual pokes" are applied on regions of high motion-affordance, and the resultant expected displacement maps are used define Spelke segments as statistical aggregates of correlated motion statistics. We find that SpelkeNet outperforms supervised baselines like SegmentAnything (SAM) on SpelkeBench. Finally, we show that the Spelke concept is practically useful for downstream applications, yielding superior performance on the 3DEditBench benchmark for physical object manipulation when used in a variety of off-the-shelf object manipulation models.