Обнаружение и использование сегментов Спелке

Аннотация

Сегменты в компьютерном зрении часто определяются на основе семантических соображений и сильно зависят от категорийно-специфичных соглашений. В отличие от этого, исследования в области психологии развития показывают, что люди воспринимают мир через призму объектов Спелке — групп физических объектов, которые стабильно движутся вместе под воздействием физических сил. Таким образом, объекты Спелке опираются на категорийно-независимые причинно-следственные отношения движения, что потенциально лучше поддерживает задачи, такие как манипуляция и планирование. В данной работе мы сначала оцениваем концепцию объектов Спелке, представляя набор данных SpelkeBench, который содержит широкий спектр четко определенных сегментов Спелке на естественных изображениях. Затем, чтобы алгоритмически извлекать сегменты Спелке из изображений, мы создаем SpelkeNet — класс моделей визуального мира, обученных предсказывать распределения будущих движений. SpelkeNet поддерживает оценку двух ключевых концепций для обнаружения объектов Спелке: (1) карту возможностей движения, идентифицирующую области, которые с высокой вероятностью будут двигаться при воздействии, и (2) карту ожидаемого смещения, фиксирующую, как остальная часть сцены будет двигаться. Эти концепции используются для "статистического контрфактического зондирования", где разнообразные "виртуальные воздействия" применяются к областям с высокой возможностью движения, а результирующие карты ожидаемого смещения используются для определения сегментов Спелке как статистических агрегатов коррелированных статистик движения. Мы обнаруживаем, что SpelkeNet превосходит контролируемые базовые модели, такие как SegmentAnything (SAM), на наборе данных SpelkeBench. Наконец, мы показываем, что концепция Спелке практически полезна для последующих приложений, демонстрируя превосходную производительность на бенчмарке 3DEditBench для манипуляции физическими объектами при использовании в различных готовых моделях манипуляции объектами.

English

Segments in computer vision are often defined by semantic considerations and are highly dependent on category-specific conventions. In contrast, developmental psychology suggests that humans perceive the world in terms of Spelke objects--groupings of physical things that reliably move together when acted on by physical forces. Spelke objects thus operate on category-agnostic causal motion relationships which potentially better support tasks like manipulation and planning. In this paper, we first benchmark the Spelke object concept, introducing the SpelkeBench dataset that contains a wide variety of well-defined Spelke segments in natural images. Next, to extract Spelke segments from images algorithmically, we build SpelkeNet, a class of visual world models trained to predict distributions over future motions. SpelkeNet supports estimation of two key concepts for Spelke object discovery: (1) the motion affordance map, identifying regions likely to move under a poke, and (2) the expected-displacement map, capturing how the rest of the scene will move. These concepts are used for "statistical counterfactual probing", where diverse "virtual pokes" are applied on regions of high motion-affordance, and the resultant expected displacement maps are used define Spelke segments as statistical aggregates of correlated motion statistics. We find that SpelkeNet outperforms supervised baselines like SegmentAnything (SAM) on SpelkeBench. Finally, we show that the Spelke concept is practically useful for downstream applications, yielding superior performance on the 3DEditBench benchmark for physical object manipulation when used in a variety of off-the-shelf object manipulation models.

Обнаружение и использование сегментов Спелке

Discovering and using Spelke segments

Аннотация

Support