Spelkeセグメントの発見と活用

要旨

コンピュータビジョンにおけるセグメントは、しばしば意味論的な考慮に基づいて定義され、カテゴリ固有の慣習に強く依存しています。一方、発達心理学は、人間が世界を「スペルク・オブジェクト」として認識することを示唆しています。スペルク・オブジェクトとは、物理的な力が作用したときに一緒に動く物理的なものの集合体です。したがって、スペルク・オブジェクトはカテゴリに依存しない因果的運動関係に基づいており、操作や計画などのタスクをより適切にサポートする可能性があります。本論文では、まずスペルク・オブジェクトの概念をベンチマークし、自然画像における多様な明確なスペルク・セグメントを含むSpelkeBenchデータセットを紹介します。次に、画像からスペルク・セグメントをアルゴリズム的に抽出するために、将来の運動分布を予測するように訓練された視覚世界モデルのクラスであるSpelkeNetを構築します。SpelkeNetは、スペルク・オブジェクト発見のための2つの重要な概念の推定をサポートします：(1) モーション・アフォーダンス・マップ（pokeによって動きそうな領域を特定する）、(2) 期待変位マップ（シーンの他の部分がどのように動くかを捉える）。これらの概念は「統計的反事実的プロービング」に使用され、高モーション・アフォーダンスの領域に多様な「仮想poke」を適用し、その結果得られる期待変位マップを使用して、相関する運動統計の統計的集約としてスペルク・セグメントを定義します。SpelkeNetは、SpelkeBenchにおいてSegmentAnything（SAM）などの教師ありベースラインを上回る性能を示します。最後に、スペルクの概念が下流アプリケーションにおいて実用的に有用であることを示し、様々なオフザシェルフのオブジェクト操作モデルで使用した場合、物理的オブジェクト操作のための3DEditBenchベンチマークで優れた性能を発揮することを示します。

English

Segments in computer vision are often defined by semantic considerations and are highly dependent on category-specific conventions. In contrast, developmental psychology suggests that humans perceive the world in terms of Spelke objects--groupings of physical things that reliably move together when acted on by physical forces. Spelke objects thus operate on category-agnostic causal motion relationships which potentially better support tasks like manipulation and planning. In this paper, we first benchmark the Spelke object concept, introducing the SpelkeBench dataset that contains a wide variety of well-defined Spelke segments in natural images. Next, to extract Spelke segments from images algorithmically, we build SpelkeNet, a class of visual world models trained to predict distributions over future motions. SpelkeNet supports estimation of two key concepts for Spelke object discovery: (1) the motion affordance map, identifying regions likely to move under a poke, and (2) the expected-displacement map, capturing how the rest of the scene will move. These concepts are used for "statistical counterfactual probing", where diverse "virtual pokes" are applied on regions of high motion-affordance, and the resultant expected displacement maps are used define Spelke segments as statistical aggregates of correlated motion statistics. We find that SpelkeNet outperforms supervised baselines like SegmentAnything (SAM) on SpelkeBench. Finally, we show that the Spelke concept is practically useful for downstream applications, yielding superior performance on the 3DEditBench benchmark for physical object manipulation when used in a variety of off-the-shelf object manipulation models.

Spelkeセグメントの発見と活用

Discovering and using Spelke segments

要旨

Support