X線視覚のためのトレーニング：アモーダルセグメンテーション、アモーダルコンテンツ補完、およびマルチカメラビデオからの視点不変オブジェクト表現

Training for X-Ray Vision: Amodal Segmentation, Amodal Content Completion, and View-Invariant Object Representation from Multi-Camera Video

July 1, 2025

著者: Alexander Moore, Amar Saini, Kylie Cancilla, Doug Poland, Carmen Carrano

cs.AI

要旨

アモーダルセグメンテーションとアモーダルコンテンツ補完は、複雑なシーンにおける物体の隠蔽されたマスクや特徴を推定するために、物体の事前知識を利用する必要があります。これまで、物体のコンテキストに関する追加の次元、すなわち複数のカメラが同一シーンを共有する可能性を提供するデータは存在しませんでした。本論文では、MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Contentを紹介します。これは、これまでで最大のアモーダルセグメンテーションおよび初のアモーダルコンテンツデータセットです。一般的な家庭用品が散らばったシーンが、マルチカメラビデオでシミュレートされています。MOVi-MC-ACは、物体検出、追跡、セグメンテーションに関する研究の拡大に貢献し、コンピュータビジョンのための深層学習に2つの新しい貢献を提供します。複数のカメラ（MC）設定では、物体をさまざまなユニークなカメラ視点間で識別および追跡することが可能ですが、これは合成および実世界のビデオにおいて稀です。本データセットは、単一シーンにおけるフレーム間および複数のカメラ間で、一貫した物体IDを提供し、それぞれがユニークな特徴と動きパターンを持つことで、合成ビデオに新たな複雑さを導入します。アモーダルコンテンツ（AC）は、モデルが隠蔽された対象物体の外観を予測する再構築タスクです。アモーダルセグメンテーションの文献では、アモーダル検出、追跡、セグメンテーションのラベルを提供するいくつかのデータセットがリリースされています。他の手法では、アモーダルコンテンツの疑似ラベルを生成するために遅いカットアンドペースト方式に依存していますが、これらはモーダルマスクに存在する自然な隠蔽を考慮していません。MOVi-MC-ACは、約580万の物体インスタンスに対するラベルを提供し、アモーダルデータセットの文献において新たな最大値を設定するとともに、初めてのグラウンドトゥルースアモーダルコンテンツを提供します。完全なデータセットは、https://huggingface.co/datasets/Amar-S/MOVi-MC-AC で利用可能です。

English

Amodal segmentation and amodal content completion require using object priors to estimate occluded masks and features of objects in complex scenes. Until now, no data has provided an additional dimension for object context: the possibility of multiple cameras sharing a view of a scene. We introduce MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content, the largest amodal segmentation and first amodal content dataset to date. Cluttered scenes of generic household objects are simulated in multi-camera video. MOVi-MC-AC contributes to the growing literature of object detection, tracking, and segmentation by including two new contributions to the deep learning for computer vision world. Multiple Camera (MC) settings where objects can be identified and tracked between various unique camera perspectives are rare in both synthetic and real-world video. We introduce a new complexity to synthetic video by providing consistent object ids for detections and segmentations between both frames and multiple cameras each with unique features and motion patterns on a single scene. Amodal Content (AC) is a reconstructive task in which models predict the appearance of target objects through occlusions. In the amodal segmentation literature, some datasets have been released with amodal detection, tracking, and segmentation labels. While other methods rely on slow cut-and-paste schemes to generate amodal content pseudo-labels, they do not account for natural occlusions present in the modal masks. MOVi-MC-AC provides labels for ~5.8 million object instances, setting a new maximum in the amodal dataset literature, along with being the first to provide ground-truth amodal content. The full dataset is available at https://huggingface.co/datasets/Amar-S/MOVi-MC-AC ,