Training voor Röntgenzicht: Amodale Segmentatie, Amodale Inhoudsvoltooiing en Weergave-Onafhankelijke Objectrepresentatie uit Multi-Camera Video

Training for X-Ray Vision: Amodal Segmentation, Amodal Content Completion, and View-Invariant Object Representation from Multi-Camera Video

July 1, 2025

Auteurs: Alexander Moore, Amar Saini, Kylie Cancilla, Doug Poland, Carmen Carrano

cs.AI

Samenvatting

Amodale segmentatie en amodale inhoudscompletie vereisen het gebruik van objectpriors om verborgen maskers en kenmerken van objecten in complexe scènes te schatten. Tot nu toe heeft geen enkele dataset een extra dimensie geboden voor objectcontext: de mogelijkheid van meerdere camera's die een gezamenlijk beeld van een scène delen. Wij introduceren MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content, de grootste amodale segmentatie- en eerste amodale inhoudsdataset tot op heden. Rommelige scènes van algemene huishoudelijke objecten worden gesimuleerd in multi-cameravideo's. MOVi-MC-AC draagt bij aan de groeiende literatuur over objectdetectie, tracking en segmentatie door twee nieuwe bijdragen te leveren aan de wereld van deep learning voor computervisie. Instellingen met Meerdere Camera's (MC), waarbij objecten kunnen worden geïdentificeerd en gevolgd tussen verschillende unieke cameraperspectieven, zijn zeldzaam in zowel synthetische als real-world video's. Wij introduceren een nieuwe complexiteit in synthetische video's door consistente object-ID's te bieden voor detecties en segmentaties tussen zowel frames als meerdere camera's, elk met unieke kenmerken en bewegingspatronen in een enkele scène. Amodale Inhoud (AC) is een reconstructieve taak waarbij modellen het uiterlijk van doelobjecten voorspellen door occlusies heen. In de literatuur over amodale segmentatie zijn enkele datasets vrijgegeven met amodale detectie-, tracking- en segmentatielabels. Terwijl andere methoden vertrouwen op trage cut-and-paste-schema's om amodale inhoud pseudo-labels te genereren, houden zij geen rekening met natuurlijke occlusies die aanwezig zijn in de modale maskers. MOVi-MC-AC biedt labels voor ~5,8 miljoen objectinstanties, wat een nieuw maximum stelt in de literatuur over amodale datasets, en is tevens de eerste die grondwaarheid amodale inhoud biedt. De volledige dataset is beschikbaar op https://huggingface.co/datasets/Amar-S/MOVi-MC-AC.

English

Amodal segmentation and amodal content completion require using object priors to estimate occluded masks and features of objects in complex scenes. Until now, no data has provided an additional dimension for object context: the possibility of multiple cameras sharing a view of a scene. We introduce MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content, the largest amodal segmentation and first amodal content dataset to date. Cluttered scenes of generic household objects are simulated in multi-camera video. MOVi-MC-AC contributes to the growing literature of object detection, tracking, and segmentation by including two new contributions to the deep learning for computer vision world. Multiple Camera (MC) settings where objects can be identified and tracked between various unique camera perspectives are rare in both synthetic and real-world video. We introduce a new complexity to synthetic video by providing consistent object ids for detections and segmentations between both frames and multiple cameras each with unique features and motion patterns on a single scene. Amodal Content (AC) is a reconstructive task in which models predict the appearance of target objects through occlusions. In the amodal segmentation literature, some datasets have been released with amodal detection, tracking, and segmentation labels. While other methods rely on slow cut-and-paste schemes to generate amodal content pseudo-labels, they do not account for natural occlusions present in the modal masks. MOVi-MC-AC provides labels for ~5.8 million object instances, setting a new maximum in the amodal dataset literature, along with being the first to provide ground-truth amodal content. The full dataset is available at https://huggingface.co/datasets/Amar-S/MOVi-MC-AC ,