Addestramento per la Visione a Raggi X: Segmentazione Amodale, Completamento del Contenuto Amodale e Rappresentazione degli Oggetti Invariante alla Vista da Video Multi-Camera

Training for X-Ray Vision: Amodal Segmentation, Amodal Content Completion, and View-Invariant Object Representation from Multi-Camera Video

July 1, 2025

Autori: Alexander Moore, Amar Saini, Kylie Cancilla, Doug Poland, Carmen Carrano

cs.AI

Abstract

La segmentazione amodale e il completamento del contenuto amodale richiedono l'utilizzo di priorità sugli oggetti per stimare maschere e caratteristiche occluse degli oggetti in scene complesse. Fino ad ora, nessun dataset ha fornito una dimensione aggiuntiva per il contesto degli oggetti: la possibilità di più telecamere che condividono la vista di una scena. Introduciamo MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content, il più grande dataset di segmentazione amodale e il primo dataset di contenuto amodale fino ad oggi. Scene affollate di oggetti domestici generici sono simulate in video multi-camera. MOVi-MC-AC contribisce alla crescente letteratura sul rilevamento, tracciamento e segmentazione degli oggetti includendo due nuovi contributi nel mondo dell'apprendimento profondo per la visione artificiale. Le impostazioni con Multiple Camera (MC), in cui gli oggetti possono essere identificati e tracciati tra diverse prospettive uniche delle telecamere, sono rare sia nei video sintetici che in quelli del mondo reale. Introduciamo una nuova complessità nei video sintetici fornendo ID oggetto coerenti per rilevamenti e segmentazioni sia tra i frame che tra più telecamere, ciascuna con caratteristiche uniche e schemi di movimento su una singola scena. Il contenuto amodale (AC) è un compito ricostruttivo in cui i modelli prevedono l'aspetto degli oggetti target attraverso le occlusioni. Nella letteratura sulla segmentazione amodale, alcuni dataset sono stati rilasciati con etichette di rilevamento, tracciamento e segmentazione amodale. Mentre altri metodi si basano su schemi lenti di taglia e incolla per generare pseudo-etichette di contenuto amodale, non tengono conto delle occlusioni naturali presenti nelle maschere modali. MOVi-MC-AC fornisce etichette per circa 5,8 milioni di istanze di oggetti, stabilendo un nuovo massimo nella letteratura sui dataset amodali, oltre ad essere il primo a fornire contenuto amodale ground-truth. Il dataset completo è disponibile all'indirizzo https://huggingface.co/datasets/Amar-S/MOVi-MC-AC.

English

Amodal segmentation and amodal content completion require using object priors to estimate occluded masks and features of objects in complex scenes. Until now, no data has provided an additional dimension for object context: the possibility of multiple cameras sharing a view of a scene. We introduce MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content, the largest amodal segmentation and first amodal content dataset to date. Cluttered scenes of generic household objects are simulated in multi-camera video. MOVi-MC-AC contributes to the growing literature of object detection, tracking, and segmentation by including two new contributions to the deep learning for computer vision world. Multiple Camera (MC) settings where objects can be identified and tracked between various unique camera perspectives are rare in both synthetic and real-world video. We introduce a new complexity to synthetic video by providing consistent object ids for detections and segmentations between both frames and multiple cameras each with unique features and motion patterns on a single scene. Amodal Content (AC) is a reconstructive task in which models predict the appearance of target objects through occlusions. In the amodal segmentation literature, some datasets have been released with amodal detection, tracking, and segmentation labels. While other methods rely on slow cut-and-paste schemes to generate amodal content pseudo-labels, they do not account for natural occlusions present in the modal masks. MOVi-MC-AC provides labels for ~5.8 million object instances, setting a new maximum in the amodal dataset literature, along with being the first to provide ground-truth amodal content. The full dataset is available at https://huggingface.co/datasets/Amar-S/MOVi-MC-AC ,