Entrenamiento para Visión de Rayos X: Segmentación Amodal, Completado de Contenido Amodal y Representación de Objetos Invariante a la Vista a partir de Video Multicámara

Training for X-Ray Vision: Amodal Segmentation, Amodal Content Completion, and View-Invariant Object Representation from Multi-Camera Video

July 1, 2025

Autores: Alexander Moore, Amar Saini, Kylie Cancilla, Doug Poland, Carmen Carrano

cs.AI

Resumen

La segmentación amodal y la completación de contenido amodal requieren el uso de conocimientos previos sobre objetos para estimar máscaras ocluidas y características de objetos en escenas complejas. Hasta ahora, ningún conjunto de datos ha proporcionado una dimensión adicional para el contexto de los objetos: la posibilidad de múltiples cámaras compartiendo una vista de una escena. Presentamos MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content, el mayor conjunto de datos de segmentación amodal y el primero en contenido amodal hasta la fecha. Se simulan escenas desordenadas de objetos domésticos genéricos en video multicámara. MOVi-MC-AC contribuye a la creciente literatura sobre detección, seguimiento y segmentación de objetos al incluir dos nuevas aportaciones al mundo del aprendizaje profundo para visión por computadora. Los entornos de Múltiples Cámaras (MC), donde los objetos pueden ser identificados y rastreados entre diversas perspectivas únicas de cámara, son raros tanto en video sintético como en el mundo real. Introducimos una nueva complejidad al video sintético al proporcionar identificadores de objetos consistentes para detecciones y segmentaciones entre fotogramas y múltiples cámaras, cada una con características y patrones de movimiento únicos en una sola escena. El Contenido Amodal (AC) es una tarea reconstructiva en la que los modelos predicen la apariencia de objetos objetivo a través de oclusiones. En la literatura de segmentación amodal, se han publicado algunos conjuntos de datos con etiquetas de detección, seguimiento y segmentación amodal. Mientras que otros métodos dependen de esquemas lentos de cortar y pegar para generar pseudoetiquetas de contenido amodal, estos no tienen en cuenta las oclusiones naturales presentes en las máscaras modales. MOVi-MC-AC proporciona etiquetas para ~5.8 millones de instancias de objetos, estableciendo un nuevo máximo en la literatura de conjuntos de datos amodales, además de ser el primero en ofrecer contenido amodal de referencia. El conjunto de datos completo está disponible en https://huggingface.co/datasets/Amar-S/MOVi-MC-AC.

English

Amodal segmentation and amodal content completion require using object priors to estimate occluded masks and features of objects in complex scenes. Until now, no data has provided an additional dimension for object context: the possibility of multiple cameras sharing a view of a scene. We introduce MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content, the largest amodal segmentation and first amodal content dataset to date. Cluttered scenes of generic household objects are simulated in multi-camera video. MOVi-MC-AC contributes to the growing literature of object detection, tracking, and segmentation by including two new contributions to the deep learning for computer vision world. Multiple Camera (MC) settings where objects can be identified and tracked between various unique camera perspectives are rare in both synthetic and real-world video. We introduce a new complexity to synthetic video by providing consistent object ids for detections and segmentations between both frames and multiple cameras each with unique features and motion patterns on a single scene. Amodal Content (AC) is a reconstructive task in which models predict the appearance of target objects through occlusions. In the amodal segmentation literature, some datasets have been released with amodal detection, tracking, and segmentation labels. While other methods rely on slow cut-and-paste schemes to generate amodal content pseudo-labels, they do not account for natural occlusions present in the modal masks. MOVi-MC-AC provides labels for ~5.8 million object instances, setting a new maximum in the amodal dataset literature, along with being the first to provide ground-truth amodal content. The full dataset is available at https://huggingface.co/datasets/Amar-S/MOVi-MC-AC ,