Обучение рентгеновскому зрению: амодальная сегментация, завершение амодального содержания и инвариантное к виду представление объектов на основе видео с нескольких камер

Аннотация

Амодальная сегментация и восстановление амодального содержания требуют использования априорных знаний об объектах для оценки затененных масок и характеристик объектов в сложных сценах. До сих пор ни один набор данных не предоставлял дополнительное измерение для контекста объектов: возможность использования нескольких камер, разделяющих вид на сцену. Мы представляем MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content — крупнейший на сегодняшний день набор данных для амодальной сегментации и первый набор данных с амодальным содержанием. В нем моделируются сложные сцены с бытовыми объектами в видеоматериалах, снятых с нескольких камер. MOVi-MC-AC вносит вклад в растущую литературу по обнаружению, отслеживанию и сегментации объектов, предлагая два новых аспекта для глубокого обучения в области компьютерного зрения. Настройки с несколькими камерами (MC), где объекты могут быть идентифицированы и отслежены между различными уникальными перспективами камер, редко встречаются как в синтетических, так и в реальных видеоматериалах. Мы вводим новую сложность в синтетические видеоматериалы, предоставляя согласованные идентификаторы объектов для обнаружения и сегментации как между кадрами, так и между несколькими камерами, каждая из которых имеет уникальные характеристики и паттерны движения в одной сцене. Восстановление амодального содержания (AC) — это реконструктивная задача, в которой модели предсказывают внешний вид целевых объектов через затенения. В литературе по амодальной сегментации уже были выпущены наборы данных с метками для амодального обнаружения, отслеживания и сегментации. В то время как другие методы полагаются на медленные схемы "вырезания и вставки" для генерации псевдометок амодального содержания, они не учитывают естественные затенения, присутствующие в модальных масках. MOVi-MC-AC предоставляет метки для ~5,8 миллионов экземпляров объектов, устанавливая новый максимум в литературе по амодальным наборам данных, а также являясь первым набором данных с эталонным амодальным содержанием. Полный набор данных доступен по адресу https://huggingface.co/datasets/Amar-S/MOVi-MC-AC.

English

Amodal segmentation and amodal content completion require using object priors to estimate occluded masks and features of objects in complex scenes. Until now, no data has provided an additional dimension for object context: the possibility of multiple cameras sharing a view of a scene. We introduce MOVi-MC-AC: Multiple Object Video with Multi-Cameras and Amodal Content, the largest amodal segmentation and first amodal content dataset to date. Cluttered scenes of generic household objects are simulated in multi-camera video. MOVi-MC-AC contributes to the growing literature of object detection, tracking, and segmentation by including two new contributions to the deep learning for computer vision world. Multiple Camera (MC) settings where objects can be identified and tracked between various unique camera perspectives are rare in both synthetic and real-world video. We introduce a new complexity to synthetic video by providing consistent object ids for detections and segmentations between both frames and multiple cameras each with unique features and motion patterns on a single scene. Amodal Content (AC) is a reconstructive task in which models predict the appearance of target objects through occlusions. In the amodal segmentation literature, some datasets have been released with amodal detection, tracking, and segmentation labels. While other methods rely on slow cut-and-paste schemes to generate amodal content pseudo-labels, they do not account for natural occlusions present in the modal masks. MOVi-MC-AC provides labels for ~5.8 million object instances, setting a new maximum in the amodal dataset literature, along with being the first to provide ground-truth amodal content. The full dataset is available at https://huggingface.co/datasets/Amar-S/MOVi-MC-AC ,

Training for X-Ray Vision: Amodal Segmentation, Amodal Content Completion, and View-Invariant Object Representation from Multi-Camera Video

Аннотация

Support