Согласованная по времени трехмерная реконструкция птиц.

Temporally-consistent 3D Reconstruction of Birds

August 24, 2024

Авторы: Johannes Hägerlind, Jonas Hentati-Sundberg, Bastian Wandt

cs.AI

Аннотация

Данный доклад посвящен трехмерной реконструкции морских птиц, которая недавно привлекла внимание экологов как ценных биоиндикаторов изменений окружающей среды. Такая трехмерная информация полезна для анализа поведения птиц и их физиологической формы, например, путем отслеживания движения, формы и изменений внешнего вида. С точки зрения компьютерного зрения птицы представляют особую сложность из-за своих быстрых и часто неригидных движений. Мы предлагаем подход к реконструкции трехмерной позы и формы из монокулярных видео определенного вида морской птицы - обыкновенного гагара. Наш подход включает в себя полный пайплайн обнаружения, отслеживания, сегментации и временно согласованной трехмерной реконструкции. Кроме того, мы предлагаем временную потерю, которая расширяет текущие оценщики трехмерной позы птиц на основе одного изображения на временную область. Более того, мы предоставляем набор данных из реального мира из 10000 кадров видеонаблюдения, в среднем захватывающих девять птиц одновременно, включающий в себя широкий спектр движений и взаимодействий, а также небольшой тестовый набор с метками ключевых точек, специфичных для птиц. Используя нашу временную оптимизацию, мы достигаем передового качества работы для сложных последовательностей в нашем наборе данных.

English

This paper deals with 3D reconstruction of seabirds which recently came into focus of environmental scientists as valuable bio-indicators for environmental change. Such 3D information is beneficial for analyzing the bird's behavior and physiological shape, for example by tracking motion, shape, and appearance changes. From a computer vision perspective birds are especially challenging due to their rapid and oftentimes non-rigid motions. We propose an approach to reconstruct the 3D pose and shape from monocular videos of a specific breed of seabird - the common murre. Our approach comprises a full pipeline of detection, tracking, segmentation, and temporally consistent 3D reconstruction. Additionally, we propose a temporal loss that extends current single-image 3D bird pose estimators to the temporal domain. Moreover, we provide a real-world dataset of 10000 frames of video observations on average capture nine birds simultaneously, comprising a large variety of motions and interactions, including a smaller test set with bird-specific keypoint labels. Using our temporal optimization, we achieve state-of-the-art performance for the challenging sequences in our dataset.