Reconstrução 3D Temporalmente Coerente de Aves

Temporally-consistent 3D Reconstruction of Birds

August 24, 2024

Autores: Johannes Hägerlind, Jonas Hentati-Sundberg, Bastian Wandt

cs.AI

Resumo

Este artigo aborda a reconstrução 3D de aves marinhas, que recentemente ganhou destaque entre os cientistas ambientais como valiosos bioindicadores de mudanças ambientais. Essas informações tridimensionais são benéficas para analisar o comportamento das aves e sua forma fisiológica, por exemplo, rastreando mudanças de movimento, forma e aparência. Do ponto de vista da visão computacional, as aves são especialmente desafiadoras devido aos seus movimentos rápidos e muitas vezes não rígidos. Propomos uma abordagem para reconstruir a pose e forma 3D a partir de vídeos monoculares de uma espécie específica de ave marinha - o murre comum. Nossa abordagem compreende um pipeline completo de detecção, rastreamento, segmentação e reconstrução 3D temporalmente consistente. Além disso, propomos uma perda temporal que estende os atuais estimadores de pose 3D de aves de imagem única para o domínio temporal. Além disso, fornecemos um conjunto de dados do mundo real com 10000 frames de observações em vídeo em média capturando nove aves simultaneamente, abrangendo uma grande variedade de movimentos e interações, incluindo um conjunto de teste menor com rótulos de keypoints específicos das aves. Usando nossa otimização temporal, alcançamos um desempenho de ponta para as sequências desafiadoras em nosso conjunto de dados.

English

This paper deals with 3D reconstruction of seabirds which recently came into focus of environmental scientists as valuable bio-indicators for environmental change. Such 3D information is beneficial for analyzing the bird's behavior and physiological shape, for example by tracking motion, shape, and appearance changes. From a computer vision perspective birds are especially challenging due to their rapid and oftentimes non-rigid motions. We propose an approach to reconstruct the 3D pose and shape from monocular videos of a specific breed of seabird - the common murre. Our approach comprises a full pipeline of detection, tracking, segmentation, and temporally consistent 3D reconstruction. Additionally, we propose a temporal loss that extends current single-image 3D bird pose estimators to the temporal domain. Moreover, we provide a real-world dataset of 10000 frames of video observations on average capture nine birds simultaneously, comprising a large variety of motions and interactions, including a smaller test set with bird-specific keypoint labels. Using our temporal optimization, we achieve state-of-the-art performance for the challenging sequences in our dataset.