Reconstruction 3D temporellement cohérente d'oiseaux

Temporally-consistent 3D Reconstruction of Birds

August 24, 2024

Auteurs: Johannes Hägerlind, Jonas Hentati-Sundberg, Bastian Wandt

cs.AI

Résumé

Cet article traite de la reconstruction en 3D des oiseaux de mer qui ont récemment attiré l'attention des scientifiques de l'environnement en tant que précieux bio-indicateurs des changements environnementaux. De telles informations en 3D sont bénéfiques pour analyser le comportement et la forme physiologique des oiseaux, par exemple en suivant les mouvements, la forme et les changements d'apparence. Du point de vue de la vision par ordinateur, les oiseaux sont particulièrement difficiles en raison de leurs mouvements rapides et souvent non rigides. Nous proposons une approche pour reconstruire la pose et la forme en 3D à partir de vidéos monoclaires d'une espèce spécifique d'oiseau de mer - le guillemot de Troïl. Notre approche comprend une chaîne complète de détection, de suivi, de segmentation et de reconstruction en 3D temporellement cohérente. De plus, nous proposons une perte temporelle qui étend les estimateurs de pose d'oiseaux en 3D à partir d'images uniques au domaine temporel. De plus, nous fournissons un ensemble de données du monde réel de 10000 images vidéo en moyenne capturant neuf oiseaux simultanément, comprenant une grande variété de mouvements et d'interactions, y compris un petit ensemble de test avec des étiquettes de points clés spécifiques aux oiseaux. En utilisant notre optimisation temporelle, nous obtenons des performances de pointe pour les séquences difficiles de notre ensemble de données.

English

This paper deals with 3D reconstruction of seabirds which recently came into focus of environmental scientists as valuable bio-indicators for environmental change. Such 3D information is beneficial for analyzing the bird's behavior and physiological shape, for example by tracking motion, shape, and appearance changes. From a computer vision perspective birds are especially challenging due to their rapid and oftentimes non-rigid motions. We propose an approach to reconstruct the 3D pose and shape from monocular videos of a specific breed of seabird - the common murre. Our approach comprises a full pipeline of detection, tracking, segmentation, and temporally consistent 3D reconstruction. Additionally, we propose a temporal loss that extends current single-image 3D bird pose estimators to the temporal domain. Moreover, we provide a real-world dataset of 10000 frames of video observations on average capture nine birds simultaneously, comprising a large variety of motions and interactions, including a smaller test set with bird-specific keypoint labels. Using our temporal optimization, we achieve state-of-the-art performance for the challenging sequences in our dataset.