Ricostruzione 3D temporale coerente degli uccelli

Temporally-consistent 3D Reconstruction of Birds

August 24, 2024

Autori: Johannes Hägerlind, Jonas Hentati-Sundberg, Bastian Wandt

cs.AI

Abstract

Questo articolo tratta della ricostruzione in 3D di uccelli marini, che recentemente è diventata oggetto di interesse per gli scienziati ambientali in quanto preziosi bioindicatori dei cambiamenti ambientali. Tale informazione tridimensionale è utile per analizzare il comportamento degli uccelli e la loro forma fisiologica, ad esempio mediante il tracciamento dei movimenti, delle forme e dei cambiamenti di aspetto. Dal punto di vista della visione artificiale, gli uccelli sono particolarmente sfidanti a causa dei loro movimenti rapidi e spesso non rigidi. Proponiamo un approccio per ricostruire la posa e la forma in 3D da video monoculari di una specifica specie di uccello marino - il comune gabbiano. Il nostro approccio comprende un intero processo di rilevamento, tracciamento, segmentazione e ricostruzione in 3D temporalmente coerente. Inoltre, proponiamo una perdita temporale che estende gli attuali stimatori di posa in 3D degli uccelli da singola immagine al dominio temporale. Inoltre, forniamo un dataset del mondo reale di 10000 fotogrammi di osservazioni video che in media catturano nove uccelli contemporaneamente, comprendente una vasta gamma di movimenti e interazioni, incluso un set di test più piccolo con etichette di punti chiave specifici degli uccelli. Utilizzando la nostra ottimizzazione temporale, otteniamo prestazioni all'avanguardia per le sequenze impegnative nel nostro dataset.

English

This paper deals with 3D reconstruction of seabirds which recently came into focus of environmental scientists as valuable bio-indicators for environmental change. Such 3D information is beneficial for analyzing the bird's behavior and physiological shape, for example by tracking motion, shape, and appearance changes. From a computer vision perspective birds are especially challenging due to their rapid and oftentimes non-rigid motions. We propose an approach to reconstruct the 3D pose and shape from monocular videos of a specific breed of seabird - the common murre. Our approach comprises a full pipeline of detection, tracking, segmentation, and temporally consistent 3D reconstruction. Additionally, we propose a temporal loss that extends current single-image 3D bird pose estimators to the temporal domain. Moreover, we provide a real-world dataset of 10000 frames of video observations on average capture nine birds simultaneously, comprising a large variety of motions and interactions, including a smaller test set with bird-specific keypoint labels. Using our temporal optimization, we achieve state-of-the-art performance for the challenging sequences in our dataset.