Tijdelijk consistente 3D-reconstructie van vogels

Temporally-consistent 3D Reconstruction of Birds

August 24, 2024

Auteurs: Johannes Hägerlind, Jonas Hentati-Sundberg, Bastian Wandt

cs.AI

Samenvatting

Dit artikel behandelt de 3D-reconstructie van zeevogels, die recentelijk in de belangstelling zijn gekomen van milieuwetenschappers als waardevolle bio-indicatoren voor milieuverandering. Dergelijke 3D-informatie is nuttig voor het analyseren van het gedrag en de fysiologische vorm van de vogels, bijvoorbeeld door het volgen van bewegingen, vormveranderingen en uiterlijke veranderingen. Vanuit het perspectief van computervisie zijn vogels bijzonder uitdagend vanwege hun snelle en vaak niet-rigide bewegingen. Wij stellen een benadering voor om de 3D-pose en -vorm te reconstrueren uit monoscopische video's van een specifiek ras zeevogel - de gewone zeekoet. Onze aanpak omvat een volledige pijplijn van detectie, tracking, segmentatie en temporeel consistente 3D-reconstructie. Daarnaast introduceren we een temporeel verlies dat huidige 3D-pose-schatters voor vogels op basis van enkele afbeeldingen uitbreidt naar het temporele domein. Bovendien bieden we een real-world dataset van 10.000 frames van video-observaties die gemiddeld negen vogels tegelijkertijd vastleggen, met een grote verscheidenheid aan bewegingen en interacties, inclusief een kleinere testset met vogelspecifieke keypoint-labels. Met behulp van onze temporele optimalisatie behalen we state-of-the-art prestaties voor de uitdagende sequenties in onze dataset.

English

This paper deals with 3D reconstruction of seabirds which recently came into focus of environmental scientists as valuable bio-indicators for environmental change. Such 3D information is beneficial for analyzing the bird's behavior and physiological shape, for example by tracking motion, shape, and appearance changes. From a computer vision perspective birds are especially challenging due to their rapid and oftentimes non-rigid motions. We propose an approach to reconstruct the 3D pose and shape from monocular videos of a specific breed of seabird - the common murre. Our approach comprises a full pipeline of detection, tracking, segmentation, and temporally consistent 3D reconstruction. Additionally, we propose a temporal loss that extends current single-image 3D bird pose estimators to the temporal domain. Moreover, we provide a real-world dataset of 10000 frames of video observations on average capture nine birds simultaneously, comprising a large variety of motions and interactions, including a smaller test set with bird-specific keypoint labels. Using our temporal optimization, we achieve state-of-the-art performance for the challenging sequences in our dataset.