鳥類の時間的一貫性のある3D再構築

Temporally-consistent 3D Reconstruction of Birds

August 24, 2024

著者: Johannes Hägerlind, Jonas Hentati-Sundberg, Bastian Wandt

cs.AI

要旨

この論文は、最近環境科学者の注目を集めている生物指標としての価値が高い海鳥の3D再構築に関するものです。このような3D情報は、鳥の行動や生理的形状を分析するのに役立ち、例えば動き、形状、外観の変化を追跡することができます。コンピュータビジョンの観点から見ると、鳥はその迅速でしばしば非剛性の動きのため特に挑戦的です。私たちは、特定の海鳥であるウミガラスの単眼ビデオから3Dポーズと形状を再構築する手法を提案します。私たちの手法は、検出、追跡、セグメンテーション、そして時間的に一貫した3D再構築からなる完全なパイプラインを含んでいます。さらに、現在の単一画像3D鳥ポーズ推定器を時間領域に拡張する時間的損失を提案しています。さらに、鳥種固有のキーポイントラベルを持つ小規模なテストセットを含む、平均して9羽の鳥を同時に捉えた10000フレームのビデオ観察の実世界データセットを提供しています。時間最適化を使用することで、データセット内の難解なシーケンスにおいて最先端の性能を達成しています。

English

This paper deals with 3D reconstruction of seabirds which recently came into focus of environmental scientists as valuable bio-indicators for environmental change. Such 3D information is beneficial for analyzing the bird's behavior and physiological shape, for example by tracking motion, shape, and appearance changes. From a computer vision perspective birds are especially challenging due to their rapid and oftentimes non-rigid motions. We propose an approach to reconstruct the 3D pose and shape from monocular videos of a specific breed of seabird - the common murre. Our approach comprises a full pipeline of detection, tracking, segmentation, and temporally consistent 3D reconstruction. Additionally, we propose a temporal loss that extends current single-image 3D bird pose estimators to the temporal domain. Moreover, we provide a real-world dataset of 10000 frames of video observations on average capture nine birds simultaneously, comprising a large variety of motions and interactions, including a smaller test set with bird-specific keypoint labels. Using our temporal optimization, we achieve state-of-the-art performance for the challenging sequences in our dataset.