조류의 시간적 일관성 있는 3D 재구성

Temporally-consistent 3D Reconstruction of Birds

August 24, 2024

저자: Johannes Hägerlind, Jonas Hentati-Sundberg, Bastian Wandt

cs.AI

초록

본 논문은 최근 환경과학자들의 주목을 받고 있는 환경 변화의 소중한 생물 지표로서의 가치 있는 해조류의 3D 재구성에 대해 다룹니다. 이러한 3D 정보는 새의 행동과 생리적 형태를 분석하는 데 유익하며, 움직임, 형태 및 외관 변화를 추적함으로써 예를 들어 새의 행동 및 생리적 형태를 분석하는 데 유익합니다. 컴퓨터 비전 관점에서 새는 그들의 빠르고 때로는 비유연한 움직임으로 인해 특히 도전적입니다. 우리는 해조류 중 특정 품종인 보통 성게의 단안 동영상에서 3D 자세와 형태를 재구성하는 방법을 제안합니다. 우리의 방법론은 감지, 추적, 분할 및 시간적으로 일관된 3D 재구성의 전체 파이프라인으로 구성됩니다. 게다가, 우리는 현재의 단일 이미지 3D 새 자세 추정기를 시간적 영역으로 확장하는 시간 손실을 제안합니다. 더불어, 우리는 평균 10000프레임의 실제 비디오 관측 데이터셋을 제공하며, 이 데이터셋은 평균적으로 아홉 마리의 새를 동시에 촬영하며, 다양한 움직임과 상호작용을 포함하고 있습니다. 새에 특화된 키포인트 레이블이 있는 작은 테스트 세트도 포함되어 있습니다. 우리의 시간적 최적화를 사용하여, 우리는 데이터셋의 도전적인 시퀀스에 대해 최첨단의 성능을 달성합니다.

English

This paper deals with 3D reconstruction of seabirds which recently came into focus of environmental scientists as valuable bio-indicators for environmental change. Such 3D information is beneficial for analyzing the bird's behavior and physiological shape, for example by tracking motion, shape, and appearance changes. From a computer vision perspective birds are especially challenging due to their rapid and oftentimes non-rigid motions. We propose an approach to reconstruct the 3D pose and shape from monocular videos of a specific breed of seabird - the common murre. Our approach comprises a full pipeline of detection, tracking, segmentation, and temporally consistent 3D reconstruction. Additionally, we propose a temporal loss that extends current single-image 3D bird pose estimators to the temporal domain. Moreover, we provide a real-world dataset of 10000 frames of video observations on average capture nine birds simultaneously, comprising a large variety of motions and interactions, including a smaller test set with bird-specific keypoint labels. Using our temporal optimization, we achieve state-of-the-art performance for the challenging sequences in our dataset.