FlyPose: 항공 뷰에서 강건한 인간 포즈 추정을 위한 연구

FlyPose: Towards Robust Human Pose Estimation From Aerial Views

January 9, 2026

저자: Hassaan Farooq, Marvin Brenner, Peter St\ütz

cs.AI

초록

무인 항공기(UAV)는 택배 배송, 교통 모니터링, 재난 대응 및 인프라 점검과 같은 응용 분야에서 인간과 가까운 거리에 점점 더 많이 배치되고 있습니다. 이러한 인간이 거주하는 환경에서 안전하고 신뢰할 수 있는 운영을 보장하려면 항공 시점에서 인간의 자세와 행동을 정확하게 인지해야 합니다. 이러한 관점은 특히 응용 프로그램이 실시간 실행 가능한 모델을 요구할 경우 낮은 해상도, 급격한 시야각 및 (자체)폐색으로 기존 방법에 도전과제를 제기합니다. 우리는 항공 영상을 위한 경량 탑다운(top-down) 인간 자세 추정 파이프라인인 FlyPose를 학습 및 배포합니다. 다중 데이터셋 학습을 통해 Manipal-UAV, VisDrone, HIT-UAV 및 우리의 맞춤형 데이터셋 테스트 세트 전반에 걸쳐 평균 6.8 mAP의 사람 탐지 성능 향상을 달성했습니다. 2D 인간 자세 추정에서는 까다로운 UAV-Human 데이터셋에서 16.3 mAP의 향상을 보고합니다. FlyPose는 Jetson Orin AGX Developer Kit에서 전처리를 포함해 약 20밀리초의 추론 지연 시간으로 실행되며, 비행 실험 동안 쿼드로터 UAV에 온보드로 탑재되어 배포됩니다. 우리는 또한 어려운 항공 관점에서 수동 주석을 포함한 작지만 도전적인 항공 인간 자세 추정 데이터셋인 FlyPose-104를 공개합니다: https://github.com/farooqhassaan/FlyPose.

English

Unmanned Aerial Vehicles (UAVs) are increasingly deployed in close proximity to humans for applications such as parcel delivery, traffic monitoring, disaster response and infrastructure inspections. Ensuring safe and reliable operation in these human-populated environments demands accurate perception of human poses and actions from an aerial viewpoint. This perspective challenges existing methods with low resolution, steep viewing angles and (self-)occlusion, especially if the application demands realtime feasibile models. We train and deploy FlyPose, a lightweight top-down human pose estimation pipeline for aerial imagery. Through multi-dataset training, we achieve an average improvement of 6.8 mAP in person detection across the test-sets of Manipal-UAV, VisDrone, HIT-UAV as well as our custom dataset. For 2D human pose estimation we report an improvement of 16.3 mAP on the challenging UAV-Human dataset. FlyPose runs with an inference latency of ~20 milliseconds including preprocessing on a Jetson Orin AGX Developer Kit and is deployed onboard a quadrotor UAV during flight experiments. We also publish FlyPose-104, a small but challenging aerial human pose estimation dataset, that includes manual annotations from difficult aerial perspectives: https://github.com/farooqhassaan/FlyPose.