FlyPose: К надежному определению позы человека с аэрофотоснимков

FlyPose: Towards Robust Human Pose Estimation From Aerial Views

January 9, 2026

Авторы: Hassaan Farooq, Marvin Brenner, Peter St\ütz

cs.AI

Аннотация

Беспилотные летательные аппараты (БПЛА) все чаще применяются в непосредственной близости от людей для таких задач, как доставка посылок, мониторинг дорожного движения, ликвидация последствий стихийных бедствий и инспекция инфраструктуры. Обеспечение безопасной и надежной работы в этих населенных людьми средах требует точного восприятия поз и действий человека с воздушной точки обзора. Данная перспектива создает трудности для существующих методов из-за низкого разрешения, крутых углов обзора и (само)окклюзии, особенно если приложение требует моделей с реальной производительностью. Мы обучаем и развертываем FlyPose — облегченный конвейер оценки позы человека по аэроизображениям по принципу «сверху вниз». Благодаря обучению на множестве наборов данных мы достигаем среднего улучшения на 6.8 mAP в обнаружении людей на тестовых наборах Manipal-UAV, VisDrone, HIT-UAV, а также на нашем собственном наборе данных. Для оценки 2D-позы человека мы сообщаем об улучшении на 16.3 mAP на сложном наборе данных UAV-Human. FlyPose работает с задержкой вывода около 20 миллисекунд, включая предварительную обработку, на платформе Jetson Orin AGX Developer Kit и развертывается на борту квадрокоптера во время летных экспериментов. Мы также публикуем FlyPose-104 — небольшой, но сложный набор данных для оценки позы человека с воздуха, который включает ручные разметки со сложных аэроуглов обзора: https://github.com/farooqhassaan/FlyPose.

English

Unmanned Aerial Vehicles (UAVs) are increasingly deployed in close proximity to humans for applications such as parcel delivery, traffic monitoring, disaster response and infrastructure inspections. Ensuring safe and reliable operation in these human-populated environments demands accurate perception of human poses and actions from an aerial viewpoint. This perspective challenges existing methods with low resolution, steep viewing angles and (self-)occlusion, especially if the application demands realtime feasibile models. We train and deploy FlyPose, a lightweight top-down human pose estimation pipeline for aerial imagery. Through multi-dataset training, we achieve an average improvement of 6.8 mAP in person detection across the test-sets of Manipal-UAV, VisDrone, HIT-UAV as well as our custom dataset. For 2D human pose estimation we report an improvement of 16.3 mAP on the challenging UAV-Human dataset. FlyPose runs with an inference latency of ~20 milliseconds including preprocessing on a Jetson Orin AGX Developer Kit and is deployed onboard a quadrotor UAV during flight experiments. We also publish FlyPose-104, a small but challenging aerial human pose estimation dataset, that includes manual annotations from difficult aerial perspectives: https://github.com/farooqhassaan/FlyPose.