DetReIDX: Набор данных для стресс-тестирования распознавания людей в реальных условиях с использованием БПЛА

DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition

May 7, 2025

Авторы: Kailash A. Hambarde, Nzakiese Mbongo, Pavan Kumar MP, Satish Mekewad, Carolina Fernandes, Gökhan Silahtaroğlu, Alice Nithya, Pawan Wasnik, MD. Rashidunnabi, Pranita Samale, Hugo Proença

cs.AI

Аннотация

Технология повторной идентификации личности (ReID) традиционно демонстрирует относительно хорошие результаты в контролируемых условиях на уровне земли, но её эффективность резко снижается при использовании в сложных реальных условиях. Это связано с экстремальной изменчивостью данных, включая разрешение, изменение ракурса, вариации масштаба, окклюзии и изменения внешнего вида из-за смены одежды или временных промежутков. Более того, общедоступные наборы данных не учитывают такие виды и масштабы изменчивости, что ограничивает прогресс в этой области. В данной статье представлен DetReIDX — крупномасштабный набор данных для идентификации личности с воздуха и с земли, специально разработанный для стресс-тестирования ReID в реальных условиях. DetReIDX представляет собой мультисессионный набор, включающий более 13 миллионов ограничивающих рамок для 509 идентификаторов, собранных на территории семи университетских кампусов на трёх континентах, с высотой полёта дронов от 5,8 до 120 метров. Важно отметить, что в качестве ключевой новизны субъекты DetReIDX были зафиксированы как минимум в двух сессиях в разные дни, с изменениями в одежде, освещении и местоположении, что делает набор данных подходящим для оценки долгосрочной ReID. Кроме того, данные аннотированы по 16 мягким биометрическим атрибутам и содержат многозадачные метки для обнаружения, отслеживания, ReID и распознавания действий. Чтобы продемонстрировать практическую полезность DetReIDX, мы рассмотрели задачи обнаружения людей и ReID, где современные методы демонстрируют катастрофическое снижение производительности (до 80% в точности обнаружения и более 70% в Rank-1 ReID) при работе с условиями DetReIDX. Набор данных, аннотации и официальные протоколы оценки доступны по адресу: https://www.it.ubi.pt/DetReIDX/

English

Person reidentification (ReID) technology has been considered to perform relatively well under controlled, ground-level conditions, but it breaks down when deployed in challenging real-world settings. Evidently, this is due to extreme data variability factors such as resolution, viewpoint changes, scale variations, occlusions, and appearance shifts from clothing or session drifts. Moreover, the publicly available data sets do not realistically incorporate such kinds and magnitudes of variability, which limits the progress of this technology. This paper introduces DetReIDX, a large-scale aerial-ground person dataset, that was explicitly designed as a stress test to ReID under real-world conditions. DetReIDX is a multi-session set that includes over 13 million bounding boxes from 509 identities, collected in seven university campuses from three continents, with drone altitudes between 5.8 and 120 meters. More important, as a key novelty, DetReIDX subjects were recorded in (at least) two sessions on different days, with changes in clothing, daylight and location, making it suitable to actually evaluate long-term person ReID. Plus, data were annotated from 16 soft biometric attributes and multitask labels for detection, tracking, ReID, and action recognition. In order to provide empirical evidence of DetReIDX usefulness, we considered the specific tasks of human detection and ReID, where SOTA methods catastrophically degrade performance (up to 80% in detection accuracy and over 70% in Rank-1 ReID) when exposed to DetReIDXs conditions. The dataset, annotations, and official evaluation protocols are publicly available at https://www.it.ubi.pt/DetReIDX/