DetReIDX : Un jeu de données de test de résistance pour la reconnaissance de personnes en conditions réelles par drones

DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition

May 7, 2025

Auteurs: Kailash A. Hambarde, Nzakiese Mbongo, Pavan Kumar MP, Satish Mekewad, Carolina Fernandes, Gökhan Silahtaroğlu, Alice Nithya, Pawan Wasnik, MD. Rashidunnabi, Pranita Samale, Hugo Proença

cs.AI

Résumé

La technologie de réidentification de personnes (ReID) est généralement considérée comme performante dans des conditions contrôlées au niveau du sol, mais elle montre des limites lorsqu'elle est déployée dans des environnements réels complexes. Cela s'explique principalement par des facteurs de variabilité extrême des données, tels que les changements de résolution, de point de vue, d'échelle, les occlusions, ainsi que les variations d'apparence dues aux vêtements ou aux différences entre sessions. De plus, les ensembles de données publics disponibles n'intègrent pas de manière réaliste ce type et cette ampleur de variabilité, ce qui freine les avancées dans ce domaine. Cet article présente DetReIDX, un vaste ensemble de données aériennes et terrestres dédié à la réidentification de personnes, conçu spécifiquement comme un test de résistance pour la ReID dans des conditions réelles. DetReIDX est un ensemble multi-sessions comprenant plus de 13 millions de boîtes englobantes issues de 509 identités, collectées sur sept campus universitaires répartis sur trois continents, avec des altitudes de drone variant entre 5,8 et 120 mètres. Plus important encore, en tant que nouveauté clé, les sujets de DetReIDX ont été enregistrés lors d'au moins deux sessions à des jours différents, avec des changements de vêtements, d'éclairage et de lieu, ce qui le rend adapté pour évaluer la réidentification de personnes sur le long terme. En outre, les données ont été annotées avec 16 attributs biométriques doux et des étiquettes multitâches pour la détection, le suivi, la ReID et la reconnaissance d'actions. Afin de démontrer empiriquement l'utilité de DetReIDX, nous avons examiné les tâches spécifiques de détection humaine et de ReID, où les méthodes de pointe voient leurs performances se dégrader de manière catastrophique (jusqu'à 80 % en précision de détection et plus de 70 % en ReID Rank-1) lorsqu'elles sont confrontées aux conditions de DetReIDX. Le jeu de données, les annotations et les protocoles d'évaluation officiels sont disponibles publiquement à l'adresse suivante : https://www.it.ubi.pt/DetReIDX/

English

Person reidentification (ReID) technology has been considered to perform relatively well under controlled, ground-level conditions, but it breaks down when deployed in challenging real-world settings. Evidently, this is due to extreme data variability factors such as resolution, viewpoint changes, scale variations, occlusions, and appearance shifts from clothing or session drifts. Moreover, the publicly available data sets do not realistically incorporate such kinds and magnitudes of variability, which limits the progress of this technology. This paper introduces DetReIDX, a large-scale aerial-ground person dataset, that was explicitly designed as a stress test to ReID under real-world conditions. DetReIDX is a multi-session set that includes over 13 million bounding boxes from 509 identities, collected in seven university campuses from three continents, with drone altitudes between 5.8 and 120 meters. More important, as a key novelty, DetReIDX subjects were recorded in (at least) two sessions on different days, with changes in clothing, daylight and location, making it suitable to actually evaluate long-term person ReID. Plus, data were annotated from 16 soft biometric attributes and multitask labels for detection, tracking, ReID, and action recognition. In order to provide empirical evidence of DetReIDX usefulness, we considered the specific tasks of human detection and ReID, where SOTA methods catastrophically degrade performance (up to 80% in detection accuracy and over 70% in Rank-1 ReID) when exposed to DetReIDXs conditions. The dataset, annotations, and official evaluation protocols are publicly available at https://www.it.ubi.pt/DetReIDX/