DetReIDX: Ein Belastungstest-Datensatz für die personenbezogene Erkennung in realen UAV-Anwendungen

DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition

May 7, 2025

Autoren: Kailash A. Hambarde, Nzakiese Mbongo, Pavan Kumar MP, Satish Mekewad, Carolina Fernandes, Gökhan Silahtaroğlu, Alice Nithya, Pawan Wasnik, MD. Rashidunnabi, Pranita Samale, Hugo Proença

cs.AI

Zusammenfassung

Die Technologie zur Personenwiedererkennung (ReID) gilt als relativ leistungsstark unter kontrollierten, bodennahen Bedingungen, versagt jedoch in anspruchsvollen realen Einsatzszenarien. Dies ist offensichtlich auf extreme Datenvariabilitätsfaktoren wie Auflösung, Blickwinkeländerungen, Skalenvariationen, Verdeckungen und Erscheinungsverschiebungen durch Kleidung oder Sitzungsänderungen zurückzuführen. Darüber hinaus berücksichtigen die öffentlich verfügbaren Datensätze solche Arten und Ausmaße von Variabilität nicht realistisch, was den Fortschritt dieser Technologie begrenzt. Dieses Papier stellt DetReIDX vor, einen groß angelegten Luft-Boden-Personendatensatz, der explizit als Belastungstest für ReID unter realen Bedingungen konzipiert wurde. DetReIDX ist ein mehrsitziger Datensatz, der über 13 Millionen Begrenzungsrahmen von 509 Identitäten umfasst, die in sieben Universitätsgeländen auf drei Kontinenten mit Drohnenhöhen zwischen 5,8 und 120 Metern gesammelt wurden. Wichtiger noch, als zentrale Neuheit wurden die Probanden von DetReIDX an (mindestens) zwei verschiedenen Tagen mit Änderungen in Kleidung, Tageslicht und Standort aufgenommen, was ihn zur tatsächlichen Bewertung der langfristigen Personenwiedererkennung geeignet macht. Zusätzlich wurden die Daten mit 16 weichen biometrischen Attributen und Multitask-Labels für Erkennung, Verfolgung, ReID und Aktionserkennung annotiert. Um empirische Belege für die Nützlichkeit von DetReIDX zu liefern, betrachteten wir die spezifischen Aufgaben der menschlichen Erkennung und ReID, bei denen SOTA-Methoden die Leistung katastrophal verschlechtern (bis zu 80 % bei der Erkennungsgenauigkeit und über 70 % bei der Rank-1-ReID), wenn sie den Bedingungen von DetReIDX ausgesetzt sind. Der Datensatz, die Annotationen und die offiziellen Bewertungsprotokolle sind öffentlich unter https://www.it.ubi.pt/DetReIDX/ verfügbar.

English

Person reidentification (ReID) technology has been considered to perform relatively well under controlled, ground-level conditions, but it breaks down when deployed in challenging real-world settings. Evidently, this is due to extreme data variability factors such as resolution, viewpoint changes, scale variations, occlusions, and appearance shifts from clothing or session drifts. Moreover, the publicly available data sets do not realistically incorporate such kinds and magnitudes of variability, which limits the progress of this technology. This paper introduces DetReIDX, a large-scale aerial-ground person dataset, that was explicitly designed as a stress test to ReID under real-world conditions. DetReIDX is a multi-session set that includes over 13 million bounding boxes from 509 identities, collected in seven university campuses from three continents, with drone altitudes between 5.8 and 120 meters. More important, as a key novelty, DetReIDX subjects were recorded in (at least) two sessions on different days, with changes in clothing, daylight and location, making it suitable to actually evaluate long-term person ReID. Plus, data were annotated from 16 soft biometric attributes and multitask labels for detection, tracking, ReID, and action recognition. In order to provide empirical evidence of DetReIDX usefulness, we considered the specific tasks of human detection and ReID, where SOTA methods catastrophically degrade performance (up to 80% in detection accuracy and over 70% in Rank-1 ReID) when exposed to DetReIDXs conditions. The dataset, annotations, and official evaluation protocols are publicly available at https://www.it.ubi.pt/DetReIDX/