DetReIDX: Un Conjunto de Datos de Prueba de Estrés para el Reconocimiento de Personas Basado en UAV en Escenarios del Mundo Real

DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition

May 7, 2025

Autores: Kailash A. Hambarde, Nzakiese Mbongo, Pavan Kumar MP, Satish Mekewad, Carolina Fernandes, Gökhan Silahtaroğlu, Alice Nithya, Pawan Wasnik, MD. Rashidunnabi, Pranita Samale, Hugo Proença

cs.AI

Resumen

La tecnología de reidentificación de personas (ReID) ha demostrado un rendimiento relativamente bueno en condiciones controladas y a nivel del suelo, pero se ve afectada cuando se implementa en entornos reales desafiantes. Esto se debe evidentemente a factores de variabilidad extrema en los datos, como cambios en la resolución, el punto de vista, la escala, las oclusiones y las variaciones en la apariencia debido a la ropa o a diferencias entre sesiones. Además, los conjuntos de datos disponibles públicamente no incorporan de manera realista este tipo y magnitud de variabilidad, lo que limita el avance de esta tecnología. Este artículo presenta DetReIDX, un conjunto de datos a gran escala de personas capturadas desde el aire y el suelo, diseñado específicamente como una prueba de estrés para la ReID en condiciones del mundo real. DetReIDX es un conjunto multi-sesión que incluye más de 13 millones de cuadros delimitadores de 509 identidades, recopilados en siete campus universitarios de tres continentes, con altitudes de drones que van desde 5,8 hasta 120 metros. Más importante aún, como una novedad clave, los sujetos de DetReIDX fueron grabados en (al menos) dos sesiones en días diferentes, con cambios en la ropa, la luz del día y la ubicación, lo que lo hace adecuado para evaluar la ReID de personas a largo plazo. Además, los datos fueron anotados con 16 atributos biométricos blandos y etiquetas multitarea para detección, seguimiento, ReID y reconocimiento de acciones. Para proporcionar evidencia empírica de la utilidad de DetReIDX, consideramos las tareas específicas de detección humana y ReID, donde los métodos de vanguardia (SOTA) degradan catastróficamente su rendimiento (hasta un 80% en precisión de detección y más del 70% en Rank-1 ReID) cuando se exponen a las condiciones de DetReIDX. El conjunto de datos, las anotaciones y los protocolos de evaluación oficiales están disponibles públicamente en https://www.it.ubi.pt/DetReIDX/.

English

Person reidentification (ReID) technology has been considered to perform relatively well under controlled, ground-level conditions, but it breaks down when deployed in challenging real-world settings. Evidently, this is due to extreme data variability factors such as resolution, viewpoint changes, scale variations, occlusions, and appearance shifts from clothing or session drifts. Moreover, the publicly available data sets do not realistically incorporate such kinds and magnitudes of variability, which limits the progress of this technology. This paper introduces DetReIDX, a large-scale aerial-ground person dataset, that was explicitly designed as a stress test to ReID under real-world conditions. DetReIDX is a multi-session set that includes over 13 million bounding boxes from 509 identities, collected in seven university campuses from three continents, with drone altitudes between 5.8 and 120 meters. More important, as a key novelty, DetReIDX subjects were recorded in (at least) two sessions on different days, with changes in clothing, daylight and location, making it suitable to actually evaluate long-term person ReID. Plus, data were annotated from 16 soft biometric attributes and multitask labels for detection, tracking, ReID, and action recognition. In order to provide empirical evidence of DetReIDX usefulness, we considered the specific tasks of human detection and ReID, where SOTA methods catastrophically degrade performance (up to 80% in detection accuracy and over 70% in Rank-1 ReID) when exposed to DetReIDXs conditions. The dataset, annotations, and official evaluation protocols are publicly available at https://www.it.ubi.pt/DetReIDX/