DetReIDX: Een stresstestdataset voor real-world personenherkenning op basis van UAV's

Samenvatting

Person reidentification (ReID)-technologie presteert relatief goed onder gecontroleerde, grondniveau-omstandigheden, maar faalt wanneer deze wordt ingezet in uitdagende real-world situaties. Dit is duidelijk te wijten aan extreme variabiliteitsfactoren in de data, zoals resolutie, veranderingen in gezichtspunt, schaalvariaties, occlusies en verschuivingen in uiterlijk door kleding of sessieverschillen. Bovendien nemen de publiek beschikbare datasets dergelijke soorten en omvang van variabiliteit niet realistisch op, wat de vooruitgang van deze technologie beperkt. Dit artikel introduceert DetReIDX, een grootschalig lucht-grond personendataset, die expliciet is ontworpen als een stresstest voor ReID onder real-world omstandigheden. DetReIDX is een multi-sessie dataset die meer dan 13 miljoen bounding boxes bevat van 509 identiteiten, verzameld op zeven universiteitscampussen van drie continenten, met dronehoogtes tussen 5,8 en 120 meter. Belangrijker nog, als een belangrijke nieuwigheid, werden de onderwerpen in DetReIDX opgenomen in (minimaal) twee sessies op verschillende dagen, met veranderingen in kleding, daglicht en locatie, waardoor het geschikt is om daadwerkelijk langetermijn personen-ReID te evalueren. Daarnaast zijn de data geannoteerd met 16 zachte biometrische attributen en multitask-labels voor detectie, tracking, ReID en actieherkenning. Om empirisch bewijs te leveren van de bruikbaarheid van DetReIDX, hebben we de specifieke taken van menselijke detectie en ReID overwogen, waarbij SOTA-methoden catastrofaal slecht presteren (tot 80% in detectienauwkeurigheid en meer dan 70% in Rank-1 ReID) wanneer ze worden blootgesteld aan de omstandigheden van DetReIDX. De dataset, annotaties en officiële evaluatieprotocollen zijn publiekelijk beschikbaar op https://www.it.ubi.pt/DetReIDX/

English

Person reidentification (ReID) technology has been considered to perform relatively well under controlled, ground-level conditions, but it breaks down when deployed in challenging real-world settings. Evidently, this is due to extreme data variability factors such as resolution, viewpoint changes, scale variations, occlusions, and appearance shifts from clothing or session drifts. Moreover, the publicly available data sets do not realistically incorporate such kinds and magnitudes of variability, which limits the progress of this technology. This paper introduces DetReIDX, a large-scale aerial-ground person dataset, that was explicitly designed as a stress test to ReID under real-world conditions. DetReIDX is a multi-session set that includes over 13 million bounding boxes from 509 identities, collected in seven university campuses from three continents, with drone altitudes between 5.8 and 120 meters. More important, as a key novelty, DetReIDX subjects were recorded in (at least) two sessions on different days, with changes in clothing, daylight and location, making it suitable to actually evaluate long-term person ReID. Plus, data were annotated from 16 soft biometric attributes and multitask labels for detection, tracking, ReID, and action recognition. In order to provide empirical evidence of DetReIDX usefulness, we considered the specific tasks of human detection and ReID, where SOTA methods catastrophically degrade performance (up to 80% in detection accuracy and over 70% in Rank-1 ReID) when exposed to DetReIDXs conditions. The dataset, annotations, and official evaluation protocols are publicly available at https://www.it.ubi.pt/DetReIDX/

DetReIDX: Een stresstestdataset voor real-world personenherkenning op basis van UAV's

DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition

Samenvatting

Support