DetReIDX: Un Dataset di Stress Test per il Riconoscimento di Persone Basato su UAV nel Mondo Reale

Abstract

La tecnologia di reidentificazione delle persone (ReID) è stata considerata relativamente efficace in condizioni controllate a livello del suolo, ma risulta inadeguata quando viene implementata in contesti reali complessi. Evidentemente, ciò è dovuto a fattori di estrema variabilità dei dati, come risoluzione, cambiamenti di punto di vista, variazioni di scala, occlusioni e alterazioni dell'aspetto dovute a cambiamenti di abbigliamento o sessioni diverse. Inoltre, i dataset pubblicamente disponibili non incorporano in modo realistico tali tipi e livelli di variabilità, limitando così il progresso di questa tecnologia. Questo articolo introduce DetReIDX, un ampio dataset aereo-terrestre di persone, progettato esplicitamente come test di stress per la ReID in condizioni reali. DetReIDX è un set multi-sessione che include oltre 13 milioni di bounding box relative a 509 identità, raccolte in sette campus universitari di tre continenti, con altitudini dei droni comprese tra 5,8 e 120 metri. Ancora più importante, come novità chiave, i soggetti di DetReIDX sono stati registrati in (almeno) due sessioni in giorni diversi, con cambiamenti di abbigliamento, luce diurna e ubicazione, rendendolo adatto a valutare effettivamente la ReID a lungo termine. Inoltre, i dati sono stati annotati con 16 attributi biometrici soft e etichette multitask per rilevamento, tracciamento, ReID e riconoscimento delle azioni. Per fornire evidenza empirica dell'utilità di DetReIDX, abbiamo considerato i compiti specifici di rilevamento umano e ReID, dove i metodi SOTA subiscono un drastico degrado delle prestazioni (fino all'80% nell'accuratezza di rilevamento e oltre il 70% nella ReID Rank-1) quando esposti alle condizioni di DetReIDX. Il dataset, le annotazioni e i protocolli di valutazione ufficiali sono disponibili pubblicamente all'indirizzo https://www.it.ubi.pt/DetReIDX/.

English

Person reidentification (ReID) technology has been considered to perform relatively well under controlled, ground-level conditions, but it breaks down when deployed in challenging real-world settings. Evidently, this is due to extreme data variability factors such as resolution, viewpoint changes, scale variations, occlusions, and appearance shifts from clothing or session drifts. Moreover, the publicly available data sets do not realistically incorporate such kinds and magnitudes of variability, which limits the progress of this technology. This paper introduces DetReIDX, a large-scale aerial-ground person dataset, that was explicitly designed as a stress test to ReID under real-world conditions. DetReIDX is a multi-session set that includes over 13 million bounding boxes from 509 identities, collected in seven university campuses from three continents, with drone altitudes between 5.8 and 120 meters. More important, as a key novelty, DetReIDX subjects were recorded in (at least) two sessions on different days, with changes in clothing, daylight and location, making it suitable to actually evaluate long-term person ReID. Plus, data were annotated from 16 soft biometric attributes and multitask labels for detection, tracking, ReID, and action recognition. In order to provide empirical evidence of DetReIDX usefulness, we considered the specific tasks of human detection and ReID, where SOTA methods catastrophically degrade performance (up to 80% in detection accuracy and over 70% in Rank-1 ReID) when exposed to DetReIDXs conditions. The dataset, annotations, and official evaluation protocols are publicly available at https://www.it.ubi.pt/DetReIDX/

DetReIDX: Un Dataset di Stress Test per il Riconoscimento di Persone Basato su UAV nel Mondo Reale

DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition

Abstract

Support