DetReIDX: 실세계 UAV 기반 인물 인식을 위한 스트레스 테스트 데이터셋

DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition

May 7, 2025

저자: Kailash A. Hambarde, Nzakiese Mbongo, Pavan Kumar MP, Satish Mekewad, Carolina Fernandes, Gökhan Silahtaroğlu, Alice Nithya, Pawan Wasnik, MD. Rashidunnabi, Pranita Samale, Hugo Proença

cs.AI

초록

개인 재식별(ReID) 기술은 통제된 지상 조건에서는 상대적으로 잘 작동하는 것으로 여겨져 왔지만, 실제 도전적인 현실 환경에서 배포될 경우 성능이 크게 저하됩니다. 이는 해상도, 시점 변화, 크기 변동, 가려짐, 그리고 의상이나 세션 변화로 인한 외모 변화와 같은 극단적인 데이터 변동 요인들 때문입니다. 더욱이, 공개적으로 이용 가능한 데이터셋들은 이러한 종류와 규모의 변동성을 현실적으로 반영하지 못하고 있어, 이 기술의 발전을 제한하고 있습니다. 본 논문은 실제 환경에서의 ReID를 위한 스트레스 테스트로 명시적으로 설계된 대규모 공중-지상 개인 데이터셋인 DetReIDX를 소개합니다. DetReIDX는 3개 대륙의 7개 대학 캠퍼스에서 드론 고도 5.8미터에서 120미터 사이로 수집된 509명의 신원에 대한 1,300만 개 이상의 바운딩 박스를 포함하는 다중 세션 데이터셋입니다. 더 중요한 것은, DetReIDX의 피험자들은 최소 두 번 이상의 서로 다른 날짜에 의상, 일광, 위치가 변경된 상태로 기록되어 장기간 개인 ReID를 실제로 평가하기에 적합합니다. 또한, 데이터는 16개의 소프트 생체 인식 속성과 탐지, 추적, ReID, 행동 인식을 위한 멀티태스크 레이블로 주석 처리되었습니다. DetReIDX의 유용성을 실증적으로 입증하기 위해, 인간 탐지와 ReID의 특정 작업을 고려했으며, SOTA(State-of-the-Art) 방법들이 DetReIDX의 조건에 노출되었을 때 탐지 정확도에서 최대 80%, Rank-1 ReID에서 70% 이상의 성능 저하를 보였습니다. 이 데이터셋, 주석, 공식 평가 프로토콜은 https://www.it.ubi.pt/DetReIDX/에서 공개적으로 이용 가능합니다.

English

Person reidentification (ReID) technology has been considered to perform relatively well under controlled, ground-level conditions, but it breaks down when deployed in challenging real-world settings. Evidently, this is due to extreme data variability factors such as resolution, viewpoint changes, scale variations, occlusions, and appearance shifts from clothing or session drifts. Moreover, the publicly available data sets do not realistically incorporate such kinds and magnitudes of variability, which limits the progress of this technology. This paper introduces DetReIDX, a large-scale aerial-ground person dataset, that was explicitly designed as a stress test to ReID under real-world conditions. DetReIDX is a multi-session set that includes over 13 million bounding boxes from 509 identities, collected in seven university campuses from three continents, with drone altitudes between 5.8 and 120 meters. More important, as a key novelty, DetReIDX subjects were recorded in (at least) two sessions on different days, with changes in clothing, daylight and location, making it suitable to actually evaluate long-term person ReID. Plus, data were annotated from 16 soft biometric attributes and multitask labels for detection, tracking, ReID, and action recognition. In order to provide empirical evidence of DetReIDX usefulness, we considered the specific tasks of human detection and ReID, where SOTA methods catastrophically degrade performance (up to 80% in detection accuracy and over 70% in Rank-1 ReID) when exposed to DetReIDXs conditions. The dataset, annotations, and official evaluation protocols are publicly available at https://www.it.ubi.pt/DetReIDX/