DetReIDX：実世界のUAVベース人物認識のためのストレステストデータセット

要旨

人物再識別（ReID）技術は、制御された地上条件下では比較的良好な性能を発揮すると考えられてきたが、現実世界の困難な環境下ではその性能が低下する。これは明らかに、解像度、視点の変化、スケールの変動、遮蔽、衣服やセッションの変化による外観の変化といった極端なデータの多様性要因によるものである。さらに、公開されているデータセットは、このような種類や規模の多様性を現実的に取り入れていないため、この技術の進歩が制限されている。本論文では、現実世界の条件下でのReIDに対するストレステストとして明示的に設計された大規模な空中-地上人物データセット、DetReIDXを紹介する。DetReIDXは、3つの大陸の7つの大学キャンパスで、ドローンの高度が5.8メートルから120メートルの範囲で収集された、509のIDからなる1300万以上のバウンディングボックスを含むマルチセッションセットである。さらに重要な点として、DetReIDXの被写体は、異なる日に（少なくとも）2回のセッションで記録され、衣服、日光、場所の変化が含まれており、長期的な人物再識別を実際に評価するのに適している。加えて、データは16のソフトバイオメトリック属性と、検出、追跡、ReID、行動認識のためのマルチタスクラベルで注釈付けされている。DetReIDXの有用性を実証するために、人間の検出とReIDの特定のタスクを検討したところ、SOTA手法はDetReIDXの条件下では性能が劇的に低下し（検出精度で最大80%、Rank-1 ReIDで70%以上）、その有用性が確認された。データセット、注釈、公式評価プロトコルはhttps://www.it.ubi.pt/DetReIDX/で公開されている。

English

Person reidentification (ReID) technology has been considered to perform relatively well under controlled, ground-level conditions, but it breaks down when deployed in challenging real-world settings. Evidently, this is due to extreme data variability factors such as resolution, viewpoint changes, scale variations, occlusions, and appearance shifts from clothing or session drifts. Moreover, the publicly available data sets do not realistically incorporate such kinds and magnitudes of variability, which limits the progress of this technology. This paper introduces DetReIDX, a large-scale aerial-ground person dataset, that was explicitly designed as a stress test to ReID under real-world conditions. DetReIDX is a multi-session set that includes over 13 million bounding boxes from 509 identities, collected in seven university campuses from three continents, with drone altitudes between 5.8 and 120 meters. More important, as a key novelty, DetReIDX subjects were recorded in (at least) two sessions on different days, with changes in clothing, daylight and location, making it suitable to actually evaluate long-term person ReID. Plus, data were annotated from 16 soft biometric attributes and multitask labels for detection, tracking, ReID, and action recognition. In order to provide empirical evidence of DetReIDX usefulness, we considered the specific tasks of human detection and ReID, where SOTA methods catastrophically degrade performance (up to 80% in detection accuracy and over 70% in Rank-1 ReID) when exposed to DetReIDXs conditions. The dataset, annotations, and official evaluation protocols are publicly available at https://www.it.ubi.pt/DetReIDX/

DetReIDX：実世界のUAVベース人物認識のためのストレステストデータセット

DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition

要旨

Support