AnimalClue: Распознавание животных по их следам

AnimalClue: Recognizing Animals by their Traces

July 27, 2025

Авторы: Risa Shinoda, Nakamasa Inoue, Iro Laina, Christian Rupprecht, Hirokatsu Kataoka

cs.AI

Аннотация

Наблюдение за дикой природой играет важную роль в сохранении биоразнообразия, что требует разработки надежных методик для мониторинга популяций диких животных и межвидовых взаимодействий. Последние достижения в области компьютерного зрения значительно способствовали автоматизации базовых задач наблюдения за дикой природой, таких как обнаружение животных и идентификация видов. Однако точное определение видов по косвенным признакам, таким как следы и экскременты, остается недостаточно изученным, несмотря на его важность для мониторинга дикой природы. Чтобы заполнить этот пробел, мы представляем AnimalClue — первый крупномасштабный набор данных для идентификации видов по изображениям косвенных признаков. Наш набор данных включает 159 605 ограничивающих рамок, охватывающих пять категорий косвенных признаков: следы, экскременты, яйца, кости и перья. Он охватывает 968 видов, 200 семейств и 65 отрядов. Каждое изображение аннотировано метками на уровне видов, ограничивающими рамками или масками сегментации, а также детализированной информацией о признаках, включая модели активности и предпочтения в среде обитания. В отличие от существующих наборов данных, которые в основном сосредоточены на прямых визуальных признаках (например, внешний вид животных), AnimalClue представляет уникальные задачи для классификации, обнаружения и сегментации объектов из-за необходимости распознавания более детальных и тонких визуальных признаков. В наших экспериментах мы тщательно оцениваем репрезентативные модели компьютерного зрения и выявляем ключевые проблемы в идентификации животных по их следам. Наш набор данных и код доступны по адресу https://dahlian00.github.io/AnimalCluePage/.

English

Wildlife observation plays an important role in biodiversity conservation, necessitating robust methodologies for monitoring wildlife populations and interspecies interactions. Recent advances in computer vision have significantly contributed to automating fundamental wildlife observation tasks, such as animal detection and species identification. However, accurately identifying species from indirect evidence like footprints and feces remains relatively underexplored, despite its importance in contributing to wildlife monitoring. To bridge this gap, we introduce AnimalClue, the first large-scale dataset for species identification from images of indirect evidence. Our dataset consists of 159,605 bounding boxes encompassing five categories of indirect clues: footprints, feces, eggs, bones, and feathers. It covers 968 species, 200 families, and 65 orders. Each image is annotated with species-level labels, bounding boxes or segmentation masks, and fine-grained trait information, including activity patterns and habitat preferences. Unlike existing datasets primarily focused on direct visual features (e.g., animal appearances), AnimalClue presents unique challenges for classification, detection, and instance segmentation tasks due to the need for recognizing more detailed and subtle visual features. In our experiments, we extensively evaluate representative vision models and identify key challenges in animal identification from their traces. Our dataset and code are available at https://dahlian00.github.io/AnimalCluePage/