AnimalClue: Reconocimiento de animales por sus rastros

Resumen

La observación de vida silvestre desempeña un papel crucial en la conservación de la biodiversidad, lo que requiere metodologías robustas para monitorear poblaciones de fauna y las interacciones entre especies. Los avances recientes en visión por computadora han contribuido significativamente a automatizar tareas fundamentales de observación de vida silvestre, como la detección de animales y la identificación de especies. Sin embargo, la identificación precisa de especies a partir de evidencia indirecta, como huellas y heces, sigue siendo un área relativamente poco explorada, a pesar de su importancia para el monitoreo de la vida silvestre. Para abordar esta brecha, presentamos AnimalClue, el primer conjunto de datos a gran escala para la identificación de especies a partir de imágenes de evidencia indirecta. Nuestro conjunto de datos consta de 159,605 cuadros delimitadores que abarcan cinco categorías de pistas indirectas: huellas, heces, huevos, huesos y plumas. Cubre 968 especies, 200 familias y 65 órdenes. Cada imagen está anotada con etiquetas a nivel de especie, cuadros delimitadores o máscaras de segmentación, e información detallada de rasgos, incluyendo patrones de actividad y preferencias de hábitat. A diferencia de los conjuntos de datos existentes, que se centran principalmente en características visuales directas (por ejemplo, apariencias de animales), AnimalClue presenta desafíos únicos para tareas de clasificación, detección y segmentación de instancias debido a la necesidad de reconocer características visuales más detalladas y sutiles. En nuestros experimentos, evaluamos exhaustivamente modelos de visión representativos e identificamos desafíos clave en la identificación de animales a partir de sus rastros. Nuestro conjunto de datos y código están disponibles en https://dahlian00.github.io/AnimalCluePage/.

English

Wildlife observation plays an important role in biodiversity conservation, necessitating robust methodologies for monitoring wildlife populations and interspecies interactions. Recent advances in computer vision have significantly contributed to automating fundamental wildlife observation tasks, such as animal detection and species identification. However, accurately identifying species from indirect evidence like footprints and feces remains relatively underexplored, despite its importance in contributing to wildlife monitoring. To bridge this gap, we introduce AnimalClue, the first large-scale dataset for species identification from images of indirect evidence. Our dataset consists of 159,605 bounding boxes encompassing five categories of indirect clues: footprints, feces, eggs, bones, and feathers. It covers 968 species, 200 families, and 65 orders. Each image is annotated with species-level labels, bounding boxes or segmentation masks, and fine-grained trait information, including activity patterns and habitat preferences. Unlike existing datasets primarily focused on direct visual features (e.g., animal appearances), AnimalClue presents unique challenges for classification, detection, and instance segmentation tasks due to the need for recognizing more detailed and subtle visual features. In our experiments, we extensively evaluate representative vision models and identify key challenges in animal identification from their traces. Our dataset and code are available at https://dahlian00.github.io/AnimalCluePage/

AnimalClue: Reconocimiento de animales por sus rastros

AnimalClue: Recognizing Animals by their Traces

Resumen

Support