AnimalClue: Reconhecendo Animais por seus Rastros

AnimalClue: Recognizing Animals by their Traces

July 27, 2025

Autores: Risa Shinoda, Nakamasa Inoue, Iro Laina, Christian Rupprecht, Hirokatsu Kataoka

cs.AI

Resumo

A observação da vida selvagem desempenha um papel importante na conservação da biodiversidade, exigindo metodologias robustas para monitorar populações de animais e interações entre espécies. Avanços recentes em visão computacional contribuíram significativamente para a automação de tarefas fundamentais de observação da vida selvagem, como a detecção de animais e a identificação de espécies. No entanto, a identificação precisa de espécies a partir de evidências indiretas, como pegadas e fezes, permanece relativamente pouco explorada, apesar de sua importância para o monitoramento da vida selvagem. Para preencher essa lacuna, apresentamos o AnimalClue, o primeiro conjunto de dados em grande escala para identificação de espécies a partir de imagens de evidências indiretas. Nosso conjunto de dados consiste em 159.605 caixas delimitadoras que abrangem cinco categorias de pistas indiretas: pegadas, fezes, ovos, ossos e penas. Ele cobre 968 espécies, 200 famílias e 65 ordens. Cada imagem é anotada com rótulos em nível de espécie, caixas delimitadoras ou máscaras de segmentação, e informações detalhadas de características, incluindo padrões de atividade e preferências de habitat. Diferente de conjuntos de dados existentes que se concentram principalmente em características visuais diretas (por exemplo, aparência dos animais), o AnimalClue apresenta desafios únicos para tarefas de classificação, detecção e segmentação de instâncias devido à necessidade de reconhecer características visuais mais detalhadas e sutis. Em nossos experimentos, avaliamos extensivamente modelos de visão representativos e identificamos desafios-chave na identificação de animais a partir de seus rastros. Nosso conjunto de dados e código estão disponíveis em https://dahlian00.github.io/AnimalCluePage/.

English

Wildlife observation plays an important role in biodiversity conservation, necessitating robust methodologies for monitoring wildlife populations and interspecies interactions. Recent advances in computer vision have significantly contributed to automating fundamental wildlife observation tasks, such as animal detection and species identification. However, accurately identifying species from indirect evidence like footprints and feces remains relatively underexplored, despite its importance in contributing to wildlife monitoring. To bridge this gap, we introduce AnimalClue, the first large-scale dataset for species identification from images of indirect evidence. Our dataset consists of 159,605 bounding boxes encompassing five categories of indirect clues: footprints, feces, eggs, bones, and feathers. It covers 968 species, 200 families, and 65 orders. Each image is annotated with species-level labels, bounding boxes or segmentation masks, and fine-grained trait information, including activity patterns and habitat preferences. Unlike existing datasets primarily focused on direct visual features (e.g., animal appearances), AnimalClue presents unique challenges for classification, detection, and instance segmentation tasks due to the need for recognizing more detailed and subtle visual features. In our experiments, we extensively evaluate representative vision models and identify key challenges in animal identification from their traces. Our dataset and code are available at https://dahlian00.github.io/AnimalCluePage/