Arboreto: Um Grande Conjunto de Dados Multimodal Permitindo IA para a Biodiversidade

Resumo

Apresentamos o Arboretum, o maior conjunto de dados publicamente acessível projetado para avançar a IA em aplicações de biodiversidade. Este conjunto de dados, selecionado da plataforma de ciência comunitária iNaturalist e avaliado por especialistas do domínio para garantir precisão, inclui 134,6 milhões de imagens, superando conjuntos de dados existentes em escala por uma ordem de magnitude. O conjunto de dados abrange dados em pares de imagem-linguagem para um conjunto diversificado de espécies de aves (Aves), aranhas/carrapatos/ácaros (Arachnida), insetos (Insecta), plantas (Plantae), fungos/cogumelos (Fungi), caramujos (Mollusca) e serpentes/lagartos (Reptilia), tornando-se um recurso valioso para modelos de IA multimodais de visão-linguagem para avaliação da biodiversidade e pesquisa agrícola. Cada imagem é anotada com nomes científicos, detalhes taxonômicos e nomes comuns, aprimorando a robustez do treinamento do modelo de IA. Demonstramos o valor do Arboretum ao lançar uma série de modelos CLIP treinados usando um subconjunto de 40 milhões de imagens legendadas. Introduzimos vários novos benchmarks para avaliação rigorosa, relatamos a precisão para aprendizado sem supervisão e avaliações em diferentes estágios de vida, espécies raras, espécies confundíveis e vários níveis da hierarquia taxonômica. Antecipamos que o Arboretum estimulará o desenvolvimento de modelos de IA que podem possibilitar uma variedade de ferramentas digitais, desde estratégias de controle de pragas, monitoramento de cultivos, até avaliação da biodiversidade mundial e conservação ambiental. Esses avanços são fundamentais para garantir a segurança alimentar, preservar ecossistemas e mitigar os impactos das mudanças climáticas. O Arboretum está publicamente disponível, facilmente acessível e pronto para uso imediato. Consulte o https://baskargroup.github.io/Arboretum/{site do projeto} para links para nossos dados, modelos e código.

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.

Arboreto: Um Grande Conjunto de Dados Multimodal Permitindo IA para a Biodiversidade

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

Resumo

Support