Arboretum: Un Conjunto de Datos Multimodal de Gran Escala que Facilita la IA para la Biodiversidad

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

June 25, 2024

Autores: Chih-Hsuan Yang, Benjamin Feuer, Zaki Jubery, Zi K. Deng, Andre Nakkab, Md Zahid Hasan, Shivani Chiranjeevi, Kelly Marshall, Nirmal Baishnab, Asheesh K Singh, Arti Singh, Soumik Sarkar, Nirav Merchant, Chinmay Hegde, Baskar Ganapathysubramanian

cs.AI

Resumen

Presentamos Arboretum, el conjunto de datos de acceso público más grande diseñado para avanzar en la IA para aplicaciones de biodiversidad. Este conjunto de datos, curado a partir de la plataforma de ciencia comunitaria iNaturalist y revisado por expertos en el dominio para garantizar su precisión, incluye 134.6 millones de imágenes, superando en escala a los conjuntos de datos existentes por un orden de magnitud. El conjunto de datos abarca datos emparejados de imagen y lenguaje para un conjunto diverso de especies, incluyendo aves (Aves), arañas/garrapatas/ácaros (Arachnida), insectos (Insecta), plantas (Plantae), hongos/setas (Fungi), caracoles (Mollusca) y serpientes/lagartos (Reptilia), lo que lo convierte en un recurso valioso para modelos de IA multimodal de visión y lenguaje en la evaluación de la biodiversidad y la investigación agrícola. Cada imagen está anotada con nombres científicos, detalles taxonómicos y nombres comunes, lo que mejora la solidez del entrenamiento de los modelos de IA. Demostramos el valor de Arboretum al publicar una serie de modelos CLIP entrenados utilizando un subconjunto de 40 millones de imágenes con leyendas. Introducimos varios nuevos puntos de referencia para una evaluación rigurosa, informamos la precisión en el aprendizaje de cero disparos (zero-shot) y realizamos evaluaciones en diferentes etapas de vida, especies raras, especies confusas y varios niveles de la jerarquía taxonómica. Anticipamos que Arboretum impulsará el desarrollo de modelos de IA que puedan habilitar una variedad de herramientas digitales, desde estrategias de control de plagas, monitoreo de cultivos, hasta la evaluación mundial de la biodiversidad y la conservación ambiental. Estos avances son críticos para garantizar la seguridad alimentaria, preservar los ecosistemas y mitigar los impactos del cambio climático. Arboretum está disponible públicamente, es de fácil acceso y listo para su uso inmediato. Por favor, visite el {sitio web del proyecto} https://baskargroup.github.io/Arboretum/ para acceder a enlaces a nuestros datos, modelos y código.

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.