Arboretum : Un vaste ensemble de données multimodales pour l'IA au service de la biodiversité

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

June 25, 2024

Auteurs: Chih-Hsuan Yang, Benjamin Feuer, Zaki Jubery, Zi K. Deng, Andre Nakkab, Md Zahid Hasan, Shivani Chiranjeevi, Kelly Marshall, Nirmal Baishnab, Asheesh K Singh, Arti Singh, Soumik Sarkar, Nirav Merchant, Chinmay Hegde, Baskar Ganapathysubramanian

cs.AI

Résumé

Nous présentons Arboretum, le plus grand ensemble de données accessible au public conçu pour faire progresser l'IA dans les applications liées à la biodiversité. Ce jeu de données, issu de la plateforme de science citoyenne iNaturalist et validé par des experts du domaine pour garantir son exactitude, comprend 134,6 millions d'images, surpassant les ensembles de données existants par un ordre de grandeur. Il inclut des données associant images et texte pour une diversité d'espèces telles que les oiseaux (Aves), les araignées/tiques/acariens (Arachnida), les insectes (Insecta), les plantes (Plantae), les champignons (Fungi), les escargots (Mollusca) et les serpents/lézards (Reptilia), en faisant une ressource précieuse pour les modèles d'IA multimodaux vision-langue dédiés à l'évaluation de la biodiversité et à la recherche agricole. Chaque image est annotée avec des noms scientifiques, des détails taxonomiques et des noms communs, renforçant ainsi la robustesse de l'entraînement des modèles d'IA. Nous démontrons la valeur d'Arboretum en publiant une série de modèles CLIP entraînés sur un sous-ensemble de 40 millions d'images légendées. Nous introduisons plusieurs nouveaux benchmarks pour une évaluation rigoureuse, rapportons la précision en apprentissage zero-shot, et effectuons des évaluations à travers les stades de vie, les espèces rares, les espèces confondantes et différents niveaux de la hiérarchie taxonomique. Nous anticipons qu'Arboretum stimulera le développement de modèles d'IA capables de soutenir une variété d'outils numériques, allant des stratégies de lutte contre les ravageurs, au suivi des cultures, en passant par l'évaluation mondiale de la biodiversité et la conservation de l'environnement. Ces avancées sont essentielles pour assurer la sécurité alimentaire, préserver les écosystèmes et atténuer les impacts du changement climatique. Arboretum est accessible au public, facilement utilisable et prêt à être exploité immédiatement. Veuillez consulter le {site web du projet} https://baskargroup.github.io/Arboretum/ pour accéder à nos données, modèles et codes.

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.