Arboretum: Ein großes multimodales Datenset, das KI für die Biodiversität ermöglicht.

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

June 25, 2024

Autoren: Chih-Hsuan Yang, Benjamin Feuer, Zaki Jubery, Zi K. Deng, Andre Nakkab, Md Zahid Hasan, Shivani Chiranjeevi, Kelly Marshall, Nirmal Baishnab, Asheesh K Singh, Arti Singh, Soumik Sarkar, Nirav Merchant, Chinmay Hegde, Baskar Ganapathysubramanian

cs.AI

Zusammenfassung

Wir stellen Arboretum vor, das größte öffentlich zugängliche Datenset, das entwickelt wurde, um KI für Biodiversitätsanwendungen voranzubringen. Dieses Datenset, das aus der iNaturalist-Community-Wissenschaftsplattform kuratiert und von Fachexperten geprüft wurde, um die Genauigkeit zu gewährleisten, umfasst 134,6 Millionen Bilder und übertrifft bestehende Datensets in Bezug auf den Umfang um eine Größenordnung. Das Datenset umfasst Bild-Sprach-Paarungsdaten für eine vielfältige Artensammlung von Vögeln (Aves), Spinnen/Zecken/Milben (Arachnida), Insekten (Insecta), Pflanzen (Plantae), Pilzen/Pilzen (Fungi), Schnecken (Mollusca) und Schlangen/Eidechsen (Reptilia), was es zu einer wertvollen Ressource für multimodale Vision-Sprach-KI-Modelle für die Biodiversitätsbewertung und die Agrarforschung macht. Jedes Bild ist mit wissenschaftlichen Namen, taxonomischen Details und gebräuchlichen Namen annotiert, was die Robustheit des KI-Modelltrainings verbessert. Wir präsentieren den Wert von Arboretum, indem wir eine Reihe von CLIP-Modellen veröffentlichen, die mit einem Subset von 40 Millionen beschrifteten Bildern trainiert wurden. Wir stellen mehrere neue Benchmarks für eine strenge Bewertung vor, berichten über die Genauigkeit beim Zero-Shot-Lernen und Bewertungen über Lebensstadien, seltene Arten, verwirrende Arten und verschiedene Ebenen der taxonomischen Hierarchie. Wir erwarten, dass Arboretum die Entwicklung von KI-Modellen vorantreiben wird, die eine Vielzahl digitaler Werkzeuge ermöglichen können, angefangen bei Schädlingsbekämpfungsstrategien, der Überwachung von Ernten bis hin zur weltweiten Biodiversitätsbewertung und Umweltschutzerhaltung. Diese Fortschritte sind entscheidend, um die Ernährungssicherheit zu gewährleisten, Ökosysteme zu erhalten und die Auswirkungen des Klimawandels zu mildern. Arboretum ist öffentlich zugänglich, leicht zugänglich und sofort einsatzbereit. Bitte besuchen Sie die Website https://baskargroup.github.io/Arboretum/{Projektwebsite} für Links zu unseren Daten, Modellen und Code.

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.