Arboretum: Een grote multimodale dataset die AI mogelijk maakt voor biodiversiteit

Samenvatting

We introduceren Arboretum, de grootste openbaar toegankelijke dataset die is ontworpen om AI voor biodiversiteitstoepassingen te bevorderen. Deze dataset, samengesteld vanuit het iNaturalist citizen science-platform en gecontroleerd door domeinexperts om nauwkeurigheid te waarborgen, omvat 134,6 miljoen afbeeldingen, wat bestaande datasets in schaal met een orde van grootte overtreft. De dataset bevat beeld-taalgekoppelde gegevens voor een diverse set soorten, waaronder vogels (Aves), spinnen/teken/mijten (Arachnida), insecten (Insecta), planten (Plantae), schimmels/paddenstoelen (Fungi), slakken (Mollusca) en slangen/hagedissen (Reptilia), waardoor het een waardevolle bron is voor multimodale vision-language AI-modellen voor biodiversiteitsbeoordeling en landbouwonderzoek. Elke afbeelding is geannoteerd met wetenschappelijke namen, taxonomische details en gebruikelijke namen, wat de robuustheid van AI-modeltraining versterkt. We demonstreren de waarde van Arboretum door een reeks CLIP-modellen vrij te geven die zijn getraind met een subset van 40 miljoen beelden met bijschriften. We introduceren verschillende nieuwe benchmarks voor rigoureuze beoordeling, rapporteren nauwkeurigheid voor zero-shot learning, en evaluaties over levensfasen, zeldzame soorten, verwarrende soorten en verschillende niveaus van de taxonomische hiërarchie. We verwachten dat Arboretum de ontwikkeling van AI-modellen zal stimuleren die een verscheidenheid aan digitale tools mogelijk maken, variërend van plaagbestrijdingsstrategieën, gewasmonitoring, en wereldwijde biodiversiteitsbeoordeling tot milieubescherming. Deze vooruitgang is cruciaal voor het waarborgen van voedselzekerheid, het behoud van ecosystemen en het beperken van de gevolgen van klimaatverandering. Arboretum is openbaar beschikbaar, gemakkelijk toegankelijk en klaar voor direct gebruik. Bezoek de https://baskargroup.github.io/Arboretum/{projectwebsite} voor links naar onze gegevens, modellen en code.

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.

Arboretum: Een grote multimodale dataset die AI mogelijk maakt voor biodiversiteit

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

Samenvatting

Support