Arboretum: Un Ampio Dataset Multimodale che Abilita l'Intelligenza Artificiale per la Biodiversità

Abstract

Presentiamo Arboretum, il più grande dataset di pubblico accesso progettato per far progredire l'IA nelle applicazioni per la biodiversità. Questo dataset, curato dalla piattaforma di scienza comunitaria iNaturalist e verificato da esperti del settore per garantirne l'accuratezza, include 134,6 milioni di immagini, superando i dataset esistenti per scala di un ordine di grandezza. Il dataset comprende dati accoppiati immagine-linguaggio per un insieme diversificato di specie, tra cui uccelli (Aves), ragni/zecche/acari (Arachnida), insetti (Insecta), piante (Plantae), funghi/miceti (Fungi), lumache (Mollusca) e serpenti/lucertole (Reptilia), rendendolo una risorsa preziosa per modelli di IA multimodali visione-linguaggio per la valutazione della biodiversità e la ricerca agricola. Ogni immagine è annotata con nomi scientifici, dettagli tassonomici e nomi comuni, migliorando la robustezza dell'addestramento dei modelli di IA. Dimostriamo il valore di Arboretum rilasciando una suite di modelli CLIP addestrati utilizzando un sottoinsieme di 40 milioni di immagini con didascalie. Introduciamo diversi nuovi benchmark per una valutazione rigorosa, riportiamo l'accuratezza per l'apprendimento zero-shot e valutazioni attraverso fasi di vita, specie rare, specie confondenti e vari livelli della gerarchia tassonomica. Prevediamo che Arboretum stimolerà lo sviluppo di modelli di IA in grado di abilitare una varietà di strumenti digitali, che vanno dalle strategie di controllo dei parassiti, al monitoraggio delle colture, alla valutazione globale della biodiversità e alla conservazione ambientale. Questi progressi sono fondamentali per garantire la sicurezza alimentare, preservare gli ecosistemi e mitigare gli impatti del cambiamento climatico. Arboretum è pubblicamente disponibile, facilmente accessibile e pronto per un uso immediato. Si prega di consultare il {sito web del progetto} https://baskargroup.github.io/Arboretum/ per i collegamenti ai nostri dati, modelli e codice.

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.

Arboretum: Un Ampio Dataset Multimodale che Abilita l'Intelligenza Artificiale per la Biodiversità

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

Abstract

Support