Arboretum: 生物多様性のためのAIを可能にする大規模マルチモーダルデータセット

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

June 25, 2024

著者: Chih-Hsuan Yang, Benjamin Feuer, Zaki Jubery, Zi K. Deng, Andre Nakkab, Md Zahid Hasan, Shivani Chiranjeevi, Kelly Marshall, Nirmal Baishnab, Asheesh K Singh, Arti Singh, Soumik Sarkar, Nirav Merchant, Chinmay Hegde, Baskar Ganapathysubramanian

cs.AI

要旨

私たちは、生物多様性アプリケーションのためのAIを進化させるために設計された、最大規模の公開データセット「Arboretum」を紹介します。このデータセットは、iNaturalistコミュニティサイエンスプラットフォームからキュレーションされ、正確性を確保するためにドメインエキスパートによって検証されたもので、1億3460万枚の画像を含み、既存のデータセットを規模において一桁上回っています。このデータセットは、鳥類（Aves）、クモ/ダニ/ダニ類（Arachnida）、昆虫類（Insecta）、植物類（Plantae）、菌類/キノコ類（Fungi）、貝類（Mollusca）、ヘビ/トカゲ類（Reptilia）など、多様な種の画像と言語のペアデータを網羅しており、生物多様性評価や農業研究のためのマルチモーダル視覚言語AIモデルにとって貴重なリソースとなっています。各画像は、学名、分類学的詳細、および一般名で注釈付けされており、AIモデルのトレーニングの堅牢性を高めています。 私たちは、4000万枚のキャプション付き画像のサブセットを使用してトレーニングされた一連のCLIPモデルをリリースすることで、Arboretumの価値を示します。厳密な評価のためのいくつかの新しいベンチマークを導入し、ゼロショット学習の精度、ライフステージ、希少種、混同しやすい種、および分類階層のさまざまなレベルにわたる評価を報告します。 私たちは、Arboretumが、害虫駆除戦略、作物モニタリング、世界的な生物多様性評価、環境保護に至るまでのさまざまなデジタルツールを可能にするAIモデルの開発を促進することを期待しています。これらの進展は、食料安全保障の確保、生態系の保全、気候変動の影響の緩和にとって重要です。Arboretumは公開されており、容易にアクセス可能で、すぐに使用できる状態です。 データ、モデル、コードへのリンクについては、https://baskargroup.github.io/Arboretum/{プロジェクトウェブサイト}をご覧ください。

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.