아보리텀: 생물다양성을 위한 AI를 가능하게 하는 대규모 멀티모달 데이터셋

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

June 25, 2024

저자: Chih-Hsuan Yang, Benjamin Feuer, Zaki Jubery, Zi K. Deng, Andre Nakkab, Md Zahid Hasan, Shivani Chiranjeevi, Kelly Marshall, Nirmal Baishnab, Asheesh K Singh, Arti Singh, Soumik Sarkar, Nirav Merchant, Chinmay Hegde, Baskar Ganapathysubramanian

cs.AI

초록

우리는 생물다양성 응용을 위한 AI 발전을 목적으로 설계된, 공개적으로 접근 가능한 가장 큰 데이터셋인 Arboretum을 소개합니다. 이 데이터셋은 iNaturalist 커뮤니티 과학 플랫폼에서 수집되었으며, 정확성을 보장하기 위해 해당 분야 전문가들의 검증을 거쳤습니다. 총 134.6백만 개의 이미지를 포함하고 있어 기존 데이터셋의 규모를 한 차원 넘어섭니다. 이 데이터셋은 새(Aves), 거미/진드기/응애(Arachnida), 곤충(Insecta), 식물(Plantae), 균류/버섯(Fungi), 달팽이(Mollusca), 그리고 뱀/도마뱀(Reptilia) 등 다양한 종의 이미지-언어 쌍 데이터를 포함하고 있어, 생물다양성 평가 및 농업 연구를 위한 멀티모달 비전-언어 AI 모델에 귀중한 자원이 됩니다. 각 이미지는 학명, 분류학적 세부 정보, 그리고 일반명으로 주석 처리되어 있어 AI 모델 학습의 견고성을 높입니다. 우리는 Arboretum의 가치를 입증하기 위해 4천만 개의 캡션 처리된 이미지 하위 집합을 사용하여 학습된 CLIP 모델 세트를 공개합니다. 또한, 엄격한 평가를 위한 여러 새로운 벤치마크를 소개하고, 제로샷 학습의 정확성을 보고하며, 생애 주기, 희귀종, 혼동 종, 그리고 다양한 분류학적 계층 수준에 걸친 평가를 수행합니다. 우리는 Arboretum이 해충 방제 전략, 작물 모니터링, 전 세계 생물다양성 평가 및 환경 보존에 이르는 다양한 디지털 도구를 가능하게 하는 AI 모델 개발을 촉진할 것으로 기대합니다. 이러한 발전은 식량 안보를 보장하고, 생태계를 보존하며, 기후 변화의 영향을 완화하는 데 중요합니다. Arboretum은 공개적으로 이용 가능하며, 쉽게 접근할 수 있고, 즉시 사용할 준비가 되어 있습니다. 데이터, 모델, 코드에 대한 링크는 https://baskargroup.github.io/Arboretum/{프로젝트 웹사이트}를 참조하십시오.

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.