Арборетум: большой мультимодальный набор данных, обеспечивающий использование искусственного интеллекта для изучения биоразнообразия.

Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

June 25, 2024

Авторы: Chih-Hsuan Yang, Benjamin Feuer, Zaki Jubery, Zi K. Deng, Andre Nakkab, Md Zahid Hasan, Shivani Chiranjeevi, Kelly Marshall, Nirmal Baishnab, Asheesh K Singh, Arti Singh, Soumik Sarkar, Nirav Merchant, Chinmay Hegde, Baskar Ganapathysubramanian

cs.AI

Аннотация

Мы представляем Arboretum - крупнейший общедоступный набор данных, разработанный для продвижения искусственного интеллекта в области биоразнообразия. Этот набор данных, отобранный из сообщества научной платформы iNaturalist и проверенный предметными экспертами для обеспечения точности, включает 134,6 миллиона изображений, превосходящих существующие наборы данных по масштабу на порядок. Набор данных охватывает парные данные изображений и языка для разнообразного набора видов: птиц (Aves), пауков/клещей/клещей (Arachnida), насекомых (Insecta), растений (Plantae), грибов/грибов (Fungi), улиток (Mollusca) и змей/ящериц (Reptilia), что делает его ценным ресурсом для мультимодельных моделей искусственного интеллекта для оценки биоразнообразия и исследований в области сельского хозяйства. Каждое изображение аннотировано научными названиями, таксономическими данными и общими названиями, что повышает надежность обучения моделей искусственного интеллекта. Мы демонстрируем ценность Arboretum, выпустив набор моделей CLIP, обученных с использованием подмножества из 40 миллионов подписанных изображений. Мы представляем несколько новых показателей для строгой оценки, сообщаем о точности обучения без обучающих примеров и оценках на различных этапах жизни, редких видах, вводящих в заблуждение видах и различных уровнях таксономической иерархии. Мы ожидаем, что Arboretum стимулирует развитие моделей искусственного интеллекта, способных обеспечить разнообразие цифровых инструментов, начиная от стратегий борьбы с вредителями, мониторинга урожаев и всемирной оценки биоразнообразия и охраны окружающей среды. Эти достижения критически важны для обеспечения продовольственной безопасности, сохранения экосистем и смягчения последствий изменения климата. Arboretum общедоступен, легко доступен и готов к немедленному использованию. Пожалуйста, посетите https://baskargroup.github.io/Arboretum/{веб-сайт проекта} для ссылок на наши данные, модели и код.

English

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the https://baskargroup.github.io/Arboretum/{project website} for links to our data, models, and code.