BioVITA: Биологический набор данных, модель и эталон для визуально-текстово-акустического согласования

BioVITA: Biological Dataset, Model, and Benchmark for Visual-Textual-Acoustic Alignment

March 25, 2026

Авторы: Risa Shinoda, Kaede Shiohara, Nakamasa Inoue, Kuniaki Saito, Hiroaki Santo, Fumio Okura

cs.AI

Аннотация

Идентификация видов животных по мультимодальным данным представляет собой актуальную задачу на стыке компьютерного зрения и экологии. Хотя современные биологические модели, такие как BioCLIP, продемонстрировали высокую степень согласованности между изображениями и текстовой таксономической информацией для определения видов, интеграция аудиомодальности остается нерешенной проблемой. Мы предлагаем BioVITA — новую систему визуально-текстово-акустического согласования для биологических приложений. BioVITA включает (i) набор данных для обучения, (ii) модель представлений и (iii) эталонную систему для оценки поиска. Во-первых, мы создали крупномасштабный обучающий набор, содержащий 1,3 миллиона аудиофрагментов и 2,3 миллиона изображений, охватывающих 14 133 вида с аннотациями 34 экологических признаков. Во-вторых, на основе BioCLIP2 мы разработали двухэтапную схему обучения для эффективного согласования аудиопредставлений с визуальными и текстовыми. В-третьих, мы создали эталон для кросс-модального поиска, охватывающий все возможные направления между тремя модальностями (например, изображение-аудио, аудио-текст, текст-изображение и обратные направления) на трех таксономических уровнях: Семейство, Род и Вид. Многочисленные эксперименты показывают, что наша модель изучает единое пространство представлений, которое захватывает видовую семантику за пределами таксономии, способствуя углублению понимания биоразнообразия на основе мультимодальных данных. Страница проекта доступна по адресу: https://dahlian00.github.io/BioVITA_Page/

English

Understanding animal species from multimodal data poses an emerging challenge at the intersection of computer vision and ecology. While recent biological models, such as BioCLIP, have demonstrated strong alignment between images and textual taxonomic information for species identification, the integration of the audio modality remains an open problem. We propose BioVITA, a novel visual-textual-acoustic alignment framework for biological applications. BioVITA involves (i) a training dataset, (ii) a representation model, and (iii) a retrieval benchmark. First, we construct a large-scale training dataset comprising 1.3 million audio clips and 2.3 million images, covering 14,133 species annotated with 34 ecological trait labels. Second, building upon BioCLIP2, we introduce a two-stage training framework to effectively align audio representations with visual and textual representations. Third, we develop a cross-modal retrieval benchmark that covers all possible directional retrieval across the three modalities (i.e., image-to-audio, audio-to-text, text-to-image, and their reverse directions), with three taxonomic levels: Family, Genus, and Species. Extensive experiments demonstrate that our model learns a unified representation space that captures species-level semantics beyond taxonomy, advancing multimodal biodiversity understanding. The project page is available at: https://dahlian00.github.io/BioVITA_Page/