BioVITA: Conjunto de Dados, Modelo e Benchmark Biológicos para Alinhamento Visual-Textual-Acústico
BioVITA: Biological Dataset, Model, and Benchmark for Visual-Textual-Acoustic Alignment
March 25, 2026
Autores: Risa Shinoda, Kaede Shiohara, Nakamasa Inoue, Kuniaki Saito, Hiroaki Santo, Fumio Okura
cs.AI
Resumo
A compreensão de espécies animais a partir de dados multimodais representa um desafio emergente na intersecção entre a visão computacional e a ecologia. Embora modelos biológicos recentes, como o BioCLIP, tenham demonstrado uma forte alinhamento entre imagens e informações taxonômicas textuais para identificação de espécies, a integração da modalidade de áudio permanece um problema em aberto. Propomos o BioVITA, uma nova estrutura de alinhamento visual-textual-acústico para aplicações biológicas. O BioVITA envolve (i) um conjunto de dados de treinamento, (ii) um modelo de representação e (iii) um *benchmark* de recuperação. Primeiro, construímos um conjunto de dados de treinamento em larga escala composto por 1,3 milhões de clipes de áudio e 2,3 milhões de imagens, abrangendo 14.133 espécies anotadas com 34 rótulos de traços ecológicos. Em segundo lugar, com base no BioCLIP2, introduzimos uma estrutura de treinamento em duas etapas para alinhar efetivamente as representações de áudio com as representações visuais e textuais. Terceiro, desenvolvemos um *benchmark* de recuperação multimodal que abrange todas as direções possíveis de recuperação entre as três modalidades (ou seja, imagem-para-áudio, áudio-para-texto, texto-para-imagem e suas direções inversas), com três níveis taxonômicos: Família, Gênero e Espécie. Experimentos extensivos demonstram que o nosso modelo aprende um espaço de representação unificado que captura semântica a nível de espécie para além da taxonomia, avançando a compreensão multimodal da biodiversidade. A página do projeto está disponível em: https://dahlian00.github.io/BioVITA_Page/
English
Understanding animal species from multimodal data poses an emerging challenge at the intersection of computer vision and ecology. While recent biological models, such as BioCLIP, have demonstrated strong alignment between images and textual taxonomic information for species identification, the integration of the audio modality remains an open problem. We propose BioVITA, a novel visual-textual-acoustic alignment framework for biological applications. BioVITA involves (i) a training dataset, (ii) a representation model, and (iii) a retrieval benchmark. First, we construct a large-scale training dataset comprising 1.3 million audio clips and 2.3 million images, covering 14,133 species annotated with 34 ecological trait labels. Second, building upon BioCLIP2, we introduce a two-stage training framework to effectively align audio representations with visual and textual representations. Third, we develop a cross-modal retrieval benchmark that covers all possible directional retrieval across the three modalities (i.e., image-to-audio, audio-to-text, text-to-image, and their reverse directions), with three taxonomic levels: Family, Genus, and Species. Extensive experiments demonstrate that our model learns a unified representation space that captures species-level semantics beyond taxonomy, advancing multimodal biodiversity understanding. The project page is available at: https://dahlian00.github.io/BioVITA_Page/