μ-Bench: Um Benchmark Visão-Linguagem para Compreensão de Microscopia

μ-Bench: A Vision-Language Benchmark for Microscopy Understanding

July 1, 2024

Autores: Alejandro Lozano, Jeffrey Nirschl, James Burgess, Sanket Rajan Gupte, Yuhui Zhang, Alyssa Unell, Serena Yeung-Levy

cs.AI

Resumo

Os avanços recentes em microscopia possibilitaram a rápida geração de terabytes de dados de imagem em biologia celular e pesquisa biomédica. Modelos visão-linguagem (VLMs) oferecem uma solução promissora para análise de imagens biológicas em larga escala, aprimorando a eficiência dos pesquisadores, identificando novos biomarcadores de imagem e acelerando a geração de hipóteses e descobertas científicas. No entanto, há uma falta de benchmarks visão-linguagem padronizados, diversos e em larga escala para avaliar as capacidades de percepção e cognição dos VLMs na compreensão de imagens biológicas. Para abordar essa lacuna, apresentamos o {\mu}-Bench, um benchmark elaborado por especialistas que abrange 22 tarefas biomédicas em diversas disciplinas científicas (biologia, patologia), modalidades de microscopia (elétron, fluorescência, luz), escalas (subcelular, celular, tecidual) e organismos em estados normais e anormais. Avaliamos os VLMs biomédicos, de patologia e gerais de última geração no {\mu}-Bench e constatamos que: i) os modelos atuais enfrentam dificuldades em todas as categorias, mesmo em tarefas básicas como distinguir modalidades de microscopia; ii) os modelos especializados atuais, ajustados em dados biomédicos, frequentemente têm desempenho inferior aos modelos generalistas; iii) o ajuste fino em domínios específicos de microscopia pode causar esquecimento catastrófico, erodindo o conhecimento biomédico anterior codificado em seu modelo base. iv) a interpolação de pesos entre modelos ajustados finamente e pré-treinados oferece uma solução para o esquecimento e melhora o desempenho geral em tarefas biomédicas. Disponibilizamos o {\mu}-Bench sob uma licença permissiva para acelerar a pesquisa e o desenvolvimento de modelos fundamentais de microscopia.

English

Recent advances in microscopy have enabled the rapid generation of terabytes of image data in cell biology and biomedical research. Vision-language models (VLMs) offer a promising solution for large-scale biological image analysis, enhancing researchers' efficiency, identifying new image biomarkers, and accelerating hypothesis generation and scientific discovery. However, there is a lack of standardized, diverse, and large-scale vision-language benchmarks to evaluate VLMs' perception and cognition capabilities in biological image understanding. To address this gap, we introduce {\mu}-Bench, an expert-curated benchmark encompassing 22 biomedical tasks across various scientific disciplines (biology, pathology), microscopy modalities (electron, fluorescence, light), scales (subcellular, cellular, tissue), and organisms in both normal and abnormal states. We evaluate state-of-the-art biomedical, pathology, and general VLMs on {\mu}-Bench and find that: i) current models struggle on all categories, even for basic tasks such as distinguishing microscopy modalities; ii) current specialist models fine-tuned on biomedical data often perform worse than generalist models; iii) fine-tuning in specific microscopy domains can cause catastrophic forgetting, eroding prior biomedical knowledge encoded in their base model. iv) weight interpolation between fine-tuned and pre-trained models offers one solution to forgetting and improves general performance across biomedical tasks. We release {\mu}-Bench under a permissive license to accelerate the research and development of microscopy foundation models.