μ-Bench: набор данных для проверки задач компьютерного зрения и обработки языка для понимания микроскопии

μ-Bench: A Vision-Language Benchmark for Microscopy Understanding

July 1, 2024

Авторы: Alejandro Lozano, Jeffrey Nirschl, James Burgess, Sanket Rajan Gupte, Yuhui Zhang, Alyssa Unell, Serena Yeung-Levy

cs.AI

Аннотация

Недавние достижения в области микроскопии позволили быстро генерировать терабайты изображений в клеточной биологии и биомедицинских исследованиях. Модели видение-язык (VLM) предлагают многообещающее решение для анализа биологических изображений в крупном масштабе, повышая эффективность исследователей, выявляя новые биомаркеры изображений и ускоряя генерацию гипотез и научные открытия. Однако существует недостаток стандартизированных, разнообразных и крупномасштабных бенчмарков видение-язык для оценки способностей восприятия и когнитивных способностей VLM в понимании биологических изображений. Для решения этой проблемы мы представляем {\mu}-Bench, экспертно подготовленный бенчмарк, охватывающий 22 биомедицинских задачи в различных научных дисциплинах (биология, патология), модальностях микроскопии (электронная, флуоресцентная, световая), масштабах (субклеточный, клеточный, тканевой) и организмах в нормальном и аномальном состояниях. Мы оцениваем современные биомедицинские, патологические и общие модели VLM на {\mu}-Bench и приходим к выводу, что: i) текущие модели испытывают трудности во всех категориях, даже в базовых задачах, таких как различение модальностей микроскопии; ii) текущие специализированные модели, донастроенные на биомедицинских данных, часто показывают худшие результаты по сравнению с общими моделями; iii) донастройка в конкретных областях микроскопии может привести к катастрофическому забыванию, разрушая ранее закодированные в базовой модели биомедицинские знания. iv) интерполяция весов между донастроенными и предварительно обученными моделями предлагает одно из решений для предотвращения забывания и улучшает общую производительность в биомедицинских задачах. Мы выпускаем {\mu}-Bench под лицензией, позволяющей ускорить исследования и разработку базовых моделей микроскопии.

English

Recent advances in microscopy have enabled the rapid generation of terabytes of image data in cell biology and biomedical research. Vision-language models (VLMs) offer a promising solution for large-scale biological image analysis, enhancing researchers' efficiency, identifying new image biomarkers, and accelerating hypothesis generation and scientific discovery. However, there is a lack of standardized, diverse, and large-scale vision-language benchmarks to evaluate VLMs' perception and cognition capabilities in biological image understanding. To address this gap, we introduce {\mu}-Bench, an expert-curated benchmark encompassing 22 biomedical tasks across various scientific disciplines (biology, pathology), microscopy modalities (electron, fluorescence, light), scales (subcellular, cellular, tissue), and organisms in both normal and abnormal states. We evaluate state-of-the-art biomedical, pathology, and general VLMs on {\mu}-Bench and find that: i) current models struggle on all categories, even for basic tasks such as distinguishing microscopy modalities; ii) current specialist models fine-tuned on biomedical data often perform worse than generalist models; iii) fine-tuning in specific microscopy domains can cause catastrophic forgetting, eroding prior biomedical knowledge encoded in their base model. iv) weight interpolation between fine-tuned and pre-trained models offers one solution to forgetting and improves general performance across biomedical tasks. We release {\mu}-Bench under a permissive license to accelerate the research and development of microscopy foundation models.