μ-Bench: Ein Vision-Sprache-Benchmark für das Verständnis von Mikroskopie.

μ-Bench: A Vision-Language Benchmark for Microscopy Understanding

July 1, 2024

Autoren: Alejandro Lozano, Jeffrey Nirschl, James Burgess, Sanket Rajan Gupte, Yuhui Zhang, Alyssa Unell, Serena Yeung-Levy

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte in der Mikroskopie die schnelle Erzeugung von Terabytes an Bilddaten in der Zellbiologie und biomedizinischen Forschung ermöglicht. Vision-Language-Modelle (VLMs) bieten eine vielversprechende Lösung für die groß angelegte biologische Bildanalyse, verbessern die Effizienz der Forscher, identifizieren neue Bild-Biomarker und beschleunigen die Hypothesengenerierung und wissenschaftliche Entdeckung. Es mangelt jedoch an standardisierten, vielfältigen und groß angelegten Vision-Language-Benchmarks zur Bewertung der Wahrnehmungs- und Kognitionsfähigkeiten von VLMs im Verständnis biologischer Bilder. Um diese Lücke zu schließen, stellen wir {\mu}-Bench vor, einen von Experten kuratierten Benchmark, der 22 biomedizinische Aufgaben aus verschiedenen wissenschaftlichen Disziplinen (Biologie, Pathologie), Mikroskopie-Modalitäten (Elektronen, Fluoreszenz, Licht), Skalen (subzellulär, zellulär, Gewebe) und Organismen in normalen und abnormen Zuständen umfasst. Wir evaluieren modernste biomedizinische, pathologische und allgemeine VLMs auf {\mu}-Bench und stellen fest, dass: i) aktuelle Modelle Schwierigkeiten in allen Kategorien haben, selbst bei grundlegenden Aufgaben wie der Unterscheidung von Mikroskopie-Modalitäten; ii) aktuelle Spezialmodelle, die auf biomedizinischen Daten feinabgestimmt sind, oft schlechter abschneiden als Generalistenmodelle; iii) Feinabstimmung in spezifischen Mikroskopiebereichen kann zu katastrophalem Vergessen führen und das zuvor im Basismodell codierte biomedizinische Wissen erodieren. iv) Gewichtsinterpolation zwischen feinabgestimmten und vorab trainierten Modellen bietet eine Lösung für das Vergessen und verbessert die allgemeine Leistung bei biomedizinischen Aufgaben. Wir veröffentlichen {\mu}-Bench unter einer freizügigen Lizenz, um die Forschung und Entwicklung von Grundlagenmodellen für die Mikroskopie zu beschleunigen.

English

Recent advances in microscopy have enabled the rapid generation of terabytes of image data in cell biology and biomedical research. Vision-language models (VLMs) offer a promising solution for large-scale biological image analysis, enhancing researchers' efficiency, identifying new image biomarkers, and accelerating hypothesis generation and scientific discovery. However, there is a lack of standardized, diverse, and large-scale vision-language benchmarks to evaluate VLMs' perception and cognition capabilities in biological image understanding. To address this gap, we introduce {\mu}-Bench, an expert-curated benchmark encompassing 22 biomedical tasks across various scientific disciplines (biology, pathology), microscopy modalities (electron, fluorescence, light), scales (subcellular, cellular, tissue), and organisms in both normal and abnormal states. We evaluate state-of-the-art biomedical, pathology, and general VLMs on {\mu}-Bench and find that: i) current models struggle on all categories, even for basic tasks such as distinguishing microscopy modalities; ii) current specialist models fine-tuned on biomedical data often perform worse than generalist models; iii) fine-tuning in specific microscopy domains can cause catastrophic forgetting, eroding prior biomedical knowledge encoded in their base model. iv) weight interpolation between fine-tuned and pre-trained models offers one solution to forgetting and improves general performance across biomedical tasks. We release {\mu}-Bench under a permissive license to accelerate the research and development of microscopy foundation models.