UniBiomed: Un Modelo Fundacional Universal para la Interpretación de Imágenes Biomédicas con Contexto

UniBiomed: A Universal Foundation Model for Grounded Biomedical Image Interpretation

April 30, 2025

Autores: Linshan Wu, Yuxiang Nie, Sunan He, Jiaxin Zhuang, Hao Chen

cs.AI

Resumen

La interpretación multimodal de imágenes biomédicas abre nuevas oportunidades en el análisis de imágenes biomédicas. Los enfoques convencionales de IA suelen basarse en entrenamientos desarticulados, es decir, modelos de lenguaje de gran escala (LLMs) para la generación de textos clínicos y modelos de segmentación para la extracción de objetivos, lo que resulta en una implementación inflexible en el mundo real y en la incapacidad de aprovechar la información biomédica holística. Con este fin, presentamos UniBiomed, el primer modelo fundacional universal para la interpretación fundamentada de imágenes biomédicas. UniBiomed se basa en una novedosa integración de un modelo de lenguaje multimodal (MLLM) y el modelo Segment Anything (SAM), que unifica eficazmente la generación de textos clínicos y la segmentación de objetos biomédicos correspondientes para una interpretación fundamentada. De esta manera, UniBiomed es capaz de abordar una amplia gama de tareas biomédicas en diez modalidades diversas de imágenes biomédicas. Para desarrollar UniBiomed, hemos creado un conjunto de datos a gran escala que comprende más de 27 millones de tripletas de imágenes, anotaciones y descripciones textuales en diez modalidades de imágenes. Una validación extensa en 84 conjuntos de datos internos y externos demostró que UniBiomed logra un rendimiento de vanguardia en segmentación, reconocimiento de enfermedades, diagnóstico basado en regiones, respuesta visual a preguntas y generación de informes. Además, a diferencia de modelos anteriores que dependen de expertos clínicos para pre-diagnosticar imágenes y elaborar manualmente indicaciones textuales o visuales precisas, UniBiomed puede proporcionar una interpretación fundamentada y automatizada de extremo a extremo para el análisis de imágenes biomédicas. Esto representa un cambio de paradigma novedoso en los flujos de trabajo clínicos, que mejorará significativamente la eficiencia diagnóstica. En resumen, UniBiomed representa un avance innovador en la IA biomédica, desbloqueando capacidades de interpretación fundamentada para un análisis de imágenes biomédicas más preciso y eficiente.

English

Multi-modal interpretation of biomedical images opens up novel opportunities in biomedical image analysis. Conventional AI approaches typically rely on disjointed training, i.e., Large Language Models (LLMs) for clinical text generation and segmentation models for target extraction, which results in inflexible real-world deployment and a failure to leverage holistic biomedical information. To this end, we introduce UniBiomed, the first universal foundation model for grounded biomedical image interpretation. UniBiomed is based on a novel integration of Multi-modal Large Language Model (MLLM) and Segment Anything Model (SAM), which effectively unifies the generation of clinical texts and the segmentation of corresponding biomedical objects for grounded interpretation. In this way, UniBiomed is capable of tackling a wide range of biomedical tasks across ten diverse biomedical imaging modalities. To develop UniBiomed, we curate a large-scale dataset comprising over 27 million triplets of images, annotations, and text descriptions across ten imaging modalities. Extensive validation on 84 internal and external datasets demonstrated that UniBiomed achieves state-of-the-art performance in segmentation, disease recognition, region-aware diagnosis, visual question answering, and report generation. Moreover, unlike previous models that rely on clinical experts to pre-diagnose images and manually craft precise textual or visual prompts, UniBiomed can provide automated and end-to-end grounded interpretation for biomedical image analysis. This represents a novel paradigm shift in clinical workflows, which will significantly improve diagnostic efficiency. In summary, UniBiomed represents a novel breakthrough in biomedical AI, unlocking powerful grounded interpretation capabilities for more accurate and efficient biomedical image analysis.