UniBiomed: Un Modello Fondamentale Universale per l'Interpretazione di Immagini Biomediche Contestualizzate

UniBiomed: A Universal Foundation Model for Grounded Biomedical Image Interpretation

April 30, 2025

Autori: Linshan Wu, Yuxiang Nie, Sunan He, Jiaxin Zhuang, Hao Chen

cs.AI

Abstract

L'interpretazione multimodale delle immagini biomediche apre nuove opportunità nell'analisi delle immagini biomediche. Gli approcci convenzionali di intelligenza artificiale si basano tipicamente su addestramenti separati, ovvero modelli linguistici di grandi dimensioni (LLM) per la generazione di testi clinici e modelli di segmentazione per l'estrazione di target, il che si traduce in un'implementazione rigida nel mondo reale e in un mancato sfruttamento delle informazioni biomediche olistiche. A tal fine, introduciamo UniBiomed, il primo modello universale di base per l'interpretazione fondata delle immagini biomediche. UniBiomed si basa su una nuova integrazione tra un modello linguistico multimodale di grandi dimensioni (MLLM) e il modello Segment Anything (SAM), che unifica efficacemente la generazione di testi clinici e la segmentazione degli oggetti biomedici corrispondenti per un'interpretazione fondata. In questo modo, UniBiomed è in grado di affrontare un'ampia gamma di compiti biomedici attraverso dieci diverse modalità di imaging biomedico. Per sviluppare UniBiomed, abbiamo curato un dataset su larga scala che comprende oltre 27 milioni di triplette di immagini, annotazioni e descrizioni testuali in dieci modalità di imaging. Una validazione estensiva su 84 dataset interni ed esterni ha dimostrato che UniBiomed raggiunge prestazioni all'avanguardia nella segmentazione, nel riconoscimento delle malattie, nella diagnosi basata sulle regioni, nella risposta a domande visive e nella generazione di report. Inoltre, a differenza dei modelli precedenti che si affidano a esperti clinici per pre-diagnosticare le immagini e creare manualmente prompt testuali o visivi precisi, UniBiomed può fornire un'interpretazione fondata automatizzata e end-to-end per l'analisi delle immagini biomediche. Questo rappresenta un nuovo cambiamento di paradigma nei flussi di lavoro clinici, che migliorerà significativamente l'efficienza diagnostica. In sintesi, UniBiomed rappresenta una svolta innovativa nell'intelligenza artificiale biomedica, sbloccando potenti capacità di interpretazione fondata per un'analisi delle immagini biomediche più accurata ed efficiente.

English

Multi-modal interpretation of biomedical images opens up novel opportunities in biomedical image analysis. Conventional AI approaches typically rely on disjointed training, i.e., Large Language Models (LLMs) for clinical text generation and segmentation models for target extraction, which results in inflexible real-world deployment and a failure to leverage holistic biomedical information. To this end, we introduce UniBiomed, the first universal foundation model for grounded biomedical image interpretation. UniBiomed is based on a novel integration of Multi-modal Large Language Model (MLLM) and Segment Anything Model (SAM), which effectively unifies the generation of clinical texts and the segmentation of corresponding biomedical objects for grounded interpretation. In this way, UniBiomed is capable of tackling a wide range of biomedical tasks across ten diverse biomedical imaging modalities. To develop UniBiomed, we curate a large-scale dataset comprising over 27 million triplets of images, annotations, and text descriptions across ten imaging modalities. Extensive validation on 84 internal and external datasets demonstrated that UniBiomed achieves state-of-the-art performance in segmentation, disease recognition, region-aware diagnosis, visual question answering, and report generation. Moreover, unlike previous models that rely on clinical experts to pre-diagnose images and manually craft precise textual or visual prompts, UniBiomed can provide automated and end-to-end grounded interpretation for biomedical image analysis. This represents a novel paradigm shift in clinical workflows, which will significantly improve diagnostic efficiency. In summary, UniBiomed represents a novel breakthrough in biomedical AI, unlocking powerful grounded interpretation capabilities for more accurate and efficient biomedical image analysis.