μ^2Tokenizer: Tokenizzatore Differenziabile Multi-Scala e Multi-Modale per la Generazione di Referti Radiologici

μ^2Tokenizer: Differentiable Multi-Scale Multi-Modal Tokenizer for Radiology Report Generation

June 30, 2025

Autori: Siyou Li, Pengyao Qin, Huanan Wu, Dong Nie, Arun J. Thirunavukarasu, Juntao Yu, Le Zhang

cs.AI

Abstract

La generazione automatica di referti radiologici (RRG) mira a produrre descrizioni testuali dettagliate a partire da immagini cliniche, come le tomografie computerizzate (TC), per migliorare l'accuratezza e l'efficienza della diagnosi e della fornitura di consigli gestionali. La RRG è complicata da due sfide principali: (1) la complessità intrinseca nell'estrazione di informazioni rilevanti dai dati di imaging in condizioni di risorse limitate, e (2) la difficoltà nel valutare oggettivamente le discrepanze tra i referti generati dal modello e quelli redatti da esperti. Per affrontare queste sfide, proponiamo mu^2LLM, un modello linguistico di grandi dimensioni **multiscala** e **multimodale** per i compiti di RRG. Il nuovo {mu}^2Tokenizer, come livello intermedio, integra caratteristiche multimodali provenienti dal tokenizer visivo multiscala e dal tokenizer testuale, migliorando poi la qualità della generazione dei referti attraverso l'ottimizzazione diretta delle preferenze (DPO), guidata da GREEN-RedLlama. I risultati sperimentali su quattro ampi dataset medici di immagini TC e referti dimostrano che il nostro metodo supera gli approcci esistenti, evidenziando il potenziale dei nostri mu^2LLM ottimizzati su dati limitati per i compiti di RRG.

English

Automated radiology report generation (RRG) aims to produce detailed textual reports from clinical imaging, such as computed tomography (CT) scans, to improve the accuracy and efficiency of diagnosis and provision of management advice. RRG is complicated by two key challenges: (1) inherent complexity in extracting relevant information from imaging data under resource constraints, and (2) difficulty in objectively evaluating discrepancies between model-generated and expert-written reports. To address these challenges, we propose mu^2LLM, a textbf{mu}ltiscale textbf{mu}ltimodal large language models for RRG tasks. The novel {mu}^2Tokenizer, as an intermediate layer, integrates multi-modal features from the multiscale visual tokenizer and the text tokenizer, then enhances report generation quality through direct preference optimization (DPO), guided by GREEN-RedLlama. Experimental results on four large CT image-report medical datasetdemonstrate that our method outperforms existing approaches, highlighting the potential of our fine-tuned mu^2LLMs on limited data for RRG tasks.