μ^2Tokenizer: Differentieerbare Multi-Schaal Multi-Modale Tokenizer voor Radiologieverslaggeneratie

μ^2Tokenizer: Differentiable Multi-Scale Multi-Modal Tokenizer for Radiology Report Generation

June 30, 2025

Auteurs: Siyou Li, Pengyao Qin, Huanan Wu, Dong Nie, Arun J. Thirunavukarasu, Juntao Yu, Le Zhang

cs.AI

Samenvatting

Automatische generatie van radiologieverslagen (RRG) heeft als doel gedetailleerde tekstuele verslagen te produceren op basis van klinische beeldvorming, zoals computertomografie (CT)-scans, om de nauwkeurigheid en efficiëntie van diagnoses en het verstrekken van behandeladviezen te verbeteren. RRG wordt bemoeilijkt door twee belangrijke uitdagingen: (1) de inherente complexiteit van het extraheren van relevante informatie uit beeldvormingsgegevens onder beperkte middelen, en (2) de moeilijkheid om verschillen tussen modelgegenereerde en door experts geschreven verslagen objectief te evalueren. Om deze uitdagingen aan te pakken, stellen we mu^2LLM voor, een **mu**ltischaal **mu**ltimodaal groot taalmodel voor RRG-taken. De nieuwe {mu}^2Tokenizer, als een tussenlaag, integreert multimodale kenmerken van de multischaal visuele tokenizer en de teksttokenizer, en verbetert vervolgens de kwaliteit van verslaggeneratie via directe voorkeursoptimalisatie (DPO), geleid door GREEN-RedLlama. Experimentele resultaten op vier grote medische datasets van CT-beelden en verslagen tonen aan dat onze methode bestaande benaderingen overtreft, wat het potentieel aantoont van onze fijn afgestemde mu^2LLM's op beperkte gegevens voor RRG-taken.

English

Automated radiology report generation (RRG) aims to produce detailed textual reports from clinical imaging, such as computed tomography (CT) scans, to improve the accuracy and efficiency of diagnosis and provision of management advice. RRG is complicated by two key challenges: (1) inherent complexity in extracting relevant information from imaging data under resource constraints, and (2) difficulty in objectively evaluating discrepancies between model-generated and expert-written reports. To address these challenges, we propose mu^2LLM, a textbf{mu}ltiscale textbf{mu}ltimodal large language models for RRG tasks. The novel {mu}^2Tokenizer, as an intermediate layer, integrates multi-modal features from the multiscale visual tokenizer and the text tokenizer, then enhances report generation quality through direct preference optimization (DPO), guided by GREEN-RedLlama. Experimental results on four large CT image-report medical datasetdemonstrate that our method outperforms existing approaches, highlighting the potential of our fine-tuned mu^2LLMs on limited data for RRG tasks.