μ^2Tokenizer: Tokenizador Diferenciable Multi-Escala y Multi-Modal para la Generación de Informes Radiológicos

μ^2Tokenizer: Differentiable Multi-Scale Multi-Modal Tokenizer for Radiology Report Generation

June 30, 2025

Autores: Siyou Li, Pengyao Qin, Huanan Wu, Dong Nie, Arun J. Thirunavukarasu, Juntao Yu, Le Zhang

cs.AI

Resumen

La generación automatizada de informes radiológicos (RRG, por sus siglas en inglés) tiene como objetivo producir informes textuales detallados a partir de imágenes clínicas, como tomografías computarizadas (TC), para mejorar la precisión y eficiencia del diagnóstico y la provisión de recomendaciones de manejo. La RRG se ve complicada por dos desafíos principales: (1) la complejidad inherente de extraer información relevante de los datos de imágenes bajo restricciones de recursos, y (2) la dificultad de evaluar objetivamente las discrepancias entre los informes generados por modelos y los escritos por expertos. Para abordar estos desafíos, proponemos mu^2LLM, un modelo de lenguaje multimodal y multiescala para tareas de RRG. El novedoso {mu}^2Tokenizer, como capa intermedia, integra características multimodales del tokenizador visual multiescala y el tokenizador de texto, mejorando así la calidad de la generación de informes mediante la optimización de preferencias directas (DPO), guiada por GREEN-RedLlama. Los resultados experimentales en cuatro grandes conjuntos de datos médicos de imágenes y informes de TC demuestran que nuestro método supera a los enfoques existentes, destacando el potencial de nuestros modelos mu^2LLM ajustados con datos limitados para tareas de RRG.

English

Automated radiology report generation (RRG) aims to produce detailed textual reports from clinical imaging, such as computed tomography (CT) scans, to improve the accuracy and efficiency of diagnosis and provision of management advice. RRG is complicated by two key challenges: (1) inherent complexity in extracting relevant information from imaging data under resource constraints, and (2) difficulty in objectively evaluating discrepancies between model-generated and expert-written reports. To address these challenges, we propose mu^2LLM, a textbf{mu}ltiscale textbf{mu}ltimodal large language models for RRG tasks. The novel {mu}^2Tokenizer, as an intermediate layer, integrates multi-modal features from the multiscale visual tokenizer and the text tokenizer, then enhances report generation quality through direct preference optimization (DPO), guided by GREEN-RedLlama. Experimental results on four large CT image-report medical datasetdemonstrate that our method outperforms existing approaches, highlighting the potential of our fine-tuned mu^2LLMs on limited data for RRG tasks.