μ^2Tokenizer: Дифференцируемый мультимасштабный мультимодальный токенизатор для генерации радиологических отчетов
μ^2Tokenizer: Differentiable Multi-Scale Multi-Modal Tokenizer for Radiology Report Generation
June 30, 2025
Авторы: Siyou Li, Pengyao Qin, Huanan Wu, Dong Nie, Arun J. Thirunavukarasu, Juntao Yu, Le Zhang
cs.AI
Аннотация
Автоматизированное создание радиологических отчетов (RRG) направлено на генерацию детальных текстовых отчетов на основе клинических изображений, таких как компьютерная томография (КТ), с целью повышения точности и эффективности диагностики и предоставления рекомендаций по лечению. RRG сталкивается с двумя ключевыми проблемами: (1) сложностью извлечения релевантной информации из данных визуализации при ограниченных ресурсах и (2) трудностями в объективной оценке расхождений между отчетами, созданными моделями, и отчетами, написанными экспертами. Для решения этих задач мы предлагаем mu^2LLM — **му**льтимасштабные **му**льтимодальные большие языковые модели для задач RRG. Новый {mu}^2Tokenizer, выступая в качестве промежуточного слоя, интегрирует мультимодальные признаки из мультимасштабного визуального токенизатора и текстового токенизатора, а затем улучшает качество генерации отчетов с помощью оптимизации прямых предпочтений (DPO), управляемой GREEN-RedLlama. Экспериментальные результаты на четырех крупных медицинских наборах данных с КТ-изображениями и отчетами демонстрируют, что наш метод превосходит существующие подходы, подчеркивая потенциал наших тонко настроенных mu^2LLM для задач RRG при ограниченных данных.
English
Automated radiology report generation (RRG) aims to produce detailed textual
reports from clinical imaging, such as computed tomography (CT) scans, to
improve the accuracy and efficiency of diagnosis and provision of management
advice. RRG is complicated by two key challenges: (1) inherent complexity in
extracting relevant information from imaging data under resource constraints,
and (2) difficulty in objectively evaluating discrepancies between
model-generated and expert-written reports. To address these challenges, we
propose mu^2LLM, a textbf{mu}ltiscale
textbf{mu}ltimodal large language models for RRG tasks. The
novel {mu}^2Tokenizer, as an intermediate layer, integrates multi-modal
features from the multiscale visual tokenizer and the text tokenizer, then
enhances report generation quality through direct preference optimization
(DPO), guided by GREEN-RedLlama. Experimental results on four large CT
image-report medical datasetdemonstrate that our method outperforms existing
approaches, highlighting the potential of our fine-tuned mu^2LLMs on limited
data for RRG tasks.