μ^2Tokenizer: 放射線レポート生成のための微分可能なマルチスケール・マルチモーダルトークナイザー

要旨

自動放射線レポート生成（RRG）は、コンピュータ断層撮影（CT）スキャンなどの臨床画像から詳細なテキストレポートを生成し、診断の精度と効率、および管理アドバイスの提供を改善することを目的としています。RRGは、以下の2つの主要な課題によって複雑化されています：（1）リソース制約下で画像データから関連情報を抽出する際の本質的な複雑さ、（2）モデル生成レポートと専門家作成レポートの間の不一致を客観的に評価する難しさ。これらの課題に対処するため、我々はRRGタスクのためのマルチスケール・マルチモーダル大規模言語モデルであるmu^2LLMを提案します。新規の{mu}^2Tokenizerは、中間層としてマルチスケール視覚トークナイザーとテキストトークナイザーからのマルチモーダル特徴を統合し、GREEN-RedLlamaに導かれた直接選好最適化（DPO）を通じてレポート生成の品質を向上させます。4つの大規模CT画像-レポート医療データセットでの実験結果は、我々の手法が既存のアプローチを上回り、限られたデータでの微調整されたmu^2LLMのRRGタスクにおける可能性を強調しています。

English

Automated radiology report generation (RRG) aims to produce detailed textual reports from clinical imaging, such as computed tomography (CT) scans, to improve the accuracy and efficiency of diagnosis and provision of management advice. RRG is complicated by two key challenges: (1) inherent complexity in extracting relevant information from imaging data under resource constraints, and (2) difficulty in objectively evaluating discrepancies between model-generated and expert-written reports. To address these challenges, we propose mu^2LLM, a textbf{mu}ltiscale textbf{mu}ltimodal large language models for RRG tasks. The novel {mu}^2Tokenizer, as an intermediate layer, integrates multi-modal features from the multiscale visual tokenizer and the text tokenizer, then enhances report generation quality through direct preference optimization (DPO), guided by GREEN-RedLlama. Experimental results on four large CT image-report medical datasetdemonstrate that our method outperforms existing approaches, highlighting the potential of our fine-tuned mu^2LLMs on limited data for RRG tasks.

μ^2Tokenizer: 放射線レポート生成のための微分可能なマルチスケール・マルチモーダルトークナイザー

μ^2Tokenizer: Differentiable Multi-Scale Multi-Modal Tokenizer for Radiology Report Generation

要旨

Support