대화형 방사선 보고서 초안 작성을 위한 이산 확산 언어 모델

초록

확산 언어 모델은 토큰을 좌에서 우로 순차적으로 생성하는 대신 토큰 캔버스를 양방향으로 잡음 제거하여 텍스트를 생성하며, 자기회귀(AR) 생성과 경쟁할 수준에 도달했다. 그러나 의료 기반 모델은 거의 전적으로 자기회귀 방식에 의존하고 있다. 본 연구에서는 혼합 전문가 확산 언어 모델인 DiffusionGemma-26B를 적용하고, 동일한 LoRA 레시피 하에서 동일한 크기의 AR 모델인 Gemma-4-26B와 의료 시각 질의응답 데이터셋에서 비교 평가했다. 평가는 장황함에 강건한 LLM 평가자를 통해 수행되었다. 확산 모델은 모든 데이터셋에서 AR과 동등하거나 더 나은 성능을 보였으며, 미세 조정된 모델(활성 파라미터 38억 개)은 최첨단 비전-언어 모델과 경쟁할 수준이었다. 또한 디코딩 속도는 3.5~4.4배 빨랐다. 이러한 성능 동등성을 넘어, 확산 모델은 AR이 결여한 초안 작성 능력, 즉 임의 순서 내삽(any-order infill)을 제공한다. 캔버스가 양방향으로 잡음 제거되므로, 방사선 전문의가 보고서 일부를 수정하면 모델이 그 사이의 텍스트를 채울 수 있다. 이는 확산 모델에 내재된 작동 방식이지만, 자기회귀 모델에서는 부자연스럽게 수행된다. 이러한 특성은 임상 현장에서 자주 간결하거나 의료진 및 기관 간 일관성이 부족한 실제 보고서에 적합하다.

English

Diffusion language models, which generate text by denoising a token canvas bidirectionally instead of emitting tokens left to right, have become competitive with autoregressive (AR) generation. Medical foundation models, however, remain almost entirely autoregressive. We adapt a mixture-of-experts diffusion language model, DiffusionGemma-26B, and benchmark it against its same-size AR sibling Gemma-4-26B under an identical LoRA recipe on medical visual question answering datasets, scored by a verbosity-robust LLM judge. Diffusion matches or exceeds AR on all of them, and the finetuned model (3.8B active) is competitive with frontier vision-language models; its decoding is also 3.5-4.4x faster. Beyond this parity, the diffusion model offers a drafting capability AR lacks: any-order infill. Because the canvas is denoised bidirectionally, a radiologist can fix report fragments and have the model fill the text between them, an operation inherent to diffusion but not to autoregression, which is subpar at it. This suits real reports, which are often terse or inconsistent across clinicians and institutions.