Дискретные диффузионные языковые модели для интерактивного составления радиологических отчетов

Аннотация

Диффузионные языковые модели, генерирующие текст путём двунаправленного устранения шума на токеновом холсте, а не эмиссии токенов слева направо, стали конкурентоспособными с авторегрессивной (АР) генерацией. Однако фундаментальные медицинские модели остаются почти полностью авторегрессивными. Мы адаптировали диффузионную языковую модель на основе смеси экспертов, DiffusionGemma-26B, и сравнили её с её АР-аналогом того же размера, Gemma-4-26B, в одинаковом рецепте LoRA на наборах данных визуального ответа на вопросы в медицине, оценивая с помощью устойчивого к многословию судьи на основе LLM. Диффузионная модель достигает паритета с АР или превосходит его на всех наборах данных, а дообученная модель (с 3,8 млрд активных параметров) конкурентоспособна с передовыми моделями зрения-языка; её декодирование также в 3,5–4,4 раза быстрее. Помимо этого паритета, диффузионная модель предлагает возможность черновой генерации, отсутствующую у АР: заполнение в произвольном порядке. Поскольку холст обрабатывается двунаправленно, радиолог может зафиксировать фрагменты отчёта, а модель заполнит текст между ними — операция, присущая диффузии, но не авторегрессии, которая справляется с этим плохо. Это соответствует реальным отчётам, которые часто лаконичны или несогласованны между клиниками и учреждениями.

English

Diffusion language models, which generate text by denoising a token canvas bidirectionally instead of emitting tokens left to right, have become competitive with autoregressive (AR) generation. Medical foundation models, however, remain almost entirely autoregressive. We adapt a mixture-of-experts diffusion language model, DiffusionGemma-26B, and benchmark it against its same-size AR sibling Gemma-4-26B under an identical LoRA recipe on medical visual question answering datasets, scored by a verbosity-robust LLM judge. Diffusion matches or exceeds AR on all of them, and the finetuned model (3.8B active) is competitive with frontier vision-language models; its decoding is also 3.5-4.4x faster. Beyond this parity, the diffusion model offers a drafting capability AR lacks: any-order infill. Because the canvas is denoised bidirectionally, a radiologist can fix report fragments and have the model fill the text between them, an operation inherent to diffusion but not to autoregression, which is subpar at it. This suits real reports, which are often terse or inconsistent across clinicians and institutions.