Modelos de Lenguaje de Difusión Discreta para la Redacción Interactiva de Informes Radiológicos

Resumen

Los modelos de lenguaje de difusión, que generan texto eliminando ruido bidireccionalmente de un lienzo de tokens en lugar de emitirlos de izquierda a derecha, han alcanzado un nivel competitivo con la generación autorregresiva (AR). Sin embargo, los modelos fundacionales médicos siguen siendo casi en su totalidad autorregresivos. Adaptamos un modelo de lenguaje de difusión basado en mezcla de expertos, DiffusionGemma-26B, y lo evaluamos frente a su homólogo AR del mismo tamaño, Gemma-4-26B, bajo una receta LoRA idéntica en conjuntos de datos de respuesta visual a preguntas médicas, puntuados mediante un juez LLM robusto a la verbosidad. La difusión iguala o supera al AR en todos ellos, y el modelo ajustado (3.8B activos) es competitivo con los modelos de visión-lenguaje de frontera; además, su decodificación es 3.5-4.4 veces más rápida. Más allá de esta paridad, el modelo de difusión ofrece una capacidad de borrador que el AR no posee: relleno en cualquier orden. Dado que el lienzo se elimina bidireccionalmente, un radiólogo puede fijar fragmentos de un informe y hacer que el modelo complete el texto entre ellos, una operación inherente a la difusión pero no al autorregresivo, que resulta deficiente en ello. Esto se adapta a informes reales, que a menudo son concisos o inconsistentes entre médicos e instituciones.

English

Diffusion language models, which generate text by denoising a token canvas bidirectionally instead of emitting tokens left to right, have become competitive with autoregressive (AR) generation. Medical foundation models, however, remain almost entirely autoregressive. We adapt a mixture-of-experts diffusion language model, DiffusionGemma-26B, and benchmark it against its same-size AR sibling Gemma-4-26B under an identical LoRA recipe on medical visual question answering datasets, scored by a verbosity-robust LLM judge. Diffusion matches or exceeds AR on all of them, and the finetuned model (3.8B active) is competitive with frontier vision-language models; its decoding is also 3.5-4.4x faster. Beyond this parity, the diffusion model offers a drafting capability AR lacks: any-order infill. Because the canvas is denoised bidirectionally, a radiologist can fix report fragments and have the model fill the text between them, an operation inherent to diffusion but not to autoregression, which is subpar at it. This suits real reports, which are often terse or inconsistent across clinicians and institutions.