SDR: Recompensas de Distancia de Conjunto para la Generación de Informes de Radiología

Resumen

El aprendizaje por refuerzo con recompensas verificables ha avanzado rápidamente el razonamiento en modelos de visión-lenguaje. Sin embargo, para la generación de informes de radiografías de tórax, las recompensas estándar (es decir, precisión de coincidencia exacta y procesos a nivel de paso) son incompatibles porque los informes consisten en hallazgos desordenados y ortogonales, en lugar de una cadena de razonamiento causal. Abordamos esta brecha con una vista basada en conjuntos: cada informe se divide en oraciones y se incrusta mediante un transformador de oraciones congelado, obteniendo conjuntos de incrustaciones desordenados. Proponemos el uso de distancias entre conjuntos como recompensas continuas e invariantes a permutaciones, entre las incrustaciones generadas y las de referencia. En dos conjuntos de datos y tres modelos de visión-lenguaje (Qwen3-VL-2B/4B, Gemma3-4B), el post-entrenamiento con recompensas basadas en distancia entre conjuntos mediante GRPO supera consistentemente al ajuste fino supervisado y a GRPO con coincidencia exacta en todas las métricas principales (BERTScore, F1 de RadGraph y F1 de CheXbert con mejoras relativas promedio del 6.80%, 7.82% y 4.45%, respectivamente). Las mismas distancias entre conjuntos también permiten la selección del mejor de N en tiempo de prueba: puntuar candidatos según su distancia a las incrustaciones de informes de entrenamiento supera a la selección aleatoria tanto en nuestros modelos entrenados como en tres LLMs de código cerrado (Mistral-Small, Gemini-2.5 Flash-Lite, GPT-4o-mini), con una mejora relativa promedio del 16.4% en BERTScore. Utilizadas como señal de transmisión continua, respaldan una forma más eficiente de escalado en tiempo de prueba: podar candidatos de baja puntuación durante la generación reduce los tokens generados en más del 50% mientras preserva la calidad de los Hallazgos de la selección completa del mejor de N. En conjunto, estos resultados establecen las recompensas de distancia entre conjuntos como una señal unificada tanto para el post-entrenamiento como para el escalado en tiempo de prueba en la generación de informes de radiografías de tórax. Nuestro código está disponible públicamente en https://anonymous.4open.science/r/Set-Distance-Rewards-CXR-BFDA{available}.

English

Reinforcement learning with verifiable rewards has rapidly advanced reasoning in vision--language models. However, for chest X-ray report generation, the standard rewards (i.e. exact-match accuracy and step-level processes) are incompatible because the reports consist of unordered and orthogonal findings, rather than a causal reasoning chain. We address this gap with a set-based view: each report is split into sentences and embedded by a frozen sentence transformer, yielding unordered embedding sets. We propose the use of set-to-set distances between generated and reference embeddings as continuous, permutation-invariant rewards. Across two datasets and three vision--language models (Qwen3-VL-2B/4B, Gemma3-4B), post-training with set-to-set distance based rewards via GRPO consistently outperforms supervised fine-tuning and exact-match GRPO on all headline metrics (BERTScore, RadGraph F1 and CheXbert F1 by average \%6.80, \%7.82 and \%4.45 relative improvements respectively). The same set distances also enable test-time best-of-N selection: scoring candidates by their distance to training-report embeddings outperforms random selection on our trained models as well as three closed-source LLMs (Mistral-Small, Gemini-2.5 Flash-Lite, GPT-4o-mini) with on average \%16.4 relative improvement on BERTScore. Used as a streaming signal, they support a more efficient form of test-time scaling: pruning low-scoring candidates mid-generation reduces generated tokens by over 50\% while preserving the Findings quality of full best-of-N selection. Together these results establish set-distance rewards as a unified signal for both post-training and test-time scaling in chest X-ray report generation. Our code is publicly https://anonymous.4open.science/r/Set-Distance-Rewards-CXR-BFDA{available}.