InfiMed-ORBIT: Alineación de Modelos de Lenguaje en Tareas Complejas de Respuesta Abierta mediante Entrenamiento Incremental Basado en Rúbricas

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

October 17, 2025

Autores: Pengkai Wang, Qi Zuo, Pengwei Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han mostrado avances significativos mediante el aprendizaje por refuerzo (RL, por sus siglas en inglés), particularmente en dominios donde las recompensas pueden verificarse de manera programática, como en matemáticas y código. En estas áreas, los modelos se benefician de una base operativa bien definida guiada por objetivos explícitos basados en reglas. Sin embargo, este progreso revela una limitación importante: en dominios abiertos donde las recompensas son ambiguas, subjetivas o dependientes del contexto, como la escritura creativa, el razonamiento científico y, notablemente, la consulta médica, faltan funciones de recompensa robustas, lo que hace que estas áreas sean desafiantes para las estrategias actuales de RL. Para cerrar esta brecha, presentamos ORBIT, un marco de entrenamiento incremental basado en rúbricas diseñado específicamente para diálogos médicos de alto riesgo. ORBIT integra la generación de diálogos sintéticos con la creación dinámica de rúbricas, empleando estas rúbricas para dirigir un proceso incremental de RL. En particular, este enfoque no depende de conocimiento médico externo ni de reglas manuales, sino que utiliza retroalimentación guiada por rúbricas para moldear el aprendizaje. Cuando se implementa en el modelo Qwen3-4B-Instruct, nuestro método puede mejorar significativamente su rendimiento en el benchmark HealthBench-Hard, pasando de 7.0 a 27.2 utilizando solo 2k muestras, logrando así resultados de vanguardia para modelos de esta escala. Nuestro análisis confirma que el RL basado en rúbricas fomenta ganancias consistentes en el rendimiento en diversos escenarios de consulta, yendo más allá de simples mejoras numéricas. Estos hallazgos subrayan la retroalimentación basada en rúbricas como una estrategia escalable para avanzar en los LLMs en tareas complejas y abiertas.

English

Large Language Models (LLMs) have shown substantial advances through reinforcement learning (RL), particularly in domains where rewards can be programmatically verified, such as mathematics and code. In these areas, models benefit from a well-defined operational base guided by explicit rule-based objectives. However, this progress reveals a significant limitation: in open-ended domains where rewards are ambiguous, subjective, or context-dependent, such as creative writing, scientific reasoning, and notably medical consultation, robust reward functions are lacking, making these areas challenging for current RL strategies. To bridge this gap, we introduce ORBIT, an open-ended rubric-based incremental training framework specifically designed for high-stakes medical dialogue. ORBIT integrates syn- thetic dialogue generation with the dynamic creation of rubrics, employing these rubrics to direct an incremental RL process. In particular, this approach does not depend on external medical knowledge or manual rules, instead utilizing rubric-guided feedback to shape learning. When implemented on the Qwen3-4B-Instruct model, our method can greatly enhance its performance on the HealthBench-Hard benchmark from 7.0 to 27.2 using only 2k samples, thus achieving state-of-the-art results for models of this scale. Our analysis confirms that rubric-driven RL fos-ters consistent performance gains across diverse consultation scenarios, going beyond simple numerical improvements. These findings underscore rubric-based feedback as a scalable strategy for advancing LLMs in intricate, open-ended tasks.