InfiMed-ORBIT: Het uitlijnen van LLM's op open-einde complexe taken via rubric-gestuurde incrementele training

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

October 17, 2025

Auteurs: Pengkai Wang, Qi Zuo, Pengwei Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt door middel van reinforcement learning (RL), met name in domeinen waar beloningen programmatisch kunnen worden geverifieerd, zoals wiskunde en code. In deze gebieden profiteren modellen van een goed gedefinieerde operationele basis die wordt geleid door expliciete, op regels gebaseerde doelen. Deze vooruitgang brengt echter een belangrijke beperking aan het licht: in open-einde domeinen waar beloningen ambigu, subjectief of contextafhankelijk zijn, zoals creatief schrijven, wetenschappelijk redeneren, en vooral medische consultatie, ontbreken robuuste beloningsfuncties, wat deze gebieden uitdagend maakt voor huidige RL-strategieën. Om deze kloof te overbruggen, introduceren we ORBIT, een open-einde rubric-gestuurd incrementeel trainingsframework specifiek ontworpen voor medische dialogen met hoge inzet. ORBIT integreert synthetische dialooggeneratie met de dynamische creatie van rubrics, waarbij deze rubrics worden gebruikt om een incrementeel RL-proces te sturen. Deze aanpak is niet afhankelijk van externe medische kennis of handmatige regels, maar maakt in plaats daarvan gebruik van rubric-gestuurde feedback om het leren vorm te geven. Wanneer geïmplementeerd op het Qwen3-4B-Instruct model, kan onze methode de prestaties op de HealthBench-Hard benchmark aanzienlijk verbeteren van 7.0 naar 27.2 met slechts 2k samples, waardoor state-of-the-art resultaten worden behaald voor modellen van deze schaal. Onze analyse bevestigt dat rubric-gestuurd RL consistente prestatieverbeteringen bevordert in diverse consultatiescenario's, wat verder gaat dan eenvoudige numerieke verbeteringen. Deze bevindingen onderstrepen rubric-gestuurde feedback als een schaalbare strategie voor het bevorderen van LLMs in complexe, open-einde taken.

English

Large Language Models (LLMs) have shown substantial advances through reinforcement learning (RL), particularly in domains where rewards can be programmatically verified, such as mathematics and code. In these areas, models benefit from a well-defined operational base guided by explicit rule-based objectives. However, this progress reveals a significant limitation: in open-ended domains where rewards are ambiguous, subjective, or context-dependent, such as creative writing, scientific reasoning, and notably medical consultation, robust reward functions are lacking, making these areas challenging for current RL strategies. To bridge this gap, we introduce ORBIT, an open-ended rubric-based incremental training framework specifically designed for high-stakes medical dialogue. ORBIT integrates syn- thetic dialogue generation with the dynamic creation of rubrics, employing these rubrics to direct an incremental RL process. In particular, this approach does not depend on external medical knowledge or manual rules, instead utilizing rubric-guided feedback to shape learning. When implemented on the Qwen3-4B-Instruct model, our method can greatly enhance its performance on the HealthBench-Hard benchmark from 7.0 to 27.2 using only 2k samples, thus achieving state-of-the-art results for models of this scale. Our analysis confirms that rubric-driven RL fos-ters consistent performance gains across diverse consultation scenarios, going beyond simple numerical improvements. These findings underscore rubric-based feedback as a scalable strategy for advancing LLMs in intricate, open-ended tasks.