InfiMed-ORBIT : Alignement des LLM sur des tâches complexes ouvertes via un entraînement incrémental basé sur des grilles d'évaluation

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

October 17, 2025

papers.authors: Pengkai Wang, Qi Zuo, Pengwei Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs) ont montré des avancées significatives grâce à l'apprentissage par renforcement (RL), en particulier dans des domaines où les récompenses peuvent être vérifiées de manière programmatique, comme les mathématiques et le code. Dans ces domaines, les modèles bénéficient d'une base opérationnelle bien définie guidée par des objectifs explicites basés sur des règles. Cependant, ces progrès révèlent une limitation importante : dans les domaines ouverts où les récompenses sont ambiguës, subjectives ou dépendantes du contexte, comme l'écriture créative, le raisonnement scientifique, et notamment la consultation médicale, les fonctions de récompense robustes font défaut, rendant ces domaines difficiles pour les stratégies actuelles de RL. Pour combler cette lacune, nous introduisons ORBIT, un cadre de formation incrémentiel basé sur des rubriques conçu spécifiquement pour les dialogues médicaux à enjeux élevés. ORBIT intègre la génération de dialogues synthétiques avec la création dynamique de rubriques, utilisant ces rubriques pour guider un processus de RL incrémentiel. En particulier, cette approche ne dépend pas de connaissances médicales externes ou de règles manuelles, mais utilise plutôt un retour d'information guidé par des rubriques pour façonner l'apprentissage. Lorsqu'elle est mise en œuvre sur le modèle Qwen3-4B-Instruct, notre méthode peut grandement améliorer ses performances sur le benchmark HealthBench-Hard, passant de 7.0 à 27.2 avec seulement 2 000 échantillons, atteignant ainsi des résultats de pointe pour des modèles de cette échelle. Notre analyse confirme que le RL guidé par des rubriques favorise des gains de performance constants dans divers scénarios de consultation, allant au-delà de simples améliorations numériques. Ces résultats soulignent le retour d'information basé sur des rubriques comme une stratégie évolutive pour faire progresser les LLMs dans des tâches complexes et ouvertes.

English

Large Language Models (LLMs) have shown substantial advances through reinforcement learning (RL), particularly in domains where rewards can be programmatically verified, such as mathematics and code. In these areas, models benefit from a well-defined operational base guided by explicit rule-based objectives. However, this progress reveals a significant limitation: in open-ended domains where rewards are ambiguous, subjective, or context-dependent, such as creative writing, scientific reasoning, and notably medical consultation, robust reward functions are lacking, making these areas challenging for current RL strategies. To bridge this gap, we introduce ORBIT, an open-ended rubric-based incremental training framework specifically designed for high-stakes medical dialogue. ORBIT integrates syn- thetic dialogue generation with the dynamic creation of rubrics, employing these rubrics to direct an incremental RL process. In particular, this approach does not depend on external medical knowledge or manual rules, instead utilizing rubric-guided feedback to shape learning. When implemented on the Qwen3-4B-Instruct model, our method can greatly enhance its performance on the HealthBench-Hard benchmark from 7.0 to 27.2 using only 2k samples, thus achieving state-of-the-art results for models of this scale. Our analysis confirms that rubric-driven RL fos-ters consistent performance gains across diverse consultation scenarios, going beyond simple numerical improvements. These findings underscore rubric-based feedback as a scalable strategy for advancing LLMs in intricate, open-ended tasks.