InfiMed-ORBIT: Allineamento di LLM su Compiti Complessi a Risposta Aperta tramite Addestramento Incrementale Basato su Griglie di Valutazione

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

October 17, 2025

Autori: Pengkai Wang, Qi Zuo, Pengwei Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno mostrato progressi significativi attraverso l'apprendimento per rinforzo (RL), in particolare in domini in cui le ricompense possono essere verificate programmaticamente, come la matematica e il codice. In queste aree, i modelli beneficiano di una base operativa ben definita guidata da obiettivi espliciti basati su regole. Tuttavia, questo progresso rivela una limitazione significativa: nei domini aperti in cui le ricompense sono ambigue, soggettive o dipendenti dal contesto, come la scrittura creativa, il ragionamento scientifico e, in particolare, la consultazione medica, mancano funzioni di ricompensa robuste, rendendo queste aree impegnative per le attuali strategie di RL. Per colmare questa lacuna, introduciamo ORBIT, un framework di formazione incrementale basato su rubriche progettato specificamente per dialoghi medici ad alto rischio. ORBIT integra la generazione di dialoghi sintetici con la creazione dinamica di rubriche, utilizzando queste rubriche per guidare un processo di RL incrementale. In particolare, questo approccio non dipende da conoscenze mediche esterne o regole manuali, ma utilizza invece feedback guidato da rubriche per modellare l'apprendimento. Quando implementato sul modello Qwen3-4B-Instruct, il nostro metodo può migliorare notevolmente le sue prestazioni sul benchmark HealthBench-Hard da 7.0 a 27.2 utilizzando solo 2k campioni, raggiungendo così risultati all'avanguardia per modelli di questa scala. La nostra analisi conferma che l'RL guidato da rubriche favorisce guadagni di prestazioni consistenti in diversi scenari di consultazione, andando oltre i semplici miglioramenti numerici. Questi risultati sottolineano il feedback basato su rubriche come una strategia scalabile per far progredire gli LLM in compiti complessi e aperti.

English

Large Language Models (LLMs) have shown substantial advances through reinforcement learning (RL), particularly in domains where rewards can be programmatically verified, such as mathematics and code. In these areas, models benefit from a well-defined operational base guided by explicit rule-based objectives. However, this progress reveals a significant limitation: in open-ended domains where rewards are ambiguous, subjective, or context-dependent, such as creative writing, scientific reasoning, and notably medical consultation, robust reward functions are lacking, making these areas challenging for current RL strategies. To bridge this gap, we introduce ORBIT, an open-ended rubric-based incremental training framework specifically designed for high-stakes medical dialogue. ORBIT integrates syn- thetic dialogue generation with the dynamic creation of rubrics, employing these rubrics to direct an incremental RL process. In particular, this approach does not depend on external medical knowledge or manual rules, instead utilizing rubric-guided feedback to shape learning. When implemented on the Qwen3-4B-Instruct model, our method can greatly enhance its performance on the HealthBench-Hard benchmark from 7.0 to 27.2 using only 2k samples, thus achieving state-of-the-art results for models of this scale. Our analysis confirms that rubric-driven RL fos-ters consistent performance gains across diverse consultation scenarios, going beyond simple numerical improvements. These findings underscore rubric-based feedback as a scalable strategy for advancing LLMs in intricate, open-ended tasks.