InfiMed-ORBIT: Alinhamento de LLMs em Tarefas Complexas de Resposta Aberta por meio de Treinamento Incremental Baseado em Rubricas

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

October 17, 2025

Autores: Pengkai Wang, Qi Zuo, Pengwei Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado avanços significativos por meio de aprendizado por reforço (RL), especialmente em domínios onde as recompensas podem ser verificadas de forma programática, como matemática e código. Nessas áreas, os modelos se beneficiam de uma base operacional bem definida, guiada por objetivos explícitos baseados em regras. No entanto, esse progresso revela uma limitação importante: em domínios de natureza aberta, onde as recompensas são ambíguas, subjetivas ou dependentes de contexto, como escrita criativa, raciocínio científico e, notavelmente, consultas médicas, faltam funções de recompensa robustas, tornando essas áreas desafiadoras para as estratégias atuais de RL. Para preencher essa lacuna, introduzimos o ORBIT, um framework de treinamento incremental baseado em rubricas, projetado especificamente para diálogos médicos de alto risco. O ORBIT integra a geração de diálogos sintéticos com a criação dinâmica de rubricas, empregando essas rubricas para direcionar um processo incremental de RL. Em particular, essa abordagem não depende de conhecimento médico externo ou regras manuais, utilizando, em vez disso, feedback guiado por rubricas para moldar o aprendizado. Quando implementado no modelo Qwen3-4B-Instruct, nosso método pode melhorar significativamente seu desempenho no benchmark HealthBench-Hard, passando de 7,0 para 27,2 usando apenas 2 mil amostras, alcançando assim resultados de ponta para modelos dessa escala. Nossa análise confirma que o RL guiado por rubricas promove ganhos consistentes de desempenho em diversos cenários de consulta, indo além de simples melhorias numéricas. Esses achados destacam o feedback baseado em rubricas como uma estratégia escalável para avançar LLMs em tarefas complexas e de natureza aberta.

English

Large Language Models (LLMs) have shown substantial advances through reinforcement learning (RL), particularly in domains where rewards can be programmatically verified, such as mathematics and code. In these areas, models benefit from a well-defined operational base guided by explicit rule-based objectives. However, this progress reveals a significant limitation: in open-ended domains where rewards are ambiguous, subjective, or context-dependent, such as creative writing, scientific reasoning, and notably medical consultation, robust reward functions are lacking, making these areas challenging for current RL strategies. To bridge this gap, we introduce ORBIT, an open-ended rubric-based incremental training framework specifically designed for high-stakes medical dialogue. ORBIT integrates syn- thetic dialogue generation with the dynamic creation of rubrics, employing these rubrics to direct an incremental RL process. In particular, this approach does not depend on external medical knowledge or manual rules, instead utilizing rubric-guided feedback to shape learning. When implemented on the Qwen3-4B-Instruct model, our method can greatly enhance its performance on the HealthBench-Hard benchmark from 7.0 to 27.2 using only 2k samples, thus achieving state-of-the-art results for models of this scale. Our analysis confirms that rubric-driven RL fos-ters consistent performance gains across diverse consultation scenarios, going beyond simple numerical improvements. These findings underscore rubric-based feedback as a scalable strategy for advancing LLMs in intricate, open-ended tasks.