InfiMed-ORBIT: Выравнивание языковых моделей на открытых сложных задачах с помощью поэтапного обучения на основе рубрик

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

October 17, 2025

Авторы: Pengkai Wang, Qi Zuo, Pengwei Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют значительные успехи благодаря обучению с подкреплением (RL), особенно в областях, где вознаграждения могут быть программно проверены, таких как математика и программирование. В этих сферах модели извлекают пользу из четко определенной операционной базы, руководствуясь явными правилами и целями. Однако этот прогресс выявляет существенное ограничение: в открытых областях, где вознаграждения неоднозначны, субъективны или зависят от контекста, таких как творческое письмо, научное рассуждение и, в особенности, медицинские консультации, отсутствуют надежные функции вознаграждения, что делает эти области сложными для современных стратегий RL. Чтобы преодолеть этот разрыв, мы представляем ORBIT — открытую структуру инкрементного обучения на основе рубрик, специально разработанную для высокоответственных медицинских диалогов. ORBIT интегрирует генерацию синтетических диалогов с динамическим созданием рубрик, используя эти рубрики для направления инкрементного процесса RL. В частности, этот подход не зависит от внешних медицинских знаний или ручных правил, вместо этого он использует обратную связь, основанную на рубриках, для формирования обучения. При реализации на модели Qwen3-4B-Instruct наш метод значительно улучшает её производительность на бенчмарке HealthBench-Hard с 7.0 до 27.2, используя всего 2 тысячи образцов, что позволяет достичь современных результатов для моделей такого масштаба. Наш анализ подтверждает, что RL, управляемый рубриками, способствует стабильному улучшению производительности в различных сценариях консультаций, выходя за рамки простого численного улучшения. Эти результаты подчеркивают обратную связь на основе рубрик как масштабируемую стратегию для продвижения LLM в сложных, открытых задачах.

English

Large Language Models (LLMs) have shown substantial advances through reinforcement learning (RL), particularly in domains where rewards can be programmatically verified, such as mathematics and code. In these areas, models benefit from a well-defined operational base guided by explicit rule-based objectives. However, this progress reveals a significant limitation: in open-ended domains where rewards are ambiguous, subjective, or context-dependent, such as creative writing, scientific reasoning, and notably medical consultation, robust reward functions are lacking, making these areas challenging for current RL strategies. To bridge this gap, we introduce ORBIT, an open-ended rubric-based incremental training framework specifically designed for high-stakes medical dialogue. ORBIT integrates syn- thetic dialogue generation with the dynamic creation of rubrics, employing these rubrics to direct an incremental RL process. In particular, this approach does not depend on external medical knowledge or manual rules, instead utilizing rubric-guided feedback to shape learning. When implemented on the Qwen3-4B-Instruct model, our method can greatly enhance its performance on the HealthBench-Hard benchmark from 7.0 to 27.2 using only 2k samples, thus achieving state-of-the-art results for models of this scale. Our analysis confirms that rubric-driven RL fos-ters consistent performance gains across diverse consultation scenarios, going beyond simple numerical improvements. These findings underscore rubric-based feedback as a scalable strategy for advancing LLMs in intricate, open-ended tasks.