InfiMed-ORBIT: ルーブリックに基づく漸進的トレーニングによるオープンエンド複雑タスクへのLLMのアラインメント

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

October 17, 2025

著者: Pengkai Wang, Qi Zuo, Pengwei Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

cs.AI

要旨

大規模言語モデル（LLMs）は、特に数学やコードなど報酬をプログラム的に検証可能な領域において、強化学習（RL）を通じて著しい進展を示してきた。これらの領域では、明示的なルールベースの目的に導かれた明確な操作基盤がモデルに利点をもたらす。しかし、この進展は重要な限界を明らかにしている。創造的な文章作成、科学的推論、そして特に医療相談など、報酬が曖昧で主観的または文脈依存的なオープンエンドな領域では、堅牢な報酬関数が欠如しており、これらの領域は現在のRL戦略にとって困難である。このギャップを埋めるため、我々はORBITを導入する。これは、高リスクの医療対話に特化したオープンエンドなルーブリックベースの漸進的トレーニングフレームワークである。ORBITは、合成対話生成とルーブリックの動的作成を統合し、これらのルーブリックを用いて漸進的なRLプロセスを導く。特に、このアプローチは外部の医療知識や手動ルールに依存せず、代わりにルーブリックに基づくフィードバックを活用して学習を形成する。Qwen3-4B-Instructモデルに実装した場合、我々の手法はHealthBench-Hardベンチマークにおいて、わずか2,000サンプルで性能を7.0から27.2に大幅に向上させ、この規模のモデルにおいて最先端の結果を達成する。我々の分析は、ルーブリック駆動型RLが、単なる数値的改善を超えて、多様な相談シナリオにおいて一貫した性能向上を促進することを確認している。これらの発見は、複雑でオープンエンドなタスクにおいてLLMsを進歩させるためのスケーラブルな戦略として、ルーブリックベースのフィードバックを強調するものである。

English

Large Language Models (LLMs) have shown substantial advances through reinforcement learning (RL), particularly in domains where rewards can be programmatically verified, such as mathematics and code. In these areas, models benefit from a well-defined operational base guided by explicit rule-based objectives. However, this progress reveals a significant limitation: in open-ended domains where rewards are ambiguous, subjective, or context-dependent, such as creative writing, scientific reasoning, and notably medical consultation, robust reward functions are lacking, making these areas challenging for current RL strategies. To bridge this gap, we introduce ORBIT, an open-ended rubric-based incremental training framework specifically designed for high-stakes medical dialogue. ORBIT integrates syn- thetic dialogue generation with the dynamic creation of rubrics, employing these rubrics to direct an incremental RL process. In particular, this approach does not depend on external medical knowledge or manual rules, instead utilizing rubric-guided feedback to shape learning. When implemented on the Qwen3-4B-Instruct model, our method can greatly enhance its performance on the HealthBench-Hard benchmark from 7.0 to 27.2 using only 2k samples, thus achieving state-of-the-art results for models of this scale. Our analysis confirms that rubric-driven RL fos-ters consistent performance gains across diverse consultation scenarios, going beyond simple numerical improvements. These findings underscore rubric-based feedback as a scalable strategy for advancing LLMs in intricate, open-ended tasks.