強化学習におけるルーブリックからコードへのクレジット割り当て

要旨

インタラクティブなWebアプリケーション生成には、モデルが自然言語のリクエストから実用的なHTML、CSS、JavaScriptアプリケーションを生成することが求められる。従来のコード生成とは異なり、アプリケーションの品質は複数のユーザー向け機能要件に依存し、各要件はイベントハンドラ、状態更新、DOMフラグメント、CSSセレクタなどの局所的なコード領域に結びついていることが多い。標準的なGRPOは、これらの構造化された成果を単一のシーケンスレベルの報酬に集約し、得られたアドバンテージを全トークンに均等に適用するため、クレジット割り当てが弱まる。本稿では、ルーブリックレベルの機能フィードバックを生成コード上の局所的な最適化シグナルに変換する強化学習フレームワークであるRubric-to-Code Credit Assignment（RCCA）を提案する。RCCAは、明示的な機能ルーブリックを中心に訓練タスクを構築し、階層的報酬を用いて形式、ソースコード、実行時、機能の失敗を分離し、評価者が生成したテキストによる帰属情報を責任のあるコードスパンおよび生成トークンと整合させる。得られたモデルLing-RCCA-Flashは、MiniAppBenchで41.25を達成し、Ling-3.0-Flashを32.20ポイント上回り、Claude Opus 4.5をわずかに凌駕した。また、ArtifactsBenchでは76.19に達し、SFTモデルを4.48ポイント改善し、公式のArtifactsBenchリーダーボード設定においてGPT-5のスコアを3.64ポイント上回る新記録を樹立した。これは転移可能な実装レベルの改善を示唆している。

English

Interactive web application generation requires models to produce usable HTML, CSS, and JavaScript applications from natural language requests. Unlike conventional code generation, application quality depends on multiple user-facing functional requirements, each often tied to localized code regions such as event handlers, state updates, DOM fragments, or CSS selectors. Standard GRPO collapses these structured outcomes into a single sequence-level reward and applies the resulting advantage uniformly to all tokens, weakening credit assignment. We propose Rubric-to-Code Credit Assignment (RCCA), a reinforcement learning framework that converts rubric-level functional feedback into localized optimization signals over generated code. RCCA builds training tasks around explicit functional rubrics, uses a hierarchical reward to separate format, source-code, runtime, and functional failures, and aligns evaluator-generated textual attributions with responsible code spans and generated tokens. The resulting model, Ling-RCCA-Flash, scores 41.25 on MiniAppBench, improving Ling-3.0-Flash by 32.20 points and slightly surpassing Claude Opus 4.5. It also reaches 76.19 on ArtifactsBench, improving the SFT model by 4.48 points and establishing a new top score under the official ArtifactsBench leaderboard setting by surpassing the GPT-5 score by 3.64 points, suggesting transferable implementation-level gains.