강화 학습을 위한 루브릭-코드 신용 할당

초록

대화형 웹 애플리케이션 생성은 자연어 요청으로부터 사용 가능한 HTML, CSS, JavaScript 애플리케이션을 생성하는 모델을 요구한다. 기존 코드 생성과 달리, 애플리케이션 품질은 각각 이벤트 핸들러, 상태 업데이트, DOM 조각, CSS 선택자와 같은 국소적 코드 영역에 종종 연계된 여러 사용자 대상 기능 요구사항에 의존한다. 표준 GRPO는 이러한 구조화된 결과를 단일 시퀀스 수준 보상으로 축소하고, 도출된 어드밴티지를 모든 토큰에 균일하게 적용함으로써 신용 할당을 약화시킨다. 본 논문에서는 루브릭 수준의 기능적 피드백을 생성된 코드에 대한 국소적 최적화 신호로 변환하는 강화 학습 프레임워크인 루브릭-코드 신용 할당(Rubric-to-Code Credit Assignment, RCCA)을 제안한다. RCCA는 명시적 기능적 루브릭을 중심으로 훈련 작업을 구성하고, 계층적 보상을 통해 형식, 소스 코드, 런타임, 기능적 오류를 분리하며, 평가자가 생성한 텍스트 귀속을 해당 기능과 연관된 코드 구간 및 생성된 토큰과 정렬한다. 결과 모델인 Ling-RCCA-Flash는 MiniAppBench에서 41.25점을 기록하여 Ling-3.0-Flash를 32.20점 개선했으며, Claude Opus 4.5를 소폭 상회한다. 또한 ArtifactsBench에서 76.19점을 달성하여 SFT 모델을 4.48점 개선하고, 공식 ArtifactsBench 리더보드 설정에서 GPT-5 점수를 3.64점 상회하는 새로운 최고 점수를 수립함으로써 전이 가능한 구현 수준의 성과를 시사한다.

English

Interactive web application generation requires models to produce usable HTML, CSS, and JavaScript applications from natural language requests. Unlike conventional code generation, application quality depends on multiple user-facing functional requirements, each often tied to localized code regions such as event handlers, state updates, DOM fragments, or CSS selectors. Standard GRPO collapses these structured outcomes into a single sequence-level reward and applies the resulting advantage uniformly to all tokens, weakening credit assignment. We propose Rubric-to-Code Credit Assignment (RCCA), a reinforcement learning framework that converts rubric-level functional feedback into localized optimization signals over generated code. RCCA builds training tasks around explicit functional rubrics, uses a hierarchical reward to separate format, source-code, runtime, and functional failures, and aligns evaluator-generated textual attributions with responsible code spans and generated tokens. The resulting model, Ling-RCCA-Flash, scores 41.25 on MiniAppBench, improving Ling-3.0-Flash by 32.20 points and slightly surpassing Claude Opus 4.5. It also reaches 76.19 on ArtifactsBench, improving the SFT model by 4.48 points and establishing a new top score under the official ArtifactsBench leaderboard setting by surpassing the GPT-5 score by 3.64 points, suggesting transferable implementation-level gains.