LLM-as-a-Tutor: 검증 불가능한 강화학습을 위한 정책 인식 프롬프트 적응

초록

검증 불가능한 명령 수행을 위한 강화 학습(RL)은 점차 프롬프트별 평가 기준을 가진 LLM 판정자를 보상 신호로 활용하고 있다. 최근 방법들은 훈련 중 진화하는 정책에 맞춰 이러한 평가 기준을 조정하지만, 훈련 프롬프트 자체는 고정된 코퍼스에서 추출된 정적인 상태로 남아 있다. 이러한 정적 접근 방식은 종종 프롬프트 난이도와 정책 성능 간의 심각한 부정합을 초래하며, 프롬프트가 롤아웃 간 품질 변동을 이끌어내지 못할 경우 판정자가 변별적 보상 신호를 복구할 수 없게 만든다. 이러한 부정합을 해결하기 위해, 우리는 LLM의 역할을 판정자에서 튜터로 확장하는 프레임워크인 LLM-as-a-Tutor를 제안한다: 단일 모델이 정책 롤아웃을 쌍별 비교하여 도전적이지 않은 프롬프트를 탐지하는 시험자 역할과, 이들에 원자적 제약 조건을 추가하는 생성자 역할을 동시에 수행한다. 이러한 추가 전용 설계는 정책의 성능에 맞춰 난이도를 단조롭게 증가시켜, 외부 난이도 일정 없이 자체 보정되는 훈련 신호를 생성한다. 세 가지 복잡한 명령 수행 벤치마크에서, 우리의 방법은 정책을 고려하지 않는 기준선과 평가 기준을 조정하거나 프롬프트를 재작성하는 기존의 정책 적응 방법들보다 일관되게 우수한 성능을 보였으며, 이는 검증 불가능한 강화 학습에서 프롬프트 적응이 정책 인식의 누락된 축임을 시사한다.

English

Reinforcement learning (RL) for non-verifiable instruction following increasingly relies on LLM judges with prompt-specific rubrics as reward signals. While recent methods adapt these rubrics to the evolving policy during training, the training prompts themselves remain static, drawn from fixed corpora. This static approach often results in a critical misalignment between prompt difficulty and policy capability, leaving the judge unable to recover a discriminative reward signal when prompts fail to elicit quality variance among rollouts. To address this misalignment, we introduce LLM-as-a-Tutor, a framework that extends the LLM's role from judge to tutor: a single model serves as an examiner that pairwise-compares policy rollouts to detect non-challenging prompts, and as a generator that appends atomic constraints to them. This append-only design monotonically raises difficulty in step with the policy's capability, producing a self-calibrating training signal without external difficulty schedules. On three complex instruction-following benchmarks, our method consistently outperforms both policy-unaware baselines and prior policy-adaptive methods that adapt rubrics or rewrite prompts, suggesting prompt adaptation as a missing axis of policy-awareness in non-verifiable RL.