LLM als Tutor: Policy-bewusste Prompt-Anpassung für nicht verifizierbares RL

Zusammenfassung

Bestärkendes Lernen (RL) zur nicht verifizierbaren Befolgung von Anweisungen stützt sich zunehmend auf LLM-Richter mit promptspezifischen Bewertungskriterien als Belohnungssignale. Während neuere Methoden diese Bewertungskriterien an die sich entwickelnde Policy während des Trainings anpassen, bleiben die Trainingsprompts selbst statisch und stammen aus festen Korpora. Dieser statische Ansatz führt häufig zu einer kritischen Fehlanpassung zwischen dem Schwierigkeitsgrad der Prompts und den Fähigkeiten der Policy, sodass der Richter kein diskriminierendes Belohnungssignal mehr gewinnen kann, wenn die Prompts keine Qualitätsvarianz zwischen den Rollouts hervorrufen. Um diese Fehlanpassung zu beheben, führen wir LLM-as-a-Tutor ein, ein Framework, das die Rolle des LLM vom Richter zum Tutor erweitert: Ein einzelnes Modell dient als Prüfer, der Policy-Rollouts paarweise vergleicht, um nicht herausfordernde Prompts zu erkennen, und als Generator, der ihnen atomare Beschränkungen hinzufügt. Dieses Nur-Anhängen-Design erhöht die Schwierigkeit monoton im Gleichschritt mit der Fähigkeit der Policy und erzeugt ein selbstkalibrierendes Trainingssignal ohne externe Schwierigkeitspläne. Bei drei komplexen Benchmarks zur Befolgung von Anweisungen übertrifft unsere Methode sowohl policy-unbewusste Baselines als auch frühere policy-adaptive Methoden, die Bewertungskriterien anpassen oder Prompts umschreiben, was darauf hindeutet, dass die Prompt-Adaption eine fehlende Achse der Policy-Bewusstheit im nicht verifizierbaren RL darstellt.

English

Reinforcement learning (RL) for non-verifiable instruction following increasingly relies on LLM judges with prompt-specific rubrics as reward signals. While recent methods adapt these rubrics to the evolving policy during training, the training prompts themselves remain static, drawn from fixed corpora. This static approach often results in a critical misalignment between prompt difficulty and policy capability, leaving the judge unable to recover a discriminative reward signal when prompts fail to elicit quality variance among rollouts. To address this misalignment, we introduce LLM-as-a-Tutor, a framework that extends the LLM's role from judge to tutor: a single model serves as an examiner that pairwise-compares policy rollouts to detect non-challenging prompts, and as a generator that appends atomic constraints to them. This append-only design monotonically raises difficulty in step with the policy's capability, producing a self-calibrating training signal without external difficulty schedules. On three complex instruction-following benchmarks, our method consistently outperforms both policy-unaware baselines and prior policy-adaptive methods that adapt rubrics or rewrite prompts, suggesting prompt adaptation as a missing axis of policy-awareness in non-verifiable RL.