Doelbeleidsoptimalisatie

Samenvatting

Bij RL nemen we, gegeven een prompt, een groep voltooiingen van een model en scoren deze. Twee vragen volgen: welke voltooiingen moeten kansmassa krijgen, en hoe moeten de parameters verschuiven om die verandering te realiseren? Standaard policy-gradient methoden beantwoorden beide vragen tegelijk, waardoor de update kan overschieten of tekortschieten afhankelijk van de leerrate, clipping en andere optimizerkeuzes. Wij introduceren Target Policy Optimization (TPO), dat de twee vragen scheidt. Gegeven gescoorde voltooiingen construeert TPO een doeldistributie q_i ∝ p_i^{,oud} exp(u_i) en past het beleid hierop aan via kruisentropie. De verliesgradiënt op de logits van de bemonsterde voltooiingen is p^θ - q, die verdwijnt zodra het beleid overeenkomt met het doel. Op tabulaire bandieten, transformersequentietaken en RLVR voor LLM's met miljarden parameters, evenaart TPO PG, PPO, GRPO en DG op eenvoudige taken en overtreft het hen aanzienlijk bij schaarse beloning. Code is beschikbaar op https://github.com/JeanKaddour/tpo.

English

In RL, given a prompt, we sample a group of completions from a model and score them. Two questions follow: which completions should gain probability mass, and how should the parameters move to realize that change? Standard policy-gradient methods answer both at once, so the update can overshoot or undershoot depending on the learning rate, clipping, and other optimizer choices. We introduce Target Policy Optimization (TPO), which separates the two questions. Given scored completions, TPO constructs a target distribution q_i propto p_i^{,old} exp(u_i) and fits the policy to it by cross-entropy. The loss gradient on sampled-completion logits is p^θ- q, which vanishes once the policy matches the target. On tabular bandits, transformer sequence tasks, and billion-parameter LLM RLVR, TPO matches PG, PPO, GRPO, and DG on easy tasks and substantially outperforms them under sparse reward. Code is available at https://github.com/JeanKaddour/tpo.