Ottimizzazione della Politica Obiettivo

Abstract

Nel RL, dato un prompt, campioniamo un gruppo di completamenti da un modello e li assegniamo un punteggio. Seguono due domande: quali completamenti dovrebbero guadagnare massa di probabilità, e come dovrebbero muoversi i parametri per realizzare tale cambiamento? I metodi standard del policy gradient rispondono a entrambe le domande simultaneamente, quindi l'aggiornamento può eccedere o essere insufficiente a seconda del learning rate, del clipping e di altre scelte dell'ottimizzatore. Introduciamo la Target Policy Optimization (TPO), che separa le due questioni. Dati i completamenti con punteggio, la TPO costruisce una distribuzione target q_i ∝ p_i^{,vecchia} exp(u_i) e adatta la policy ad essa tramite l'entropia incrociata. Il gradiente della loss sui logit dei completamenti campionati è p^θ - q, che si annulla una volta che la policy corrisponde al target. Su banditi tabulari, task di sequenza con transformer e RLVR per LLM da miliardi di parametri, la TPO eguaglia PG, PPO, GRPO e DG sui task semplici e li supera sostanzialmente in caso di ricompensa sparsa. Il codice è disponibile all'indirizzo https://github.com/JeanKaddour/tpo.

English

In RL, given a prompt, we sample a group of completions from a model and score them. Two questions follow: which completions should gain probability mass, and how should the parameters move to realize that change? Standard policy-gradient methods answer both at once, so the update can overshoot or undershoot depending on the learning rate, clipping, and other optimizer choices. We introduce Target Policy Optimization (TPO), which separates the two questions. Given scored completions, TPO constructs a target distribution q_i propto p_i^{,old} exp(u_i) and fits the policy to it by cross-entropy. The loss gradient on sampled-completion logits is p^θ- q, which vanishes once the policy matches the target. On tabular bandits, transformer sequence tasks, and billion-parameter LLM RLVR, TPO matches PG, PPO, GRPO, and DG on easy tasks and substantially outperforms them under sparse reward. Code is available at https://github.com/JeanKaddour/tpo.