Orientação Contrastiva de Atribuição de Crédito de Token para Otimização de Política Discreta

Resumo

Métodos de aprendizado por reforço baseados em vantagens de grupo, como GRPO e DAPO, demonstraram desempenho robusto em diversos domínios, incluindo raciocínio matemático e geração de texto para imagem. No entanto, sua dependência de recompensas no nível de amostra introduz uma limitação fundamental, uma vez que a atribuição uniforme de crédito a todos os tokens falha em capturar contribuições refinadas no nível de token. Para resolver esse problema, propomos o Guidance Contrastive Policy Optimization (GCPO), um algoritmo inovador que possibilita a atribuição de crédito por token ao contrastar as previsões do modelo sob prompts positivos e negativos. Em vez de difundir uniformemente vantagens no nível de amostra, o GCPO atribui vantagens no nível de token proporcionais à diferença entre essas previsões contrastivas, permitindo sinais de aprendizado mais precisos e informativos. Empiricamente, descobrimos que o GCPO enfatiza regiões semanticamente relevantes, como áreas visuais alinhadas com prompts textuais na geração de texto para imagem e palavras-chave críticas dentro de traços de raciocínio para tarefas de cadeia de pensamento. Por meio de extensos experimentos, o GCPO supera consistentemente as referências GRPO e DAPO em benchmarks de geração de texto para imagem e raciocínio em cadeia de pensamento, demonstrando sua eficácia como uma estratégia de otimização geral e escalável para aprendizado de políticas discretas.

English

Group-advantage-based reinforcement learning methods, such as GRPO and DAPO, have demonstrated strong performance across diverse domains, including mathematical reasoning and text-to-image generation. However, their reliance on sample-level rewards introduces a key limitation as uniform credit assignment across all tokens fails to capture fine-grained, token-level contributions. To address this issue, we propose Guidance Contrastive Policy Optimization (GCPO), a novel algorithm that enables per-token credit assignment by contrasting model predictions under positive and negative prompts. Rather than uniformly broadcasting sample-level advantages, GCPO assigns token-level advantages proportional to the difference between these contrastive predictions, allowing more precise and informative learning signals. Empirically, we find that GCPO emphasizes semantically relevant regions such as visual areas aligned with textual prompts in text-to-image generation, and critical keywords within reasoning traces for chain-of-thought tasks. Through extensive experiments, GCPO consistently outperforms GRPO and DAPO baselines on both text-to-image generation and chain-of-thought reasoning benchmarks, demonstrating its effectiveness as a general and scalable optimization strategy for discrete policy learning.