Assignation de crédit de token de guidage contrastif pour l'optimisation de politique discrète

Résumé

Les méthodes d’apprentissage par renforcement basées sur l’avantage de groupe, telles que GRPO et DAPO, ont démontré d’excellentes performances dans divers domaines, notamment le raisonnement mathématique et la génération d’images à partir de texte. Cependant, leur dépendance à des récompenses au niveau des échantillons introduit une limitation majeure : une attribution uniforme du crédit à tous les jetons ne parvient pas à capturer les contributions fines au niveau des jetons individuels. Pour remédier à ce problème, nous proposons Guidance Contrastive Policy Optimization (GCPO), un nouvel algorithme qui permet une attribution de crédit par jeton en contrastant les prédictions du modèle sous des prompts positifs et négatifs. Au lieu de diffuser uniformément les avantages au niveau des échantillons, GCPO attribue des avantages au niveau des jetons proportionnellement à la différence entre ces prédictions contrastives, fournissant ainsi des signaux d’apprentissage plus précis et plus informatifs. Empiriquement, nous observons que GCPO met l’accent sur les régions sémantiquement pertinentes, telles que les zones visuelles alignées avec les prompts textuels en génération d’images à partir de texte, ainsi que sur les mots-clés critiques dans les traces de raisonnement pour les tâches de chaîne de pensée. À travers des expériences approfondies, GCPO surpasse systématiquement les bases GRPO et DAPO tant sur les benchmarks de génération d’images à partir de texte que sur ceux de raisonnement en chaîne de pensée, démontrant ainsi son efficacité en tant que stratégie d’optimisation générale et évolutive pour l’apprentissage de politiques discrètes.

English

Group-advantage-based reinforcement learning methods, such as GRPO and DAPO, have demonstrated strong performance across diverse domains, including mathematical reasoning and text-to-image generation. However, their reliance on sample-level rewards introduces a key limitation as uniform credit assignment across all tokens fails to capture fine-grained, token-level contributions. To address this issue, we propose Guidance Contrastive Policy Optimization (GCPO), a novel algorithm that enables per-token credit assignment by contrasting model predictions under positive and negative prompts. Rather than uniformly broadcasting sample-level advantages, GCPO assigns token-level advantages proportional to the difference between these contrastive predictions, allowing more precise and informative learning signals. Empirically, we find that GCPO emphasizes semantically relevant regions such as visual areas aligned with textual prompts in text-to-image generation, and critical keywords within reasoning traces for chain-of-thought tasks. Through extensive experiments, GCPO consistently outperforms GRPO and DAPO baselines on both text-to-image generation and chain-of-thought reasoning benchmarks, demonstrating its effectiveness as a general and scalable optimization strategy for discrete policy learning.