Guidance-kontrastive Token-Kreditzuweisung für die Optimierung diskreter Politiken

Zusammenfassung

Gruppenvorteilsbasierte Verstärkungslernmethoden wie GRPO und DAPO haben in verschiedenen Bereichen, darunter mathematisches Denken und Text-zu-Bild-Generierung, eine starke Leistung gezeigt. Ihre Abhängigkeit von Belohnungen auf Stichprobenebene führt jedoch zu einer wesentlichen Einschränkung, da eine einheitliche Kreditzuweisung über alle Token hinweg keine feinkörnigen Beiträge auf Token-Ebene erfasst. Um dieses Problem zu beheben, schlagen wir Guidance Contrastive Policy Optimization (GCPO) vor, einen neuartigen Algorithmus, der eine Kreditzuweisung pro Token ermöglicht, indem er Modellvorhersagen unter positiven und negativen Aufforderungen (Prompts) kontrastiert. Anstatt Vorteile auf Stichprobenebene gleichmäßig zu verteilen, weist GCPO Vorteile auf Token-Ebene proportional zur Differenz zwischen diesen kontrastierenden Vorhersagen zu, was präzisere und informativere Lernsignale ermöglicht. Empirisch stellen wir fest, dass GCPO semantisch relevante Bereiche hervorhebt, wie etwa visuelle Regionen, die mit Textaufforderungen übereinstimmen, bei der Text-zu-Bild-Generierung sowie kritische Schlüsselwörter innerhalb von Gedankengängen bei Aufgaben zur Gedankenkette. Durch umfangreiche Experimente übertrifft GCPO die Basislinien GRPO und DAPO sowohl bei Benchmarks zur Text-zu-Bild-Generierung als auch zum kettenartigen Denken (Chain-of-Thought) durchgängig, was seine Wirksamkeit als allgemeine und skalierbare Optimierungsstrategie für diskretes Richtlinienlernen belegt.

English

Group-advantage-based reinforcement learning methods, such as GRPO and DAPO, have demonstrated strong performance across diverse domains, including mathematical reasoning and text-to-image generation. However, their reliance on sample-level rewards introduces a key limitation as uniform credit assignment across all tokens fails to capture fine-grained, token-level contributions. To address this issue, we propose Guidance Contrastive Policy Optimization (GCPO), a novel algorithm that enables per-token credit assignment by contrasting model predictions under positive and negative prompts. Rather than uniformly broadcasting sample-level advantages, GCPO assigns token-level advantages proportional to the difference between these contrastive predictions, allowing more precise and informative learning signals. Empirically, we find that GCPO emphasizes semantically relevant regions such as visual areas aligned with textual prompts in text-to-image generation, and critical keywords within reasoning traces for chain-of-thought tasks. Through extensive experiments, GCPO consistently outperforms GRPO and DAPO baselines on both text-to-image generation and chain-of-thought reasoning benchmarks, demonstrating its effectiveness as a general and scalable optimization strategy for discrete policy learning.