GRPO mit Prozessbewusstsein unter Verwendung von Prozessmining

Reasoning-Aware GRPO using Process Mining

October 29, 2025

papers.authors: Taekhyun Park, Yongjae Lee, Hyerim Bae

cs.AI

papers.abstract

Reinforcement Learning (RL)-basierte Nachbearbeitung war entscheidend für die Ermöglichung von Mehrschritt-Argumentation in großen Reasoning-Modellen (LRMs), doch aktuelle Belohnungsschemata sind typischerweise ergebnisorientiert. Wir schlagen PM4GRPO vor, ein reasoning-bewusstes Group Relative Policy Optimization (GRPO), das standardmäßige Antwort-/Format-Belohnungen mit Signalen über den Reasoning-Prozess erweitert. Zu diesem Zweck werden Process-Mining-Techniken genutzt, um eine skalare Konformitätsbelohnung zu berechnen, die misst, wie eng das Reasoning eines Policy-Modells mit dem vortrainierten Teacher-Modell übereinstimmt. Die empirischen Ergebnisse auf fünf Benchmarks zeigen, dass PM4GRPO bestehende Methoden für GRPO-basierte Nachbearbeitung signifikant übertrifft. Diese Ergebnisse unterstreichen, dass der Einsatz von Process Mining für reasoning-bewusstes GRPO die Reasoning-Fähigkeiten von Policy-Modellen wirksam verbessert.

English

Reinforcement learning (RL)-based post-training has been crucial for enabling multi-step reasoning in large reasoning models (LRMs), yet current reward schemes are typically outcome-centric. We propose PM4GRPO, a reasoning-aware Group Relative Policy Optimization (GRPO) that augments standard answer/format rewards with signals over the reasoning procedure. To this end, process mining techniques are utilized to compute a scalar conformance reward that measures how closely a policy model's reasoning aligns with the pretrained teacher model. The empirical results on five benchmarks demonstrate that PM4GRPO significantly outperforms existing methodologies for GRPO-based post-training. These results highlight that leveraging process mining for reasoning-aware GRPO effectively enhances the reasoning capabilities of policy models.