SPPO: Sequence-Level PPO voor Redeneertaken met Lange Horizons
SPPO: Sequence-Level PPO for Long-Horizon Reasoning Tasks
April 10, 2026
Auteurs: Tianyi Wang, Yixia Li, Long Li, Yibiao Chen, Shaohan Huang, Yun Chen, Peng Li, Yang Liu, Guanhua Chen
cs.AI
Samenvatting
Proximale Beleidsoptimalisatie (PPO) staat centraal bij het afstemmen van grote taalmodellen (LLM's) voor redeneertaken met verifieerbare beloningen. Echter, standaard PPO op tokenniveau kampt in deze setting met problemen door de instabiliteit van temporele krediettoewijzing over lange Chain-of-Thought (CoT) horizonten en de buitensporige geheugenkosten van het waardemodel. Hoewel criticus-vrije alternatieven zoals GRPO deze problemen verzachten, brengen zij aanzienlijke rekenkosten met zich mee door meerdere steekproeven nodig te hebben voor de basislijnschatting, wat de trainingsdoorvoer ernstig beperkt. In dit artikel introduceren wij PPO op sequentieniveau (SPPO), een schaalbaar algoritme dat de steekproevefficiëntie van PPO combineert met de stabiliteit van op uitkomsten gebaseerde updates. SPPO herformuleert het redeneerproces als een Contextueel Bandietenprobleem op Sequentieniveau en gebruikt een ontkoppelde scalaire waardefunctie om voordelsignalen met lage variantie af te leiden zonder meervoudige steekproefname. Uitgebreide experimenten op wiskundige benchmarks tonen aan dat SPPO standaard PPO significant overtreft en de prestaties evenaart van rekenintensieve, op groepen gebaseerde methoden, waardoor het een resource-efficiënt raamwerk biedt voor het afstemmen van redenerende LLM's.
English
Proximal Policy Optimization (PPO) is central to aligning Large Language Models (LLMs) in reasoning tasks with verifiable rewards. However, standard token-level PPO struggles in this setting due to the instability of temporal credit assignment over long Chain-of-Thought (CoT) horizons and the prohibitive memory cost of the value model. While critic-free alternatives like GRPO mitigate these issues, they incur significant computational overhead by requiring multiple samples for baseline estimation, severely limiting training throughput. In this paper, we introduce Sequence-Level PPO (SPPO), a scalable algorithm that harmonizes the sample efficiency of PPO with the stability of outcome-based updates. SPPO reformulates the reasoning process as a Sequence-Level Contextual Bandit problem, employing a decoupled scalar value function to derive low-variance advantage signals without multi-sampling. Extensive experiments on mathematical benchmarks demonstrate that SPPO significantly surpasses standard PPO and matches the performance of computation-heavy group-based methods, offering a resource-efficient framework for aligning reasoning LLMs.