TGPO: Temporeel Gegrond Beleidsoptimalisatie voor Signal Temporal Logic Taken

TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks

September 30, 2025

Auteurs: Yue Meng, Fei Chen, Chuchu Fan

cs.AI

Samenvatting

Het leren van controlebeleid voor complexe, langetermijntaken is een centrale uitdaging in robotica en autonome systemen. Signal Temporal Logic (STL) biedt een krachtige en expressieve taal om dergelijke taken te specificeren, maar zijn niet-Markoviaanse aard en inherente schaarse beloning maken het moeilijk om opgelost te worden via standaard Reinforcement Learning (RL)-algoritmen. Eerdere RL-benaderingen richten zich alleen op beperkte STL-fragmenten of gebruiken STL-robustheidsscores als schaarse eindbeloningen. In dit artikel stellen we TGPO, Temporal Grounded Policy Optimization, voor om algemene STL-taken op te lossen. TGPO deelt STL op in getimede subdoelen en invariante beperkingen en biedt een hiërarchisch raamwerk om het probleem aan te pakken. Het hoogste niveau van TGPO stelt concrete tijdsallocaties voor deze subdoelen voor, en het laagste niveau, het tijd-geconditioneerde beleid, leert om de gespecificeerde subdoelen te bereiken met behulp van een dichte, fasegewijze beloningssignaal. Tijdens inferentie nemen we verschillende tijdsallocaties en selecteren de meest veelbelovende toewijzing voor het beleidsnetwerk om de oplossingstrajectorie uit te rollen. Om efficiënt beleidsleren voor complexe STL met meerdere subdoelen te bevorderen, benutten we de geleerde criticus om de hoogste temporele zoektocht te begeleiden via Metropolis-Hastings sampling, waarbij de verkenning gericht is op temporeel haalbare oplossingen. We voeren experimenten uit in vijf omgevingen, variërend van laagdimensionale navigatie tot manipulatie, drone- en viervoetige voortbeweging. Onder een breed scala aan STL-taken presteert TGPO aanzienlijk beter dan state-of-the-art baselines (met name voor hoogdimensionale en langetermijngevallen), met een gemiddelde verbetering van 31,6% in taaksuccespercentage vergeleken met de beste baseline. De code zal beschikbaar zijn op https://github.com/mengyuest/TGPO.

English

Learning control policies for complex, long-horizon tasks is a central challenge in robotics and autonomous systems. Signal Temporal Logic (STL) offers a powerful and expressive language for specifying such tasks, but its non-Markovian nature and inherent sparse reward make it difficult to be solved via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus only on limited STL fragments or use STL robustness scores as sparse terminal rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization, to solve general STL tasks. TGPO decomposes STL into timed subgoals and invariant constraints and provides a hierarchical framework to tackle the problem. The high-level component of TGPO proposes concrete time allocations for these subgoals, and the low-level time-conditioned policy learns to achieve the sequenced subgoals using a dense, stage-wise reward signal. During inference, we sample various time allocations and select the most promising assignment for the policy network to rollout the solution trajectory. To foster efficient policy learning for complex STL with multiple subgoals, we leverage the learned critic to guide the high-level temporal search via Metropolis-Hastings sampling, focusing exploration on temporally feasible solutions. We conduct experiments on five environments, ranging from low-dimensional navigation to manipulation, drone, and quadrupedal locomotion. Under a wide range of STL tasks, TGPO significantly outperforms state-of-the-art baselines (especially for high-dimensional and long-horizon cases), with an average of 31.6% improvement in task success rate compared to the best baseline. The code will be available at https://github.com/mengyuest/TGPO