TGPO: Temporale Grounded Policy Optimization für Signal Temporal Logic Aufgaben
TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks
September 30, 2025
papers.authors: Yue Meng, Fei Chen, Chuchu Fan
cs.AI
papers.abstract
Das Erlernen von Steuerungsstrategien für komplexe, langfristige Aufgaben ist eine zentrale Herausforderung in der Robotik und bei autonomen Systemen. Die Signal Temporal Logic (STL) bietet eine leistungsstarke und ausdrucksstarke Sprache zur Spezifikation solcher Aufgaben, doch ihre nicht-Markovsche Natur und die inhärent spärlichen Belohnungen machen es schwierig, sie mit Standard-Reinforcement-Learning (RL)-Algorithmen zu lösen. Bisherige RL-Ansätze konzentrieren sich nur auf begrenzte STL-Fragmente oder verwenden STL-Robustheitswerte als spärliche Endbelohnungen. In diesem Artikel schlagen wir TGPO, Temporal Grounded Policy Optimization, vor, um allgemeine STL-Aufgaben zu lösen. TGPO zerlegt STL in zeitlich festgelegte Teilziele und invariante Beschränkungen und bietet ein hierarchisches Framework zur Bewältigung des Problems. Die hochrangige Komponente von TGPO schlägt konkrete Zeitzuweisungen für diese Teilziele vor, und die niedrigrangige, zeitbedingte Strategie lernt, die sequenzierten Teilziele mithilfe eines dichten, stufenweisen Belohnungssignals zu erreichen. Während der Inferenz sammeln wir verschiedene Zeitzuweisungen und wählen die vielversprechendste Zuweisung für das Strategienetzwerk aus, um die Lösungstrajektorie zu entfalten. Um ein effizientes Erlernen von Strategien für komplexe STL mit mehreren Teilzielen zu fördern, nutzen wir den gelernten Kritiker, um die hochrangige zeitliche Suche über Metropolis-Hastings-Sampling zu leiten, wobei die Exploration auf zeitlich machbare Lösungen fokussiert wird. Wir führen Experimente in fünf Umgebungen durch, die von niedrigdimensionaler Navigation über Manipulation, Drohnen- und Quadrupedal-Fortbewegung reichen. Unter einer Vielzahl von STL-Aufgaben übertrifft TGPO die state-of-the-art Baselines deutlich (insbesondere bei hochdimensionalen und langfristigen Fällen), mit einer durchschnittlichen Verbesserung der Aufgaben-Erfolgsrate von 31,6 % im Vergleich zur besten Baseline. Der Code wird unter https://github.com/mengyuest/TGPO verfügbar sein.
English
Learning control policies for complex, long-horizon tasks is a central
challenge in robotics and autonomous systems. Signal Temporal Logic (STL)
offers a powerful and expressive language for specifying such tasks, but its
non-Markovian nature and inherent sparse reward make it difficult to be solved
via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus
only on limited STL fragments or use STL robustness scores as sparse terminal
rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization,
to solve general STL tasks. TGPO decomposes STL into timed subgoals and
invariant constraints and provides a hierarchical framework to tackle the
problem. The high-level component of TGPO proposes concrete time allocations
for these subgoals, and the low-level time-conditioned policy learns to achieve
the sequenced subgoals using a dense, stage-wise reward signal. During
inference, we sample various time allocations and select the most promising
assignment for the policy network to rollout the solution trajectory. To foster
efficient policy learning for complex STL with multiple subgoals, we leverage
the learned critic to guide the high-level temporal search via
Metropolis-Hastings sampling, focusing exploration on temporally feasible
solutions. We conduct experiments on five environments, ranging from
low-dimensional navigation to manipulation, drone, and quadrupedal locomotion.
Under a wide range of STL tasks, TGPO significantly outperforms
state-of-the-art baselines (especially for high-dimensional and long-horizon
cases), with an average of 31.6% improvement in task success rate compared to
the best baseline. The code will be available at
https://github.com/mengyuest/TGPO