TGPO : Optimisation de Politique Temporellement Enraconnée pour les Tâches de Logique Temporelle des Signaux
TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks
September 30, 2025
papers.authors: Yue Meng, Fei Chen, Chuchu Fan
cs.AI
papers.abstract
L'apprentissage de politiques de contrôle pour des tâches complexes et à long horizon constitue un défi central en robotique et dans les systèmes autonomes. La logique temporelle des signaux (Signal Temporal Logic, STL) offre un langage puissant et expressif pour spécifier de telles tâches, mais sa nature non markovienne et ses récompenses intrinsèquement éparses rendent difficile sa résolution via les algorithmes standards d'apprentissage par renforcement (Reinforcement Learning, RL). Les approches RL antérieures se concentrent uniquement sur des fragments limités de STL ou utilisent les scores de robustesse de STL comme récompenses terminales éparses. Dans cet article, nous proposons TGPO, Temporal Grounded Policy Optimization, pour résoudre des tâches STL générales. TGPO décompose STL en sous-objectifs temporels et en contraintes invariantes, et fournit un cadre hiérarchique pour aborder le problème. Le composant de haut niveau de TGPO propose des allocations temporelles concrètes pour ces sous-objectifs, tandis que la politique conditionnée au temps de bas niveau apprend à atteindre les sous-objectifs séquencés en utilisant un signal de récompense dense et par étapes. Pendant l'inférence, nous échantillonnons diverses allocations temporelles et sélectionnons l'affectation la plus prometteuse pour que le réseau de politiques déploie la trajectoire de solution. Pour favoriser un apprentissage efficace des politiques pour des STL complexes avec plusieurs sous-objectifs, nous exploitons le critique appris pour guider la recherche temporelle de haut niveau via un échantillonnage de Metropolis-Hastings, en concentrant l'exploration sur des solutions temporellement réalisables. Nous menons des expériences sur cinq environnements, allant de la navigation en basse dimension à la manipulation, au drone et à la locomotion quadrupède. Pour une large gamme de tâches STL, TGPO surpasse significativement les meilleures méthodes de référence (en particulier pour les cas de haute dimension et à long horizon), avec une amélioration moyenne de 31,6 % du taux de réussite des tâches par rapport à la meilleure méthode de référence. Le code sera disponible à l'adresse suivante : https://github.com/mengyuest/TGPO.
English
Learning control policies for complex, long-horizon tasks is a central
challenge in robotics and autonomous systems. Signal Temporal Logic (STL)
offers a powerful and expressive language for specifying such tasks, but its
non-Markovian nature and inherent sparse reward make it difficult to be solved
via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus
only on limited STL fragments or use STL robustness scores as sparse terminal
rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization,
to solve general STL tasks. TGPO decomposes STL into timed subgoals and
invariant constraints and provides a hierarchical framework to tackle the
problem. The high-level component of TGPO proposes concrete time allocations
for these subgoals, and the low-level time-conditioned policy learns to achieve
the sequenced subgoals using a dense, stage-wise reward signal. During
inference, we sample various time allocations and select the most promising
assignment for the policy network to rollout the solution trajectory. To foster
efficient policy learning for complex STL with multiple subgoals, we leverage
the learned critic to guide the high-level temporal search via
Metropolis-Hastings sampling, focusing exploration on temporally feasible
solutions. We conduct experiments on five environments, ranging from
low-dimensional navigation to manipulation, drone, and quadrupedal locomotion.
Under a wide range of STL tasks, TGPO significantly outperforms
state-of-the-art baselines (especially for high-dimensional and long-horizon
cases), with an average of 31.6% improvement in task success rate compared to
the best baseline. The code will be available at
https://github.com/mengyuest/TGPO