TGPO: Optimización de Políticas Temporalmente Fundamentadas para Tareas de Lógica Temporal de Señales
TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks
September 30, 2025
Autores: Yue Meng, Fei Chen, Chuchu Fan
cs.AI
Resumen
El aprendizaje de políticas de control para tareas complejas y de largo horizonte es un desafío central en robótica y sistemas autónomos. La Lógica Temporal de Señales (STL, por sus siglas en inglés) ofrece un lenguaje potente y expresivo para especificar dichas tareas, pero su naturaleza no markoviana y las recompensas inherentemente dispersas dificultan su resolución mediante algoritmos estándar de Aprendizaje por Refuerzo (RL, por sus siglas en inglés). Los enfoques previos de RL se centran únicamente en fragmentos limitados de STL o utilizan puntuaciones de robustez de STL como recompensas terminales dispersas. En este artículo, proponemos TGPO, Optimización de Políticas Temporalmente Fundamentadas, para resolver tareas generales de STL. TGPO descompone STL en subobjetivos temporales y restricciones invariantes, y proporciona un marco jerárquico para abordar el problema. El componente de alto nivel de TGPO propone asignaciones de tiempo concretas para estos subobjetivos, y la política condicionada por el tiempo de bajo nivel aprende a alcanzar los subobjetivos secuenciados utilizando una señal de recompensa densa y por etapas. Durante la inferencia, muestreamos varias asignaciones de tiempo y seleccionamos la más prometedora para que la red de políticas despliegue la trayectoria de la solución. Para fomentar un aprendizaje eficiente de políticas para STL complejas con múltiples subobjetivos, aprovechamos el crítico aprendido para guiar la búsqueda temporal de alto nivel mediante muestreo de Metropolis-Hastings, enfocando la exploración en soluciones temporalmente factibles. Realizamos experimentos en cinco entornos, que van desde navegación de baja dimensión hasta manipulación, drones y locomoción cuadrúpeda. Bajo una amplia gama de tareas de STL, TGPO supera significativamente a los métodos de referencia más avanzados (especialmente en casos de alta dimensionalidad y largo horizonte), con una mejora promedio del 31.6% en la tasa de éxito de la tarea en comparación con el mejor método de referencia. El código estará disponible en https://github.com/mengyuest/TGPO.
English
Learning control policies for complex, long-horizon tasks is a central
challenge in robotics and autonomous systems. Signal Temporal Logic (STL)
offers a powerful and expressive language for specifying such tasks, but its
non-Markovian nature and inherent sparse reward make it difficult to be solved
via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus
only on limited STL fragments or use STL robustness scores as sparse terminal
rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization,
to solve general STL tasks. TGPO decomposes STL into timed subgoals and
invariant constraints and provides a hierarchical framework to tackle the
problem. The high-level component of TGPO proposes concrete time allocations
for these subgoals, and the low-level time-conditioned policy learns to achieve
the sequenced subgoals using a dense, stage-wise reward signal. During
inference, we sample various time allocations and select the most promising
assignment for the policy network to rollout the solution trajectory. To foster
efficient policy learning for complex STL with multiple subgoals, we leverage
the learned critic to guide the high-level temporal search via
Metropolis-Hastings sampling, focusing exploration on temporally feasible
solutions. We conduct experiments on five environments, ranging from
low-dimensional navigation to manipulation, drone, and quadrupedal locomotion.
Under a wide range of STL tasks, TGPO significantly outperforms
state-of-the-art baselines (especially for high-dimensional and long-horizon
cases), with an average of 31.6% improvement in task success rate compared to
the best baseline. The code will be available at
https://github.com/mengyuest/TGPO