TGPO: Otimização de Política Temporal Fundamentada para Tarefas de Lógica Temporal de Sinais
TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks
September 30, 2025
Autores: Yue Meng, Fei Chen, Chuchu Fan
cs.AI
Resumo
Aprender políticas de controle para tarefas complexas e de longo horizonte é um desafio central em robótica e sistemas autônomos. A Lógica Temporal de Sinais (Signal Temporal Logic - STL) oferece uma linguagem poderosa e expressiva para especificar tais tarefas, mas sua natureza não-Markoviana e recompensas inerentemente esparsas tornam difícil sua resolução por meio de algoritmos padrão de Aprendizado por Reforço (Reinforcement Learning - RL). Abordagens anteriores de RL focam apenas em fragmentos limitados de STL ou utilizam escores de robustez de STL como recompensas terminais esparsas. Neste artigo, propomos o TGPO, Temporal Grounded Policy Optimization, para resolver tarefas gerais de STL. O TGPO decompõe a STL em subobjetivos temporizados e restrições invariantes, fornecendo uma estrutura hierárquica para abordar o problema. O componente de alto nível do TGPO propõe alocações de tempo concretas para esses subobjetivos, e a política de baixo nível condicionada ao tempo aprende a alcançar os subobjetivos sequenciados usando um sinal de recompensa denso e por estágios. Durante a inferência, amostramos várias alocações de tempo e selecionamos a atribuição mais promissora para a rede de política executar a trajetória da solução. Para promover o aprendizado eficiente de políticas para STL complexa com múltiplos subobjetivos, aproveitamos o crítico aprendido para guiar a busca temporal de alto nível por meio de amostragem Metropolis-Hastings, focando a exploração em soluções temporalmente viáveis. Realizamos experimentos em cinco ambientes, variando de navegação de baixa dimensão a manipulação, drones e locomoção quadrupedal. Sob uma ampla gama de tarefas de STL, o TGPO supera significativamente os métodos de referência mais avançados (especialmente para casos de alta dimensionalidade e longo horizonte), com uma melhoria média de 31,6% na taxa de sucesso da tarefa em comparação com o melhor baseline. O código estará disponível em https://github.com/mengyuest/TGPO.
English
Learning control policies for complex, long-horizon tasks is a central
challenge in robotics and autonomous systems. Signal Temporal Logic (STL)
offers a powerful and expressive language for specifying such tasks, but its
non-Markovian nature and inherent sparse reward make it difficult to be solved
via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus
only on limited STL fragments or use STL robustness scores as sparse terminal
rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization,
to solve general STL tasks. TGPO decomposes STL into timed subgoals and
invariant constraints and provides a hierarchical framework to tackle the
problem. The high-level component of TGPO proposes concrete time allocations
for these subgoals, and the low-level time-conditioned policy learns to achieve
the sequenced subgoals using a dense, stage-wise reward signal. During
inference, we sample various time allocations and select the most promising
assignment for the policy network to rollout the solution trajectory. To foster
efficient policy learning for complex STL with multiple subgoals, we leverage
the learned critic to guide the high-level temporal search via
Metropolis-Hastings sampling, focusing exploration on temporally feasible
solutions. We conduct experiments on five environments, ranging from
low-dimensional navigation to manipulation, drone, and quadrupedal locomotion.
Under a wide range of STL tasks, TGPO significantly outperforms
state-of-the-art baselines (especially for high-dimensional and long-horizon
cases), with an average of 31.6% improvement in task success rate compared to
the best baseline. The code will be available at
https://github.com/mengyuest/TGPO