TGPO: 시그널 시간 논리 작업을 위한 시간 기반 정책 최적화
TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks
September 30, 2025
저자: Yue Meng, Fei Chen, Chuchu Fan
cs.AI
초록
복잡하고 장기적인 작업에 대한 제어 정책을 학습하는 것은 로보틱스와 자율 시스템 분야의 핵심적인 과제입니다. 시그널 템포럴 로직(Signal Temporal Logic, STL)은 이러한 작업을 명세하기 위한 강력하고 표현력 있는 언어를 제공하지만, 비마르코프적 특성과 내재적인 희소 보상으로 인해 표준 강화 학습(Reinforcement Learning, RL) 알고리즘으로 해결하기 어렵습니다. 기존의 RL 접근법들은 제한된 STL 조각에만 초점을 맞추거나 STL 견고성 점수를 희소한 최종 보상으로 사용했습니다. 본 논문에서는 일반적인 STL 작업을 해결하기 위해 TGPO(Temporal Grounded Policy Optimization)를 제안합니다. TGPO는 STL을 시간 기반 하위 목표와 불변 제약 조건으로 분해하고, 이를 해결하기 위한 계층적 프레임워크를 제공합니다. TGPO의 상위 수준 구성 요소는 이러한 하위 목표에 대한 구체적인 시간 할당을 제안하고, 하위 수준의 시간 조건부 정책은 밀집된 단계별 보상 신호를 사용하여 순차적인 하위 목표를 달성하도록 학습합니다. 추론 과정에서는 다양한 시간 할당을 샘플링하고, 정책 네트워크가 솔루션 궤적을 실행할 수 있도록 가장 유망한 할당을 선택합니다. 다중 하위 목표를 가진 복잡한 STL에 대한 효율적인 정책 학습을 촉진하기 위해, 학습된 비평가를 활용하여 메트로폴리스-헤이스팅스 샘플링을 통해 상위 수준의 시간 탐색을 안내하고, 시간적으로 실현 가능한 솔루션에 탐색을 집중합니다. 저차원 내비게이션부터 조작, 드론, 그리고 사족 보행에 이르는 다섯 가지 환경에서 실험을 진행했습니다. 다양한 STL 작업에서 TGPO는 특히 고차원 및 장기간의 경우에서 최신 베이스라인을 크게 능가하며, 최고 베이스라인 대비 작업 성공률에서 평균 31.6%의 향상을 보였습니다. 코드는 https://github.com/mengyuest/TGPO에서 확인할 수 있습니다.
English
Learning control policies for complex, long-horizon tasks is a central
challenge in robotics and autonomous systems. Signal Temporal Logic (STL)
offers a powerful and expressive language for specifying such tasks, but its
non-Markovian nature and inherent sparse reward make it difficult to be solved
via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus
only on limited STL fragments or use STL robustness scores as sparse terminal
rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization,
to solve general STL tasks. TGPO decomposes STL into timed subgoals and
invariant constraints and provides a hierarchical framework to tackle the
problem. The high-level component of TGPO proposes concrete time allocations
for these subgoals, and the low-level time-conditioned policy learns to achieve
the sequenced subgoals using a dense, stage-wise reward signal. During
inference, we sample various time allocations and select the most promising
assignment for the policy network to rollout the solution trajectory. To foster
efficient policy learning for complex STL with multiple subgoals, we leverage
the learned critic to guide the high-level temporal search via
Metropolis-Hastings sampling, focusing exploration on temporally feasible
solutions. We conduct experiments on five environments, ranging from
low-dimensional navigation to manipulation, drone, and quadrupedal locomotion.
Under a wide range of STL tasks, TGPO significantly outperforms
state-of-the-art baselines (especially for high-dimensional and long-horizon
cases), with an average of 31.6% improvement in task success rate compared to
the best baseline. The code will be available at
https://github.com/mengyuest/TGPO