TGPO: Временная оптимизация политик с привязкой к сигнальной временной логике для задач
TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks
September 30, 2025
Авторы: Yue Meng, Fei Chen, Chuchu Fan
cs.AI
Аннотация
Обучение стратегий управления для сложных задач с длительным горизонтом является ключевой проблемой в робототехнике и автономных системах. Временная логика сигналов (Signal Temporal Logic, STL) предоставляет мощный и выразительный язык для спецификации таких задач, однако её немарковская природа и присущая ей разреженность наград делают её сложной для решения с помощью стандартных алгоритмов обучения с подкреплением (Reinforcement Learning, RL). Предыдущие подходы RL фокусировались только на ограниченных фрагментах STL или использовали оценки устойчивости STL в качестве разреженных терминальных наград. В данной работе мы предлагаем TGPO (Temporal Grounded Policy Optimization) для решения общих задач STL. TGPO декомпозирует STL на временные подцели и инвариантные ограничения и предоставляет иерархическую структуру для решения задачи. Высокоуровневый компонент TGPO предлагает конкретные временные распределения для этих подцелей, а низкоуровневая стратегия, зависящая от времени, обучается достижению последовательных подцелей с использованием плотной, поэтапной награды. В процессе вывода мы выбираем различные временные распределения и выбираем наиболее перспективное назначение для сети стратегии, чтобы развернуть траекторию решения. Для эффективного обучения стратегий для сложных задач STL с множеством подцелей мы используем обученный критик для направления высокоуровневого временного поиска через выборку Метрополиса-Хастингса, фокусируя исследование на временно осуществимых решениях. Мы проводим эксперименты в пяти средах, начиная от низкоразмерной навигации до манипуляции, управления дронами и передвижения четвероногих роботов. В широком спектре задач STL TGPO значительно превосходит современные базовые методы (особенно для высокоразмерных и длительных случаев), с улучшением средней успешности выполнения задач на 31,6% по сравнению с лучшим базовым методом. Код будет доступен по адресу https://github.com/mengyuest/TGPO.
English
Learning control policies for complex, long-horizon tasks is a central
challenge in robotics and autonomous systems. Signal Temporal Logic (STL)
offers a powerful and expressive language for specifying such tasks, but its
non-Markovian nature and inherent sparse reward make it difficult to be solved
via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus
only on limited STL fragments or use STL robustness scores as sparse terminal
rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization,
to solve general STL tasks. TGPO decomposes STL into timed subgoals and
invariant constraints and provides a hierarchical framework to tackle the
problem. The high-level component of TGPO proposes concrete time allocations
for these subgoals, and the low-level time-conditioned policy learns to achieve
the sequenced subgoals using a dense, stage-wise reward signal. During
inference, we sample various time allocations and select the most promising
assignment for the policy network to rollout the solution trajectory. To foster
efficient policy learning for complex STL with multiple subgoals, we leverage
the learned critic to guide the high-level temporal search via
Metropolis-Hastings sampling, focusing exploration on temporally feasible
solutions. We conduct experiments on five environments, ranging from
low-dimensional navigation to manipulation, drone, and quadrupedal locomotion.
Under a wide range of STL tasks, TGPO significantly outperforms
state-of-the-art baselines (especially for high-dimensional and long-horizon
cases), with an average of 31.6% improvement in task success rate compared to
the best baseline. The code will be available at
https://github.com/mengyuest/TGPO