DeepTravel: Сквозная агентная система обучения с подкреплением для автономных агентов планирования путешествий

DeepTravel: An End-to-End Agentic Reinforcement Learning Framework for Autonomous Travel Planning Agents

September 26, 2025

Авторы: Yansong Ning, Rui Liu, Jun Wang, Kai Chen, Wei Li, Jun Fang, Kan Zheng, Naiqiang Tan, Hao Liu

cs.AI

Аннотация

Агент планирования путешествий (Travel Planning, TP) недавно стал важным компонентом для взаимодействия с внешними инструментами и ресурсами при создании маршрутов, обеспечивая приятный пользовательский опыт. Несмотря на свои преимущества, существующие исследования опираются на ручное создание подсказок и фиксированные рабочие процессы агента, что ограничивает гибкость и автономность TP-агента. В данной статье предлагается DeepTravel, сквозная фреймворк агентного обучения с подкреплением для создания автономного агента планирования путешествий, способного самостоятельно планировать, выполнять инструменты и анализировать их ответы для исследования, проверки и уточнения промежуточных действий в многошаговых рассуждениях. Для достижения этого мы сначала создаем надежную песочницу, кэшируя данные о транспорте, жилье и достопримечательностях, что облегчает обучение TP-агента без ограничений, связанных с реальными API (например, нестабильными выходами). Кроме того, мы разрабатываем иерархическую систему моделирования вознаграждений, где проверка на уровне траектории сначала оценивает пространственно-временную осуществимость и отфильтровывает неудовлетворительные маршруты, а затем проверка на уровне шага дополнительно подтверждает согласованность деталей маршрута с ответами инструментов, обеспечивая эффективное и точное вознаграждение. Наконец, мы предлагаем метод обучения с подкреплением с усилением ответов, который позволяет TP-агенту периодически повторять опыт из буфера ошибок, развивая значительные агентные способности. Мы развертываем обученного TP-агента в приложении DiDi Enterprise Solutions и проводим всесторонние онлайн- и офлайн-оценки, демонстрируя, что DeepTravel позволяет небольшим языковым моделям (например, Qwen3 32B) значительно превосходить существующие передовые модели, такие как OpenAI o1, o3 и DeepSeek R1, в задачах планирования путешествий.

English

Travel planning (TP) agent has recently worked as an emerging building block to interact with external tools and resources for travel itinerary generation, ensuring enjoyable user experience. Despite its benefits, existing studies rely on hand craft prompt and fixed agent workflow, hindering more flexible and autonomous TP agent. This paper proposes DeepTravel, an end to end agentic reinforcement learning framework for building autonomous travel planning agent, capable of autonomously planning, executing tools, and reflecting on tool responses to explore, verify, and refine intermediate actions in multi step reasoning. To achieve this, we first construct a robust sandbox environment by caching transportation, accommodation and POI data, facilitating TP agent training without being constrained by real world APIs limitations (e.g., inconsistent outputs). Moreover, we develop a hierarchical reward modeling system, where a trajectory level verifier first checks spatiotemporal feasibility and filters unsatisfied travel itinerary, and then the turn level verifier further validate itinerary detail consistency with tool responses, enabling efficient and precise reward service. Finally, we propose the reply augmented reinforcement learning method that enables TP agent to periodically replay from a failures experience buffer, emerging notable agentic capacity. We deploy trained TP agent on DiDi Enterprise Solutions App and conduct comprehensive online and offline evaluations, demonstrating that DeepTravel enables small size LLMs (e.g., Qwen3 32B) to significantly outperform existing frontier LLMs such as OpenAI o1, o3 and DeepSeek R1 in travel planning tasks.