DeepTravel : Un cadre d'apprentissage par renforcement agentique de bout en bout pour des agents autonomes de planification de voyage

DeepTravel: An End-to-End Agentic Reinforcement Learning Framework for Autonomous Travel Planning Agents

September 26, 2025

papers.authors: Yansong Ning, Rui Liu, Jun Wang, Kai Chen, Wei Li, Jun Fang, Kan Zheng, Naiqiang Tan, Hao Liu

cs.AI

papers.abstract

L'agent de planification de voyage (Travel Planning, TP) est récemment devenu un élément clé émergent pour interagir avec des outils et ressources externes afin de générer des itinéraires de voyage, garantissant une expérience utilisateur agréable. Malgré ses avantages, les études existantes reposent sur des prompts artisanaux et des workflows d'agents fixes, limitant ainsi la flexibilité et l'autonomie des agents TP. Cet article propose DeepTravel, un cadre d'apprentissage par renforcement agentique de bout en bout pour construire un agent de planification de voyage autonome, capable de planifier de manière autonome, d'exécuter des outils et de réfléchir aux réponses des outils pour explorer, vérifier et affiner les actions intermédiaires dans un raisonnement à plusieurs étapes. Pour y parvenir, nous construisons d'abord un environnement sandbox robuste en mettant en cache les données de transport, d'hébergement et de points d'intérêt (POI), facilitant ainsi l'entraînement de l'agent TP sans être contraint par les limitations des API du monde réel (par exemple, des sorties incohérentes). De plus, nous développons un système de modélisation de récompenses hiérarchique, où un vérificateur au niveau de la trajectoire vérifie d'abord la faisabilité spatio-temporelle et filtre les itinéraires insatisfaisants, puis un vérificateur au niveau du tour valide davantage la cohérence des détails de l'itinéraire avec les réponses des outils, permettant un service de récompense efficace et précis. Enfin, nous proposons la méthode d'apprentissage par renforcement augmenté par relecture, qui permet à l'agent TP de rejouer périodiquement à partir d'un tampon d'expériences d'échecs, développant ainsi une capacité agentique notable. Nous déployons l'agent TP entraîné sur l'application DiDi Enterprise Solutions et menons des évaluations complètes en ligne et hors ligne, démontrant que DeepTravel permet à des modèles de langage de petite taille (par exemple, Qwen3 32B) de surpasser significativement les modèles de langage de pointe existants tels qu'OpenAI o1, o3 et DeepSeek R1 dans les tâches de planification de voyage.

English

Travel planning (TP) agent has recently worked as an emerging building block to interact with external tools and resources for travel itinerary generation, ensuring enjoyable user experience. Despite its benefits, existing studies rely on hand craft prompt and fixed agent workflow, hindering more flexible and autonomous TP agent. This paper proposes DeepTravel, an end to end agentic reinforcement learning framework for building autonomous travel planning agent, capable of autonomously planning, executing tools, and reflecting on tool responses to explore, verify, and refine intermediate actions in multi step reasoning. To achieve this, we first construct a robust sandbox environment by caching transportation, accommodation and POI data, facilitating TP agent training without being constrained by real world APIs limitations (e.g., inconsistent outputs). Moreover, we develop a hierarchical reward modeling system, where a trajectory level verifier first checks spatiotemporal feasibility and filters unsatisfied travel itinerary, and then the turn level verifier further validate itinerary detail consistency with tool responses, enabling efficient and precise reward service. Finally, we propose the reply augmented reinforcement learning method that enables TP agent to periodically replay from a failures experience buffer, emerging notable agentic capacity. We deploy trained TP agent on DiDi Enterprise Solutions App and conduct comprehensive online and offline evaluations, demonstrating that DeepTravel enables small size LLMs (e.g., Qwen3 32B) to significantly outperform existing frontier LLMs such as OpenAI o1, o3 and DeepSeek R1 in travel planning tasks.