DeepTravel: Een End-to-End Agentisch Reinforcement Learning Framework voor Autonome Reisplanningsagenten

DeepTravel: An End-to-End Agentic Reinforcement Learning Framework for Autonomous Travel Planning Agents

September 26, 2025

Auteurs: Yansong Ning, Rui Liu, Jun Wang, Kai Chen, Wei Li, Jun Fang, Kan Zheng, Naiqiang Tan, Hao Liu

cs.AI

Samenvatting

De reisplanningsagent (Travel Planning Agent, TP) is recentelijk naar voren gekomen als een belangrijk bouwblok voor het interacteren met externe tools en bronnen om reisitineraires te genereren, waarbij een prettige gebruikerservaring wordt gegarandeerd. Ondanks de voordelen vertrouwen bestaande studies op handmatig gemaakte prompts en vaste agentworkflows, wat een flexibelere en autonome TP-agent belemmert. Dit artikel introduceert DeepTravel, een end-to-end agentisch reinforcement learning-framework voor het bouwen van een autonome reisplanningsagent, die in staat is om autonoom te plannen, tools uit te voeren en te reflecteren op toolresponses om tussenliggende acties in meerstapsredenering te verkennen, verifiëren en verfijnen. Om dit te bereiken, construeren we eerst een robuuste sandbox-omgeving door transport-, accommodatie- en POI-gegevens te cachen, waardoor de training van de TP-agent niet wordt beperkt door beperkingen van echte API's (bijv. inconsistente outputs). Bovendien ontwikkelen we een hiërarchisch beloningsmodel, waarbij een trajectniveauverifier eerst de ruimtelijk-temporele haalbaarheid controleert en onbevredigende reisitineraires filtert, waarna de turnniveauverifier de consistentie van de itinerairedetails met de toolresponses verder valideert, wat een efficiënte en precieze beloningsdienst mogelijk maakt. Ten slotte introduceren we de reply-augmented reinforcement learning-methode, die de TP-agent in staat stelt om periodiek te herhalen vanuit een buffer met foutieve ervaringen, wat leidt tot een opmerkelijke agentische capaciteit. We implementeren de getrainde TP-agent in de DiDi Enterprise Solutions App en voeren uitgebreide online en offline evaluaties uit, waaruit blijkt dat DeepTravel kleine LLM's (bijv. Qwen3 32B) in staat stelt om aanzienlijk beter te presteren dan bestaande frontier LLM's zoals OpenAI o1, o3 en DeepSeek R1 in reisplannings taken.

English

Travel planning (TP) agent has recently worked as an emerging building block to interact with external tools and resources for travel itinerary generation, ensuring enjoyable user experience. Despite its benefits, existing studies rely on hand craft prompt and fixed agent workflow, hindering more flexible and autonomous TP agent. This paper proposes DeepTravel, an end to end agentic reinforcement learning framework for building autonomous travel planning agent, capable of autonomously planning, executing tools, and reflecting on tool responses to explore, verify, and refine intermediate actions in multi step reasoning. To achieve this, we first construct a robust sandbox environment by caching transportation, accommodation and POI data, facilitating TP agent training without being constrained by real world APIs limitations (e.g., inconsistent outputs). Moreover, we develop a hierarchical reward modeling system, where a trajectory level verifier first checks spatiotemporal feasibility and filters unsatisfied travel itinerary, and then the turn level verifier further validate itinerary detail consistency with tool responses, enabling efficient and precise reward service. Finally, we propose the reply augmented reinforcement learning method that enables TP agent to periodically replay from a failures experience buffer, emerging notable agentic capacity. We deploy trained TP agent on DiDi Enterprise Solutions App and conduct comprehensive online and offline evaluations, demonstrating that DeepTravel enables small size LLMs (e.g., Qwen3 32B) to significantly outperform existing frontier LLMs such as OpenAI o1, o3 and DeepSeek R1 in travel planning tasks.