DeepTravel: Un Framework di Apprendimento per Rinforzo Agente End-to-End per Agenti di Pianificazione Viaggi Autonomi

DeepTravel: An End-to-End Agentic Reinforcement Learning Framework for Autonomous Travel Planning Agents

September 26, 2025

Autori: Yansong Ning, Rui Liu, Jun Wang, Kai Chen, Wei Li, Jun Fang, Kan Zheng, Naiqiang Tan, Hao Liu

cs.AI

Abstract

L'agente di pianificazione dei viaggi (TP) è recentemente emerso come un componente fondamentale per interagire con strumenti e risorse esterne nella generazione di itinerari di viaggio, garantendo un'esperienza utente piacevole. Nonostante i suoi vantaggi, gli studi esistenti si basano su prompt creati manualmente e su flussi di lavoro fissi dell'agente, limitando la flessibilità e l'autonomia dell'agente TP. Questo articolo propone DeepTravel, un framework di apprendimento per rinforzo end-to-end per la costruzione di un agente autonomo di pianificazione dei viaggi, in grado di pianificare autonomamente, eseguire strumenti e riflettere sulle risposte degli strumenti per esplorare, verificare e affinare azioni intermedie in un ragionamento a più passaggi. Per raggiungere questo obiettivo, costruiamo prima un ambiente sandbox robusto memorizzando dati su trasporti, alloggi e punti di interesse (POI), facilitando l'addestramento dell'agente TP senza essere limitati dalle API del mondo reale (ad esempio, output inconsistenti). Inoltre, sviluppiamo un sistema di modellazione gerarchica delle ricompense, in cui un verificatore a livello di traiettoria controlla prima la fattibilità spazio-temporale e filtra gli itinerari insoddisfacenti, e poi un verificatore a livello di turno valida ulteriormente la coerenza dei dettagli dell'itinerario con le risposte degli strumenti, consentendo un servizio di ricompensa efficiente e preciso. Infine, proponiamo il metodo di apprendimento per rinforzo con replay aumentato che consente all'agente TP di ripetere periodicamente da un buffer di esperienze di fallimento, sviluppando una notevole capacità agentica. Distribuiamo l'agente TP addestrato sull'app DiDi Enterprise Solutions e conduiamo valutazioni online e offline complete, dimostrando che DeepTravel consente a LLM di piccole dimensioni (ad esempio, Qwen3 32B) di superare significativamente LLM all'avanguardia esistenti come OpenAI o1, o3 e DeepSeek R1 nei compiti di pianificazione dei viaggi.

English

Travel planning (TP) agent has recently worked as an emerging building block to interact with external tools and resources for travel itinerary generation, ensuring enjoyable user experience. Despite its benefits, existing studies rely on hand craft prompt and fixed agent workflow, hindering more flexible and autonomous TP agent. This paper proposes DeepTravel, an end to end agentic reinforcement learning framework for building autonomous travel planning agent, capable of autonomously planning, executing tools, and reflecting on tool responses to explore, verify, and refine intermediate actions in multi step reasoning. To achieve this, we first construct a robust sandbox environment by caching transportation, accommodation and POI data, facilitating TP agent training without being constrained by real world APIs limitations (e.g., inconsistent outputs). Moreover, we develop a hierarchical reward modeling system, where a trajectory level verifier first checks spatiotemporal feasibility and filters unsatisfied travel itinerary, and then the turn level verifier further validate itinerary detail consistency with tool responses, enabling efficient and precise reward service. Finally, we propose the reply augmented reinforcement learning method that enables TP agent to periodically replay from a failures experience buffer, emerging notable agentic capacity. We deploy trained TP agent on DiDi Enterprise Solutions App and conduct comprehensive online and offline evaluations, demonstrating that DeepTravel enables small size LLMs (e.g., Qwen3 32B) to significantly outperform existing frontier LLMs such as OpenAI o1, o3 and DeepSeek R1 in travel planning tasks.