DeepTravel: Um Framework de Aprendizado por Reforço Agente de Ponta a Ponta para Agentes Autônomos de Planejamento de Viagens

DeepTravel: An End-to-End Agentic Reinforcement Learning Framework for Autonomous Travel Planning Agents

September 26, 2025

Autores: Yansong Ning, Rui Liu, Jun Wang, Kai Chen, Wei Li, Jun Fang, Kan Zheng, Naiqiang Tan, Hao Liu

cs.AI

Resumo

O agente de planejamento de viagens (TP) tem atuado recentemente como um bloco de construção emergente para interagir com ferramentas e recursos externos na geração de itinerários de viagem, garantindo uma experiência agradável ao usuário. Apesar de seus benefícios, os estudos existentes dependem de prompts manuais e fluxos de trabalho fixos do agente, limitando a criação de um agente de TP mais flexível e autônomo. Este artigo propõe o DeepTravel, uma estrutura de aprendizado por reforço agentica de ponta a ponta para a construção de um agente autônomo de planejamento de viagens, capaz de planejar, executar ferramentas e refletir sobre as respostas das ferramentas para explorar, verificar e refinar ações intermediárias em raciocínios de múltiplos passos. Para isso, primeiro construímos um ambiente sandbox robusto, armazenando em cache dados de transporte, hospedagem e pontos de interesse (POI), facilitando o treinamento do agente de TP sem as limitações das APIs do mundo real (por exemplo, saídas inconsistentes). Além disso, desenvolvemos um sistema hierárquico de modelagem de recompensas, onde um verificador de nível de trajetória primeiro verifica a viabilidade espaço-temporal e filtra itinerários insatisfatórios, e então o verificador de nível de turno valida a consistência dos detalhes do itinerário com as respostas das ferramentas, permitindo um serviço de recompensa eficiente e preciso. Por fim, propomos o método de aprendizado por reforço aumentado por repetição, que permite ao agente de TP revisitar periodicamente um buffer de experiências de falhas, desenvolvendo uma capacidade agentica notável. Implantamos o agente de TP treinado no aplicativo DiDi Enterprise Solutions e realizamos avaliações abrangentes online e offline, demonstrando que o DeepTravel permite que modelos de linguagem pequenos (por exemplo, Qwen3 32B) superem significativamente modelos de linguagem de ponta existentes, como OpenAI o1, o3 e DeepSeek R1, em tarefas de planejamento de viagens.

English

Travel planning (TP) agent has recently worked as an emerging building block to interact with external tools and resources for travel itinerary generation, ensuring enjoyable user experience. Despite its benefits, existing studies rely on hand craft prompt and fixed agent workflow, hindering more flexible and autonomous TP agent. This paper proposes DeepTravel, an end to end agentic reinforcement learning framework for building autonomous travel planning agent, capable of autonomously planning, executing tools, and reflecting on tool responses to explore, verify, and refine intermediate actions in multi step reasoning. To achieve this, we first construct a robust sandbox environment by caching transportation, accommodation and POI data, facilitating TP agent training without being constrained by real world APIs limitations (e.g., inconsistent outputs). Moreover, we develop a hierarchical reward modeling system, where a trajectory level verifier first checks spatiotemporal feasibility and filters unsatisfied travel itinerary, and then the turn level verifier further validate itinerary detail consistency with tool responses, enabling efficient and precise reward service. Finally, we propose the reply augmented reinforcement learning method that enables TP agent to periodically replay from a failures experience buffer, emerging notable agentic capacity. We deploy trained TP agent on DiDi Enterprise Solutions App and conduct comprehensive online and offline evaluations, demonstrating that DeepTravel enables small size LLMs (e.g., Qwen3 32B) to significantly outperform existing frontier LLMs such as OpenAI o1, o3 and DeepSeek R1 in travel planning tasks.