FlowR2A: Aprendendo Distribuição de Recompensa para Ação para Planejamento de Condução Multimodal

Resumo

O planejamento multimodal de direção enfrenta uma tensão de longa data entre dois paradigmas: métodos baseados em pontuação se beneficiam de supervisão densa de recompensas, mas ficam confinados a um vocabulário fixo de ações, enquanto métodos baseados em âncoras geram propostas dinamicamente, mas sofrem com supervisão esparsa restrita a uma única trajetória de referência verdadeira. Neste trabalho, propomos o FlowR2A, que resolve essa tensão ao reformular recompensas baseadas em simulação, transformando alvos discriminativos em condições generativas. Ao aprender a distribuição de ações condicionada por recompensa a partir de pares densos trajetória-recompensa com um decodificador de correspondência de fluxo, o FlowR2A unifica a supervisão densa dos métodos baseados em pontuação com a geração de propostas dos métodos baseados em âncoras em um único modelo generativo, forçando o modelo a internalizar a correlação entre uma ação e seus resultados em termos de segurança, progresso, conforto e conformidade com regras. Para equilibrar restrições rígidas de segurança com objetivos flexíveis de progresso, introduzimos condicionamento de recompensa por etapa de tempo granular e aumento de ruído de recompensa. A formulação generativa suporta naturalmente amostragem controlável durante o teste via orientação por recompensa e amostragem âncora, produzindo propostas de alta qualidade. O FlowR2A alcança resultados de ponta nos benchmarks NAVSIM v1 e v2, com propostas multimodais de qualidade substancialmente superior aos métodos anteriores.

English

Multimodal driving planning faces a long-standing tension between two paradigms: scoring-based methods benefit from dense reward supervision but are confined to a fixed action vocabulary, while anchor-based methods generate proposals dynamically yet suffer from sparse supervision constrained to a single ground-truth trajectory. In this work, we propose FlowR2A, which resolves this tension by reframing simulation-based rewards from discriminative targets into generative conditions. By learning the reward-conditioned action distribution from dense trajectory-reward pairs with a flow-matching decoder, FlowR2A unifies the dense supervision of scoring-based methods with the proposal generation of anchor-based methods in a single generative model, forcing the model to internalize the correlation between an action and its outcomes in safety, progress, comfort, and rule compliance. To balance hard safety constraints against soft progress objectives, we introduce fine-grained per-timestep reward conditioning and reward noise augmentation. The generative formulation naturally supports controllable test-time sampling via reward guidance and anchored sampling, producing high-quality proposals. FlowR2A achieves state-of-the-art results on the NAVSIM v1 and v2 benchmarks, with multimodal proposals of substantially higher quality than prior methods.