FlowR2A : Apprentissage de la distribution récompense-action pour la planification de conduite multimodale

Résumé

La planification multimodale de conduite est confrontée à une tension persistante entre deux paradigmes : les méthodes basées sur le scoring bénéficient d'une supervision dense par récompenses mais restent confinées à un vocabulaire d'actions fixe, tandis que les méthodes basées sur des ancres génèrent des propositions de manière dynamique mais souffrent d'une supervision parcimonieuse limitée à une seule trajectoire de référence. Dans ce travail, nous proposons FlowR2A, qui résout cette tension en recadrant les récompenses basées sur la simulation, passant de cibles discriminatives à des conditions génératives. En apprenant la distribution d'actions conditionnée par la récompense à partir de paires denses trajectoire-récompense à l'aide d'un décodeur par appariement de flux, FlowR2A unifie la supervision dense des méthodes basées sur le scoring avec la génération de propositions des méthodes basées sur des ancres au sein d'un unique modèle génératif, contraignant le modèle à internaliser la corrélation entre une action et ses conséquences en matière de sécurité, de progression, de confort et de respect des règles. Pour équilibrer les contraintes strictes de sécurité avec les objectifs souples de progression, nous introduisons un conditionnement par récompense à granularité fine à chaque pas de temps ainsi qu'une augmentation par bruit de récompense. La formulation générative supporte naturellement un échantillonnage contrôlable en phase de test via un guidage par récompense et un échantillonnage ancré, produisant des propositions de haute qualité. FlowR2A atteint des résultats de pointe sur les benchmarks NAVSIM v1 et v2, avec des propositions multimodales d'une qualité nettement supérieure à celle des méthodes antérieures.

English

Multimodal driving planning faces a long-standing tension between two paradigms: scoring-based methods benefit from dense reward supervision but are confined to a fixed action vocabulary, while anchor-based methods generate proposals dynamically yet suffer from sparse supervision constrained to a single ground-truth trajectory. In this work, we propose FlowR2A, which resolves this tension by reframing simulation-based rewards from discriminative targets into generative conditions. By learning the reward-conditioned action distribution from dense trajectory-reward pairs with a flow-matching decoder, FlowR2A unifies the dense supervision of scoring-based methods with the proposal generation of anchor-based methods in a single generative model, forcing the model to internalize the correlation between an action and its outcomes in safety, progress, comfort, and rule compliance. To balance hard safety constraints against soft progress objectives, we introduce fine-grained per-timestep reward conditioning and reward noise augmentation. The generative formulation naturally supports controllable test-time sampling via reward guidance and anchored sampling, producing high-quality proposals. FlowR2A achieves state-of-the-art results on the NAVSIM v1 and v2 benchmarks, with multimodal proposals of substantially higher quality than prior methods.