DRIFT : Un adaptateur de flot résiduel pour le décodage de sorties continues dans les modèles vision-langage

Résumé

De nombreux modèles vision-langage (MVL) modernes reposent sur le décodage autorégressif de tokens discrets. Bien que les interfaces de sortie textuelles permettent un pré-entraînement à grande échelle et une forte généralisation zéro-shot à travers diverses tâches, elles sont mal adaptées aux problèmes nécessitant des sorties continues précises, comme la localisation des limites temporelles d'événements ou la génération d'actions de contrôle robotique. Pour relever ce défi, nous proposons DRIFT, un cadre général pour adapter les MVL pré-entraînés à des tâches de décodage continu. DRIFT combine un prédicteur de base, qui fournit une estimation grossière de la sortie cible, avec un module de raffinement génératif basé sur le flow matching qui améliore itérativement la prédiction. Cette formulation résiduelle transforme le problème de modélisation générative, passant de l'apprentissage d'une distribution de sortie globale à la modélisation d'une distribution résiduelle localisée autour d'un a priori fort, simplifiant considérablement l'optimisation. Nous évaluons DRIFT sur des tâches de perception et de planification, notamment l'ancrage visuel et le contrôle robotique. À travers plusieurs tâches et architectures couvrant les MLLM, les VLA et les WAM, DRIFT surpasse systématiquement un ensemble solide de solutions basées sur la régression et la génération.

English

Many modern vision-language models (VLMs) build on autoregressive decoding of discrete tokens. While text-based output interfaces enable scalable pretraining and strong zero-shot generalization across diverse tasks, they are poorly suited for problems that require precise continuous outputs, such as localizing temporal boundaries of events or generating robotic control actions. To address this challenge, we propose DRIFT, a general framework for adapting pretrained VLMs to continuous decoding tasks. DRIFT combines a base predictor, which provides a coarse estimate of the target output, with a generative refinement module based on flow matching that iteratively improves the prediction. This residual formulation transforms the generative modeling problem from learning a global output distribution to modeling a localized residual distribution around a strong prior, substantially simplifying optimization. We evaluate DRIFT on both perception and planning tasks, including visual grounding and robotic control. Across multiple tasks and architectures spanning MLLMs, VLAs, and WAMs, DRIFT consistently outperforms a strong set of regression- and generative-based solutions.