VLS: Управление предварительно обученными политиками роботов с помощью моделей «визуальный язык»
VLS: Steering Pretrained Robot Policies via Vision-Language Models
February 3, 2026
Авторы: Shuo Liu, Ishneet Sukhvinder Singh, Yiqing Xu, Jiafei Duan, Ranjay Krishna
cs.AI
Аннотация
Почему предобученные политики диффузии или согласования потоков терпят неудачу при выполнении той же задачи вблизи препятствия, на смещенной опорной поверхности или в условиях легкого беспорядка? Такие сбои редко отражают отсутствие моторных навыков; вместо этого они выявляют ограничение обучения с подражанием при сдвигах между обучением и тестированием, когда генерация действий тесно связана со специфичными для обучения пространственными конфигурациями и постановками задач. Переобучение или дообучение для устранения этих сбоев является затратным и концептуально неверным, поскольку требуемые поведения уже существуют, но не могут быть выборочно адаптированы во время тестирования. Мы предлагаем Vision-Language Steering (VLS) — не требующую дообучения структуру для адаптации на этапе вывода замороженных генеративных роботизированных политик. VLS рассматривает адаптацию как проблему управления на этапе вывода, направляя процесс сэмплирования предобученной политики диффузии или согласования потоков в ответ на входные данные (наблюдение-язык) вне распределения обучения без изменения параметров политики. Используя Vision-Language модели для синтеза дифференцируемых по траектории функций вознаграждения, VLS направляет удаление шума к траекториям действий, которые удовлетворяют пространственным и task-требованиям времени тестирования. В симуляциях и натурных экспериментах VLS стабильно превосходит предыдущие методы управления, демонстрируя улучшение на 31% на CALVIN и на 13% на LIBERO-PRO. Развертывание в реальном мире на роботе Franka дополнительно демонстрирует надежную адаптацию на этапе вывода при пространственных и семантических сдвигах во время тестирования. Страница проекта: https://vision-language-steering.github.io/webpage/
English
Why do pretrained diffusion or flow-matching policies fail when the same task is performed near an obstacle, on a shifted support surface, or amid mild clutter? Such failures rarely reflect missing motor skills; instead, they expose a limitation of imitation learning under train-test shifts, where action generation is tightly coupled to training-specific spatial configurations and task specifications. Retraining or fine-tuning to address these failures is costly and conceptually misaligned, as the required behaviors already exist but cannot be selectively adapted at test time. We propose Vision-Language Steering (VLS), a training-free framework for inference-time adaptation of frozen generative robot policies. VLS treats adaptation as an inference-time control problem, steering the sampling process of a pretrained diffusion or flow-matching policy in response to out-of-distribution observation-language inputs without modifying policy parameters. By leveraging vision-language models to synthesize trajectory-differentiable reward functions, VLS guides denoising toward action trajectories that satisfy test-time spatial and task requirements. Across simulation and real-world evaluations, VLS consistently outperforms prior steering methods, achieving a 31% improvement on CALVIN and a 13% gain on LIBERO-PRO. Real-world deployment on a Franka robot further demonstrates robust inference-time adaptation under test-time spatial and semantic shifts. Project page: https://vision-language-steering.github.io/webpage/