Механистическая интерпретируемость для управления моделями "зрение-язык-действие"

Mechanistic interpretability for steering vision-language-action models

August 30, 2025

Авторы: Bear Häon, Kaylene Stocking, Ian Chuang, Claire Tomlin

cs.AI

Аннотация

Модели Vision-Language-Action (VLA) представляют собой перспективное направление для создания универсальных воплощенных агентов, способных быстро адаптироваться к новым задачам, модальностям и окружениям. Однако методы интерпретации и управления VLA значительно уступают классическим робототехническим подходам, основанным на явных моделях кинематики, динамики и управления. Отсутствие механистического понимания является ключевой проблемой для внедрения обученных политик в реальных робототехнических системах, где критически важны надежность и объяснимость. Вдохновленные достижениями в области механистической интерпретируемости больших языковых моделей, мы представляем первую структуру для интерпретации и управления VLA через их внутренние представления, что позволяет напрямую вмешиваться в поведение модели во время вывода. Мы проецируем прямые активации в слоях трансформеров на базис токенов, выявляя разреженные семантические направления — такие как скорость и направление, — которые причинно связаны с выбором действий. Используя эти результаты, мы предлагаем универсальный метод управления активациями, который модулирует поведение в реальном времени без тонкой настройки, сигналов вознаграждения или взаимодействия с окружением. Мы оцениваем этот метод на двух недавно опубликованных моделях VLA, Pi0 и OpenVLA, и демонстрируем управление поведением в симуляции (LIBERO) и на физическом роботе (UR5) без дополнительного обучения. Эта работа показывает, что интерпретируемые компоненты воплощенных моделей VLA могут быть систематически использованы для управления, устанавливая новую парадигму прозрачных и управляемых базовых моделей в робототехнике.

English

Vision-Language-Action (VLA) models are a promising path to realizing generalist embodied agents that can quickly adapt to new tasks, modalities, and environments. However, methods for interpreting and steering VLAs fall far short of classical robotics pipelines, which are grounded in explicit models of kinematics, dynamics, and control. This lack of mechanistic insight is a central challenge for deploying learned policies in real-world robotics, where robustness and explainability are critical. Motivated by advances in mechanistic interpretability for large language models, we introduce the first framework for interpreting and steering VLAs via their internal representations, enabling direct intervention in model behavior at inference time. We project feedforward activations within transformer layers onto the token embedding basis, identifying sparse semantic directions - such as speed and direction - that are causally linked to action selection. Leveraging these findings, we introduce a general-purpose activation steering method that modulates behavior in real time, without fine-tuning, reward signals, or environment interaction. We evaluate this method on two recent open-source VLAs, Pi0 and OpenVLA, and demonstrate zero-shot behavioral control in simulation (LIBERO) and on a physical robot (UR5). This work demonstrates that interpretable components of embodied VLAs can be systematically harnessed for control - establishing a new paradigm for transparent and steerable foundation models in robotics.