Interpretabilidade mecanicista para direcionamento de modelos visão-linguagem-ação

Mechanistic interpretability for steering vision-language-action models

August 30, 2025

Autores: Bear Häon, Kaylene Stocking, Ian Chuang, Claire Tomlin

cs.AI

Resumo

Modelos Visão-Linguagem-Ação (VLA) são uma abordagem promissora para a realização de agentes corporificados generalistas que podem se adaptar rapidamente a novas tarefas, modalidades e ambientes. No entanto, os métodos para interpretar e direcionar VLAs estão muito aquém dos pipelines clássicos de robótica, que são fundamentados em modelos explícitos de cinemática, dinâmica e controle. Essa falta de compreensão mecanicista é um desafio central para a implantação de políticas aprendidas em robótica do mundo real, onde robustez e explicabilidade são críticas. Motivados pelos avanços na interpretabilidade mecanicista de grandes modelos de linguagem, introduzimos o primeiro framework para interpretar e direcionar VLAs por meio de suas representações internas, permitindo intervenção direta no comportamento do modelo durante a inferência. Projetamos as ativações feedforward dentro das camadas do transformador na base de incorporação de tokens, identificando direções semânticas esparsas - como velocidade e direção - que estão causalmente ligadas à seleção de ações. Aproveitando essas descobertas, introduzimos um método de direcionamento de ativação de propósito geral que modula o comportamento em tempo real, sem ajuste fino, sinais de recompensa ou interação com o ambiente. Avaliamos esse método em dois VLAs de código aberto recentes, Pi0 e OpenVLA, e demonstramos controle comportamental zero-shot em simulação (LIBERO) e em um robô físico (UR5). Este trabalho demonstra que componentes interpretáveis de VLAs corporificados podem ser sistematicamente aproveitados para controle - estabelecendo um novo paradigma para modelos de base transparentes e direcionáveis em robótica.

English

Vision-Language-Action (VLA) models are a promising path to realizing generalist embodied agents that can quickly adapt to new tasks, modalities, and environments. However, methods for interpreting and steering VLAs fall far short of classical robotics pipelines, which are grounded in explicit models of kinematics, dynamics, and control. This lack of mechanistic insight is a central challenge for deploying learned policies in real-world robotics, where robustness and explainability are critical. Motivated by advances in mechanistic interpretability for large language models, we introduce the first framework for interpreting and steering VLAs via their internal representations, enabling direct intervention in model behavior at inference time. We project feedforward activations within transformer layers onto the token embedding basis, identifying sparse semantic directions - such as speed and direction - that are causally linked to action selection. Leveraging these findings, we introduce a general-purpose activation steering method that modulates behavior in real time, without fine-tuning, reward signals, or environment interaction. We evaluate this method on two recent open-source VLAs, Pi0 and OpenVLA, and demonstrate zero-shot behavioral control in simulation (LIBERO) and on a physical robot (UR5). This work demonstrates that interpretable components of embodied VLAs can be systematically harnessed for control - establishing a new paradigm for transparent and steerable foundation models in robotics.