VLSA: Modelos Visão-Linguagem-Ação com Camada de Restrição de Segurança Plug-and-Play
VLSA: Vision-Language-Action Models with Plug-and-Play Safety Constraint Layer
December 9, 2025
Autores: Songqiao Hu, Zeyi Liu, Shuang Liu, Jun Cen, Zihan Meng, Xiao He
cs.AI
Resumo
Os modelos Visão-Linguagem-Ação (VLA) demonstraram capacidades notáveis na generalização de diversas tarefas de manipulação robótica. No entanto, a implantação desses modelos em ambientes não estruturados permanece desafiadora devido à necessidade crítica de garantir simultaneamente a conformidade com a tarefa e a segurança, particularmente na prevenção de possíveis colisões durante interações físicas. Neste trabalho, introduzimos uma arquitetura Visão-Linguagem-Ação Segura (VLSA), denominada AEGIS, que contém uma camada de restrição de segurança (SC) do tipo "plug-and-play" formulada por meio de funções de barreira de controle. O AEGIS integra-se diretamente aos modelos VLA existentes para melhorar a segurança com garantias teóricas, mantendo seu desempenho original de seguir instruções. Para avaliar a eficácia de nossa arquitetura, construímos um benchmark abrangente de segurança crítica, o SafeLIBERO, abrangendo cenários distintos de manipulação caracterizados por diferentes graus de complexidade espacial e intervenção de obstáculos. Experimentos extensivos demonstram a superioridade de nosso método em relação aos baselines state-of-the-art. Notavelmente, o AEGIS alcança uma melhoria de 59,16% na taxa de evitação de obstáculos, aumentando substancialmente a taxa de sucesso na execução de tarefas em 17,25%. Para facilitar a reprodutibilidade e pesquisas futuras, disponibilizamos publicamente nosso código, modelos e conjuntos de dados de benchmark em https://vlsa-aegis.github.io/.
English
Vision-Language-Action (VLA) models have demonstrated remarkable capabilities in generalizing across diverse robotic manipulation tasks. However, deploying these models in unstructured environments remains challenging due to the critical need for simultaneous task compliance and safety assurance, particularly in preventing potential collisions during physical interactions. In this work, we introduce a Vision-Language-Safe Action (VLSA) architecture, named AEGIS, which contains a plug-and-play safety constraint (SC) layer formulated via control barrier functions. AEGIS integrates directly with existing VLA models to improve safety with theoretical guarantees, while maintaining their original instruction-following performance. To evaluate the efficacy of our architecture, we construct a comprehensive safety-critical benchmark SafeLIBERO, spanning distinct manipulation scenarios characterized by varying degrees of spatial complexity and obstacle intervention. Extensive experiments demonstrate the superiority of our method over state-of-the-art baselines. Notably, AEGIS achieves a 59.16% improvement in obstacle avoidance rate while substantially increasing the task execution success rate by 17.25%. To facilitate reproducibility and future research, we make our code, models, and the benchmark datasets publicly available at https://vlsa-aegis.github.io/.