VLSA : Modèles Vision-Langue-Action avec une couche de contrainte de sécurité Plug-and-Play

VLSA: Vision-Language-Action Models with Plug-and-Play Safety Constraint Layer

December 9, 2025

papers.authors: Songqiao Hu, Zeyi Liu, Shuang Liu, Jun Cen, Zihan Meng, Xiao He

cs.AI

papers.abstract

Les modèles Vision-Langage-Action (VLA) ont démontré des capacités remarquables à généraliser sur diverses tâches de manipulation robotique. Cependant, leur déploiement dans des environnements non structurés reste difficile en raison du besoin crucial d'assurer simultanément la conformité à la tâche et la sécurité, notamment pour prévenir les collisions potentielles lors des interactions physiques. Dans ce travail, nous présentons une architecture Vision-Langage-Action Sûre (VLSA), nommée AEGIS, qui intègre une couche de contrainte de sécurité plug-and-play formulée via des fonctions barrières de contrôle. AEGIS s'intègre directement aux modèles VLA existants pour améliorer la sécurité avec des garanties théoriques, tout en maintenant leurs performances originales de suivi d'instructions. Pour évaluer l'efficacité de notre architecture, nous avons construit un benchmark complet de sécurité critique, SafeLIBERO, couvrant des scénarios de manipulation distincts caractérisés par des degrés variables de complexité spatiale et d'intervention d'obstacles. Des expériences approfondies démontrent la supériorité de notre méthode par rapport aux approches de l'état de l'art. Notamment, AEGIS atteint une amélioration de 59,16 % du taux d'évitement d'obstacles tout en augmentant substantiellement le taux de réussite de l'exécution des tâches de 17,25 %. Pour faciliter la reproductibilité et les recherches futures, nous mettons publiquement à disposition notre code, nos modèles et les jeux de données du benchmark à l'adresse https://vlsa-aegis.github.io/.

English

Vision-Language-Action (VLA) models have demonstrated remarkable capabilities in generalizing across diverse robotic manipulation tasks. However, deploying these models in unstructured environments remains challenging due to the critical need for simultaneous task compliance and safety assurance, particularly in preventing potential collisions during physical interactions. In this work, we introduce a Vision-Language-Safe Action (VLSA) architecture, named AEGIS, which contains a plug-and-play safety constraint (SC) layer formulated via control barrier functions. AEGIS integrates directly with existing VLA models to improve safety with theoretical guarantees, while maintaining their original instruction-following performance. To evaluate the efficacy of our architecture, we construct a comprehensive safety-critical benchmark SafeLIBERO, spanning distinct manipulation scenarios characterized by varying degrees of spatial complexity and obstacle intervention. Extensive experiments demonstrate the superiority of our method over state-of-the-art baselines. Notably, AEGIS achieves a 59.16% improvement in obstacle avoidance rate while substantially increasing the task execution success rate by 17.25%. To facilitate reproducibility and future research, we make our code, models, and the benchmark datasets publicly available at https://vlsa-aegis.github.io/.