VLSA: Modelos Visión-Lenguaje-Acción con Capa de Restricción de Seguridad Plug-and-Play

VLSA: Vision-Language-Action Models with Plug-and-Play Safety Constraint Layer

December 9, 2025

Autores: Songqiao Hu, Zeyi Liu, Shuang Liu, Jun Cen, Zihan Meng, Xiao He

cs.AI

Resumen

Los modelos Visión-Lenguaje-Acción (VLA) han demostrado capacidades notables para generalizar en diversas tareas de manipulación robótica. Sin embargo, su despliegue en entornos no estructurados sigue siendo un desafío debido a la necesidad crítica de garantizar simultáneamente el cumplimiento de la tarea y la seguridad, particularmente en la prevención de colisiones potenciales durante las interacciones físicas. En este trabajo, presentamos una arquitectura de Acción Segura Visión-Lenguaje (VLSA), denominada AEGIS, que incorpora una capa de restricción de seguridad "plug-and-play" formulada mediante funciones de barrera de control. AEGIS se integra directamente con los modelos VLA existentes para mejorar la seguridad con garantías teóricas, manteniendo su rendimiento original de seguimiento de instrucciones. Para evaluar la eficacia de nuestra arquitectura, construimos un benchmark integral de seguridad crítica, SafeLIBERO, que abarca escenarios de manipulación distintos caracterizados por diversos grados de complejidad espacial e intervención de obstáculos. Experimentos exhaustivos demuestran la superioridad de nuestro método frente a los baselines state-of-the-art. Notablemente, AEGIS logra una mejora del 59.16% en la tasa de evitación de obstáculos, mientras incrementa sustancialmente la tasa de éxito en la ejecución de tareas en un 17.25%. Para facilitar la reproducibilidad y la investigación futura, ponemos a disposición pública nuestro código, modelos y los datasets del benchmark en https://vlsa-aegis.github.io/.

English

Vision-Language-Action (VLA) models have demonstrated remarkable capabilities in generalizing across diverse robotic manipulation tasks. However, deploying these models in unstructured environments remains challenging due to the critical need for simultaneous task compliance and safety assurance, particularly in preventing potential collisions during physical interactions. In this work, we introduce a Vision-Language-Safe Action (VLSA) architecture, named AEGIS, which contains a plug-and-play safety constraint (SC) layer formulated via control barrier functions. AEGIS integrates directly with existing VLA models to improve safety with theoretical guarantees, while maintaining their original instruction-following performance. To evaluate the efficacy of our architecture, we construct a comprehensive safety-critical benchmark SafeLIBERO, spanning distinct manipulation scenarios characterized by varying degrees of spatial complexity and obstacle intervention. Extensive experiments demonstrate the superiority of our method over state-of-the-art baselines. Notably, AEGIS achieves a 59.16% improvement in obstacle avoidance rate while substantially increasing the task execution success rate by 17.25%. To facilitate reproducibility and future research, we make our code, models, and the benchmark datasets publicly available at https://vlsa-aegis.github.io/.