VLSA: Модели «Зрение-Язык-Действие» со слоем ограничений безопасности Plug-and-Play
VLSA: Vision-Language-Action Models with Plug-and-Play Safety Constraint Layer
December 9, 2025
Авторы: Songqiao Hu, Zeyi Liu, Shuang Liu, Jun Cen, Zihan Meng, Xiao He
cs.AI
Аннотация
Модели Vision-Language-Action (VLA) продемонстрировали впечатляющую способность к обобщению в разнообразных задачах роботизированного манипулирования. Однако развертывание этих моделей в неструктурированных средах остается сложной задачей из-за критической необходимости одновременного обеспечения соответствия задаче и гарантий безопасности, особенно в предотвращении потенциальных столкновений во время физического взаимодействия. В данной работе мы представляем архитектуру Vision-Language-Safe Action (VLSA) под названием AEGIS, которая содержит подключаемый слой ограничений безопасности (SC), сформулированный с помощью функций контрольных барьеров. AEGIS напрямую интегрируется с существующими VLA-моделями для повышения безопасности с теоретическими гарантиями, сохраняя при этом их исходную производительность по следованию инструкциям. Для оценки эффективности нашей архитектуры мы создали комплексный бенчмарк для критически важных по безопасности задач SafeLIBERO, охватывающий различные сценарии манипулирования, характеризующиеся разной степенью пространственной сложности и вмешательства препятствий. Многочисленные эксперименты демонстрируют превосходство нашего метода над современными базовыми подходами. Примечательно, что AEGIS достигает улучшения показателя избегания препятствий на 59,16%, одновременно существенно повышая процент успешного выполнения задач на 17,25%. Для обеспечения воспроизводимости и будущих исследований мы публикуем наш код, модели и наборы данных бенчмарка по адресу https://vlsa-aegis.github.io/.
English
Vision-Language-Action (VLA) models have demonstrated remarkable capabilities in generalizing across diverse robotic manipulation tasks. However, deploying these models in unstructured environments remains challenging due to the critical need for simultaneous task compliance and safety assurance, particularly in preventing potential collisions during physical interactions. In this work, we introduce a Vision-Language-Safe Action (VLSA) architecture, named AEGIS, which contains a plug-and-play safety constraint (SC) layer formulated via control barrier functions. AEGIS integrates directly with existing VLA models to improve safety with theoretical guarantees, while maintaining their original instruction-following performance. To evaluate the efficacy of our architecture, we construct a comprehensive safety-critical benchmark SafeLIBERO, spanning distinct manipulation scenarios characterized by varying degrees of spatial complexity and obstacle intervention. Extensive experiments demonstrate the superiority of our method over state-of-the-art baselines. Notably, AEGIS achieves a 59.16% improvement in obstacle avoidance rate while substantially increasing the task execution success rate by 17.25%. To facilitate reproducibility and future research, we make our code, models, and the benchmark datasets publicly available at https://vlsa-aegis.github.io/.