VLSA: Vision-Language-Action-modellen met een Plug-and-Play Veiligheidsbeperkingslaag

VLSA: Vision-Language-Action Models with Plug-and-Play Safety Constraint Layer

December 9, 2025

Auteurs: Songqiao Hu, Zeyi Liu, Shuang Liu, Jun Cen, Zihan Meng, Xiao He

cs.AI

Samenvatting

Vision-Language-Action (VLA)-modellen hebben opmerkelijke capaciteiten getoond in het generaliseren over diverse robotmanipulatietaken. De inzet van deze modellen in ongestructureerde omgevingen blijft echter een uitdaging, vanwege de kritische noodzaak voor gelijktijdige taaknaleving en veiligheidsborging, met name bij het voorkomen van mogelijke botsingen tijdens fysieke interacties. In dit werk introduceren we een Vision-Language-Safe Action (VLSA)-architectuur, genaamd AEGIS, die een plug-and-play veiligheidsbeperkingslaag (SC-laag) bevat, geformuleerd via control barrier functions. AEGIS integreert rechtstreeks met bestaande VLA-modellen om de veiligheid met theoretische garanties te verbeteren, terwijl de oorspronkelijke prestaties voor instructie-opvolging behouden blijven. Om de doeltreffendheid van onze architectuur te evalueren, construeren we een uitgebreide veiligheidskritieke benchmark, SafeLIBERO, die verschillende manipulatiescenario's omvat die gekenmerkt worden door variërende niveaus van ruimtelijke complexiteit en obstakelinterventie. Uitgebreide experimenten tonen de superioriteit van onze methode aan ten opzichte van state-of-the-art baseline-methoden. Opmerkelijk is dat AEGIS een verbetering van 59,16% bereikt in het vermijden van obstakels, terwijl het slagingspercentage van de taakuitvoering tegelijkertijd aanzienlijk met 17,25% toeneemt. Om reproduceerbaarheid en toekomstig onderzoek te vergemakkelijken, stellen we onze code, modellen en de benchmarkdatasets openbaar beschikbaar op https://vlsa-aegis.github.io/.

English

Vision-Language-Action (VLA) models have demonstrated remarkable capabilities in generalizing across diverse robotic manipulation tasks. However, deploying these models in unstructured environments remains challenging due to the critical need for simultaneous task compliance and safety assurance, particularly in preventing potential collisions during physical interactions. In this work, we introduce a Vision-Language-Safe Action (VLSA) architecture, named AEGIS, which contains a plug-and-play safety constraint (SC) layer formulated via control barrier functions. AEGIS integrates directly with existing VLA models to improve safety with theoretical guarantees, while maintaining their original instruction-following performance. To evaluate the efficacy of our architecture, we construct a comprehensive safety-critical benchmark SafeLIBERO, spanning distinct manipulation scenarios characterized by varying degrees of spatial complexity and obstacle intervention. Extensive experiments demonstrate the superiority of our method over state-of-the-art baselines. Notably, AEGIS achieves a 59.16% improvement in obstacle avoidance rate while substantially increasing the task execution success rate by 17.25%. To facilitate reproducibility and future research, we make our code, models, and the benchmark datasets publicly available at https://vlsa-aegis.github.io/.