VLSA: Vision-Language-Action-Modelle mit Plug-and-Play-Sicherheitsbeschränkungsebene

VLSA: Vision-Language-Action Models with Plug-and-Play Safety Constraint Layer

December 9, 2025

papers.authors: Songqiao Hu, Zeyi Liu, Shuang Liu, Jun Cen, Zihan Meng, Xiao He

cs.AI

papers.abstract

Vision-Language-Action (VLA)-Modelle haben bemerkenswerte Fähigkeiten bei der Generalisierung über verschiedene Robotermanipulationsaufgaben hinweg demonstriert. Die Bereitstellung dieser Modelle in unstrukturierten Umgebungen bleibt jedoch eine Herausforderung, da die gleichzeitige Einhaltung von Aufgaben und die Gewährleistung von Sicherheit, insbesondere die Verhinderung potenzieller Kollisionen während physischer Interaktionen, von entscheidender Bedeutung ist. In dieser Arbeit stellen wir eine Vision-Language-Safe Action (VLSA)-Architektur namens AEGIS vor, die eine Plug-and-Play-Sicherheitsbeschränkungsschicht (Safety Constraint, SC) enthält, die mittels Control Barrier Functions formuliert ist. AEGIS lässt sich direkt in bestehende VLA-Modelle integrieren, um die Sicherheit mit theoretischen Garantien zu verbessern, während die ursprüngliche Leistungsfähigkeit zur Befolgung von Anweisungen erhalten bleibt. Um die Wirksamkeit unserer Architektur zu bewerten, erstellen wir einen umfassenden sicherheitskritischen Benchmark, SafeLIBERO, der verschiedene Manipulationsszenarien abdeckt, die sich durch unterschiedliche Grade räumlicher Komplexität und Hinderniseinwirkung auszeichnen. Umfangreiche Experimente belegen die Überlegenheit unserer Methode gegenüber modernen Baseline-Ansätzen. Bemerkenswerterweise erzielt AEGIS eine Verbesserung der Hindernisvermeidungsrate um 59,16 % und steigert gleichzeitig die Erfolgsrate der Aufgabenausführung erheblich um 17,25 %. Um Reproduzierbarkeit und zukünftige Forschung zu ermöglichen, stellen wir unseren Code, die Modelle und die Benchmark-Datensätze öffentlich unter https://vlsa-aegis.github.io/ zur Verfügung.

English

Vision-Language-Action (VLA) models have demonstrated remarkable capabilities in generalizing across diverse robotic manipulation tasks. However, deploying these models in unstructured environments remains challenging due to the critical need for simultaneous task compliance and safety assurance, particularly in preventing potential collisions during physical interactions. In this work, we introduce a Vision-Language-Safe Action (VLSA) architecture, named AEGIS, which contains a plug-and-play safety constraint (SC) layer formulated via control barrier functions. AEGIS integrates directly with existing VLA models to improve safety with theoretical guarantees, while maintaining their original instruction-following performance. To evaluate the efficacy of our architecture, we construct a comprehensive safety-critical benchmark SafeLIBERO, spanning distinct manipulation scenarios characterized by varying degrees of spatial complexity and obstacle intervention. Extensive experiments demonstrate the superiority of our method over state-of-the-art baselines. Notably, AEGIS achieves a 59.16% improvement in obstacle avoidance rate while substantially increasing the task execution success rate by 17.25%. To facilitate reproducibility and future research, we make our code, models, and the benchmark datasets publicly available at https://vlsa-aegis.github.io/.