VLSA: Modelli Visione-Linguaggio-Azione con Strato di Vincolo di Sicurezza Plug-and-Play

VLSA: Vision-Language-Action Models with Plug-and-Play Safety Constraint Layer

December 9, 2025

Autori: Songqiao Hu, Zeyi Liu, Shuang Liu, Jun Cen, Zihan Meng, Xiao He

cs.AI

Abstract

I modelli Vision-Language-Action (VLA) hanno dimostrato capacità notevoli nel generalizzare su una vasta gamma di compiti di manipolazione robotica. Tuttavia, la loro implementazione in ambienti non strutturati rimane una sfida a causa della necessità critica di garantire simultaneamente la conformità al compito e la sicurezza, in particolare nel prevenire potenziali collisioni durante le interazioni fisiche. In questo lavoro, introduciamo un'architettura Vision-Language-Safe Action (VLSA), denominata AEGIS, che include uno strato di vincolo di sicurezza (SC, Safety Constraint) plug-and-play formulato tramite funzioni barriera di controllo. AEGIS si integra direttamente con i modelli VLA esistenti per migliorare la sicurezza con garanzie teoriche, mantenendo al contempo le loro prestazioni originali nel seguire le istruzioni. Per valutare l'efficacia della nostra architettura, abbiamo costruito un benchmark completo per scenari critici per la sicurezza, SafeLIBERO, che copre scenari di manipolazione distinti caratterizzati da diversi gradi di complessità spaziale e intervento di ostacoli. Esperimenti estensivi dimostrano la superiorità del nostro metodo rispetto ai baseline state-of-the-art. In particolare, AEGIS raggiunge un miglioramento del 59,16% nel tasso di evitamento degli ostacoli, aumentando sostanzialmente il tasso di successo dell'esecuzione del compito del 17,25%. Per facilitare la riproducibilità e le ricerche future, rendiamo pubblicamente disponibili il nostro codice, i modelli e i dataset del benchmark all'indirizzo https://vlsa-aegis.github.io/.

English

Vision-Language-Action (VLA) models have demonstrated remarkable capabilities in generalizing across diverse robotic manipulation tasks. However, deploying these models in unstructured environments remains challenging due to the critical need for simultaneous task compliance and safety assurance, particularly in preventing potential collisions during physical interactions. In this work, we introduce a Vision-Language-Safe Action (VLSA) architecture, named AEGIS, which contains a plug-and-play safety constraint (SC) layer formulated via control barrier functions. AEGIS integrates directly with existing VLA models to improve safety with theoretical guarantees, while maintaining their original instruction-following performance. To evaluate the efficacy of our architecture, we construct a comprehensive safety-critical benchmark SafeLIBERO, spanning distinct manipulation scenarios characterized by varying degrees of spatial complexity and obstacle intervention. Extensive experiments demonstrate the superiority of our method over state-of-the-art baselines. Notably, AEGIS achieves a 59.16% improvement in obstacle avoidance rate while substantially increasing the task execution success rate by 17.25%. To facilitate reproducibility and future research, we make our code, models, and the benchmark datasets publicly available at https://vlsa-aegis.github.io/.