LIBERO-Plus: Analisi Approfondita della Robustezza dei Modelli Visione-Linguaggio-Azione

LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models

October 15, 2025

Autori: Senyu Fei, Siyin Wang, Junhao Shi, Zihao Dai, Jikun Cai, Pengfang Qian, Li Ji, Xinzhe He, Shiduo Zhang, Zhaoye Fei, Jinlan Fu, Jingjing Gong, Xipeng Qiu

cs.AI

Abstract

I modelli Visual-Language-Action (VLA) riportano tassi di successo impressionanti nei benchmark di manipolazione robotica, tuttavia questi risultati possono nascondere debolezze fondamentali in termini di robustezza. Abbiamo condotto un'analisi sistematica delle vulnerabilità introducendo perturbazioni controllate lungo sette dimensioni: disposizione degli oggetti, angolazioni della telecamera, stati iniziali del robot, istruzioni linguistiche, condizioni di illuminazione, texture dello sfondo e rumore dei sensori. Abbiamo analizzato in modo completo diversi modelli all'avanguardia, rivelando una fragilità costante al di sotto di un'apparente competenza. La nostra analisi mette in luce criticità significative: i modelli mostrano un'estrema sensibilità ai fattori di perturbazione, incluse le angolazioni della telecamera e gli stati iniziali del robot, con prestazioni che scendono dal 95% a meno del 30% sotto perturbazioni modeste. Sorprendentemente, i modelli sono largamente insensibili alle variazioni linguistiche, con ulteriori esperimenti che rivelano come tendano a ignorare completamente le istruzioni verbali. I nostri risultati mettono in discussione l'assunzione che punteggi elevati nei benchmark equivalgano a una vera competenza e sottolineano la necessità di pratiche di valutazione che misurino l'affidabilità in condizioni di variazione realistica.

English

Visual-Language-Action (VLA) models report impressive success rates on robotic manipulation benchmarks, yet these results may mask fundamental weaknesses in robustness. We perform a systematic vulnerability analysis by introducing controlled perturbations across seven dimensions: objects layout, camera viewpoints, robot initial states, language instructions, light conditions, background textures and sensor noise. We comprehensively analyzed multiple state-of-the-art models and revealed consistent brittleness beneath apparent competence. Our analysis exposes critical weaknesses: models exhibit extreme sensitivity to perturbation factors, including camera viewpoints and robot initial states, with performance dropping from 95% to below 30% under modest perturbations. Surprisingly, models are largely insensitive to language variations, with further experiments revealing that models tend to ignore language instructions completely. Our findings challenge the assumption that high benchmark scores equate to true competency and highlight the need for evaluation practices that assess reliability under realistic variation.