LIBERO-Plus: Umfassende Robustheitsanalyse von Vision-Sprache-Handlungs-Modellen

LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models

October 15, 2025

papers.authors: Senyu Fei, Siyin Wang, Junhao Shi, Zihao Dai, Jikun Cai, Pengfang Qian, Li Ji, Xinzhe He, Shiduo Zhang, Zhaoye Fei, Jinlan Fu, Jingjing Gong, Xipeng Qiu

cs.AI

papers.abstract

Visual-Language-Action (VLA)-Modelle verzeichnen beeindruckende Erfolgsquoten in Benchmarks für robotergestützte Manipulation, doch diese Ergebnisse könnten grundlegende Schwächen in der Robustheit verdecken. Wir führen eine systematische Schwachstellenanalyse durch, indem wir kontrollierte Störungen in sieben Dimensionen einführen: Objektanordnung, Kameraperspektiven, Ausgangszustände des Roboters, Sprachinstruktionen, Lichtverhältnisse, Hintergrundtexturen und Sensorrauschen. Wir analysierten umfassend mehrere state-of-the-art Modelle und deckten eine konsistente Anfälligkeit unter der scheinbaren Kompetenz auf. Unsere Analyse zeigt kritische Schwächen auf: Die Modelle weisen eine extreme Empfindlichkeit gegenüber Störfaktoren auf, einschließlich Kameraperspektiven und Ausgangszuständen des Roboters, wobei die Leistung bei moderaten Störungen von 95 % auf unter 30 % sinkt. Überraschenderweise sind die Modelle weitgehend unempfindlich gegenüber Sprachvariationen, und weitere Experimente zeigen, dass die Modelle dazu neigen, Sprachinstruktionen vollständig zu ignorieren. Unsere Ergebnisse stellen die Annahme infrage, dass hohe Benchmark-Ergebnisse mit echter Kompetenz gleichzusetzen sind, und unterstreichen die Notwendigkeit von Bewertungspraktiken, die die Zuverlässigkeit unter realistischen Variationen überprüfen.

English

Visual-Language-Action (VLA) models report impressive success rates on robotic manipulation benchmarks, yet these results may mask fundamental weaknesses in robustness. We perform a systematic vulnerability analysis by introducing controlled perturbations across seven dimensions: objects layout, camera viewpoints, robot initial states, language instructions, light conditions, background textures and sensor noise. We comprehensively analyzed multiple state-of-the-art models and revealed consistent brittleness beneath apparent competence. Our analysis exposes critical weaknesses: models exhibit extreme sensitivity to perturbation factors, including camera viewpoints and robot initial states, with performance dropping from 95% to below 30% under modest perturbations. Surprisingly, models are largely insensitive to language variations, with further experiments revealing that models tend to ignore language instructions completely. Our findings challenge the assumption that high benchmark scores equate to true competency and highlight the need for evaluation practices that assess reliability under realistic variation.