LIBERO-Plus: Diepgaande robuustheidsanalyse van visie-taal-actie-modellen

LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models

October 15, 2025

Auteurs: Senyu Fei, Siyin Wang, Junhao Shi, Zihao Dai, Jikun Cai, Pengfang Qian, Li Ji, Xinzhe He, Shiduo Zhang, Zhaoye Fei, Jinlan Fu, Jingjing Gong, Xipeng Qiu

cs.AI

Samenvatting

Visual-Language-Action (VLA)-modellen laten indrukwekkende succespercentages zien op benchmarks voor robotmanipulatie, maar deze resultaten kunnen fundamentele zwakheden in robuustheid verhullen. We voeren een systematische kwetsbaarheidsanalyse uit door gecontroleerde verstoringen in te voeren over zeven dimensies: objectopstelling, camerastandpunten, initiële robottoestanden, taalinstellingen, lichtomstandigheden, achtergrondtexturen en sensorgebruik. We hebben meerdere state-of-the-art modellen grondig geanalyseerd en consistent broos gedrag blootgelegd onder de schijn van competentie. Onze analyse onthult kritieke zwakheden: modellen vertonen extreme gevoeligheid voor verstoringsfactoren, zoals camerastandpunten en initiële robottoestanden, waarbij de prestaties dalen van 95% tot onder 30% bij bescheiden verstoringen. Verrassend genoeg zijn modellen grotendeels ongevoelig voor taalvariatie, en verdere experimenten tonen aan dat modellen geneigd zijn taalinstellingen volledig te negeren. Onze bevindingen dagen de aanname uit dat hoge benchmarkscores gelijkstaan aan echte competentie en benadrukken de noodzaak van evaluatiepraktijken die betrouwbaarheid onder realistische variatie beoordelen.

English

Visual-Language-Action (VLA) models report impressive success rates on robotic manipulation benchmarks, yet these results may mask fundamental weaknesses in robustness. We perform a systematic vulnerability analysis by introducing controlled perturbations across seven dimensions: objects layout, camera viewpoints, robot initial states, language instructions, light conditions, background textures and sensor noise. We comprehensively analyzed multiple state-of-the-art models and revealed consistent brittleness beneath apparent competence. Our analysis exposes critical weaknesses: models exhibit extreme sensitivity to perturbation factors, including camera viewpoints and robot initial states, with performance dropping from 95% to below 30% under modest perturbations. Surprisingly, models are largely insensitive to language variations, with further experiments revealing that models tend to ignore language instructions completely. Our findings challenge the assumption that high benchmark scores equate to true competency and highlight the need for evaluation practices that assess reliability under realistic variation.