LIBERO-Plus: Глубокий анализ устойчивости моделей, объединяющих зрение, язык и действия

LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models

October 15, 2025

Авторы: Senyu Fei, Siyin Wang, Junhao Shi, Zihao Dai, Jikun Cai, Pengfang Qian, Li Ji, Xinzhe He, Shiduo Zhang, Zhaoye Fei, Jinlan Fu, Jingjing Gong, Xipeng Qiu

cs.AI

Аннотация

Модели Visual-Language-Action (VLA) демонстрируют впечатляющие результаты на тестах по роботизированному манипулированию, однако эти успехи могут скрывать фундаментальные слабости в их устойчивости. Мы провели систематический анализ уязвимостей, введя контролируемые возмущения по семи параметрам: расположение объектов, точки обзора камеры, начальные состояния робота, текстовые инструкции, условия освещения, текстуры фона и сенсорный шум. Мы всесторонне проанализировали несколько современных моделей и выявили последовательную хрупкость, скрывающуюся за видимой компетентностью. Наш анализ выявил критические слабости: модели демонстрируют чрезвычайную чувствительность к факторам возмущения, включая точки обзора камеры и начальные состояния робота, при этом производительность падает с 95% до менее 30% даже при умеренных возмущениях. Удивительно, но модели практически не реагируют на вариации в текстовых инструкциях, а дополнительные эксперименты показали, что модели склонны полностью игнорировать текстовые команды. Наши результаты ставят под сомнение предположение о том, что высокие баллы на тестах эквивалентны истинной компетентности, и подчеркивают необходимость практик оценки, которые учитывают надежность в условиях реальных вариаций.

English

Visual-Language-Action (VLA) models report impressive success rates on robotic manipulation benchmarks, yet these results may mask fundamental weaknesses in robustness. We perform a systematic vulnerability analysis by introducing controlled perturbations across seven dimensions: objects layout, camera viewpoints, robot initial states, language instructions, light conditions, background textures and sensor noise. We comprehensively analyzed multiple state-of-the-art models and revealed consistent brittleness beneath apparent competence. Our analysis exposes critical weaknesses: models exhibit extreme sensitivity to perturbation factors, including camera viewpoints and robot initial states, with performance dropping from 95% to below 30% under modest perturbations. Surprisingly, models are largely insensitive to language variations, with further experiments revealing that models tend to ignore language instructions completely. Our findings challenge the assumption that high benchmark scores equate to true competency and highlight the need for evaluation practices that assess reliability under realistic variation.