LIBERO-Plus: 視覚-言語-行動モデルの堅牢性に関する詳細分析

要旨

視覚-言語-動作（VLA）モデルはロボット操作ベンチマークで印象的な成功率を報告していますが、これらの結果は堅牢性における根本的な弱点を隠している可能性があります。我々は、物体の配置、カメラ視点、ロボットの初期状態、言語指示、照明条件、背景テクスチャ、センサー雑音という7つの次元にわたる制御された摂動を導入することで、体系的な脆弱性分析を実施しました。複数の最先端モデルを包括的に分析し、表面的な能力の下に一貫した脆弱性が存在することを明らかにしました。我々の分析は重要な弱点を暴露しています：モデルはカメラ視点やロボットの初期状態などの摂動要因に対して極端に敏感であり、わずかな摂動で性能が95%から30%未満に低下します。驚くべきことに、モデルは言語のバリエーションに対してほとんど感度を示さず、さらなる実験により、モデルが言語指示を完全に無視する傾向があることが明らかになりました。我々の知見は、高いベンチマークスコアが真の能力と等しいという仮定に疑問を投げかけ、現実的な変動下での信頼性を評価するための評価手法の必要性を強調しています。

English

Visual-Language-Action (VLA) models report impressive success rates on robotic manipulation benchmarks, yet these results may mask fundamental weaknesses in robustness. We perform a systematic vulnerability analysis by introducing controlled perturbations across seven dimensions: objects layout, camera viewpoints, robot initial states, language instructions, light conditions, background textures and sensor noise. We comprehensively analyzed multiple state-of-the-art models and revealed consistent brittleness beneath apparent competence. Our analysis exposes critical weaknesses: models exhibit extreme sensitivity to perturbation factors, including camera viewpoints and robot initial states, with performance dropping from 95% to below 30% under modest perturbations. Surprisingly, models are largely insensitive to language variations, with further experiments revealing that models tend to ignore language instructions completely. Our findings challenge the assumption that high benchmark scores equate to true competency and highlight the need for evaluation practices that assess reliability under realistic variation.

LIBERO-Plus: 視覚-言語-行動モデルの堅牢性に関する詳細分析

LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models

要旨

Support