Tex3D: 비전-언어-행동 모델을 위한 적대적 3D 텍스처를 통한 객체 기반 공격 표면

초록

비전-언어-행동(VLA) 모델은 로봇 매니픽레이션에서 강력한 성능을 보여왔으나, 물리적으로 실현 가능한 적대적 공격에 대한 강건성은 아직 충분히 연구되지 않았다. 기존 연구는 언어 교란 및 2D 시각 공격을 통해 취약점을 드러내지만, 이러한 공격 표면은 실제 배포 환경을 충분히 반영하지 못하거나 물리적 현실성이 제한적이다. 이와 대조적으로 적대적 3D 텍스처는 조작 대상 객체에 자연스럽게 부착되고 물리 환경에서 배포가 용이하여 더욱 물리적으로 타당하고 파괴적인 위협을 야기한다. 그러나 VLA 시스템에 적대적 3D 텍스처를 도입하는 것은 간단하지 않다. 핵심 장애물은 표준 3D 시뮬레이터가 VLA 목적 함수에서 객체 외관으로의 미분 가능 최적화 경로를 제공하지 않아 종단간 최적화를 어렵게 만든다는 점이다. 이를 해결하기 위해 우리는 원래 시뮬레이션 환경을 유지하면서 이중 렌더러 정렬을 통한 미분 가능 텍스처 최적화를 가능하게 하는 전경-배경 분리(FBD) 기법을 제안한다. 더 나아가 물리 세계에서 장기간 및 다양한 시점에 걸쳐 공격 효과가 유지되도록 하기 위해 행동적 중요 프레임을 우선순위화하고 정점 기반 매개변수화로 최적화를 안정화하는 궤적 인식 적대적 최적화(TAAO)를 제안한다. 이러한 설계를 바탕으로 우리는 VLA 시뮬레이션 환경 내에서 직접 3D 적대적 텍스처의 종단간 최적화를 가능하게 하는 첫 번째 프레임워크인 Tex3D를 제시한다. 시뮬레이션 및 실제 로봇 환경에서의 실험 결과, Tex3D는 여러 매니픽레이션 작업에서 VLA 성능을 현저히 저하시키며 최대 96.7%의 작업 실패율을 달성함을 보여준다. 우리의 실증 결과는 VLA 시스템이 물리 기반 3D 적대적 공격에 대해 지니는 심각한 취약성을 드러내며 강건성 인지 훈련의 필요성을 강조한다.

English

Vision-language-action (VLA) models have shown strong performance in robotic manipulation, yet their robustness to physically realizable adversarial attacks remains underexplored. Existing studies reveal vulnerabilities through language perturbations and 2D visual attacks, but these attack surfaces are either less representative of real deployment or limited in physical realism. In contrast, adversarial 3D textures pose a more physically plausible and damaging threat, as they are naturally attached to manipulated objects and are easier to deploy in physical environments. Bringing adversarial 3D textures to VLA systems is nevertheless nontrivial. A central obstacle is that standard 3D simulators do not provide a differentiable optimization path from the VLA objective function back to object appearance, making it difficult to optimize through an end-to-end manner. To address this, we introduce Foreground-Background Decoupling (FBD), which enables differentiable texture optimization through dual-renderer alignment while preserving the original simulation environment. To further ensure that the attack remains effective across long-horizon and diverse viewpoints in the physical world, we propose Trajectory-Aware Adversarial Optimization (TAAO), which prioritizes behaviorally critical frames and stabilizes optimization with a vertex-based parameterization. Built on these designs, we present Tex3D, the first framework for end-to-end optimization of 3D adversarial textures directly within the VLA simulation environment. Experiments in both simulation and real-robot settings show that Tex3D significantly degrades VLA performance across multiple manipulation tasks, achieving task failure rates of up to 96.7\%. Our empirical results expose critical vulnerabilities of VLA systems to physically grounded 3D adversarial attacks and highlight the need for robustness-aware training.

Tex3D: 비전-언어-행동 모델을 위한 적대적 3D 텍스처를 통한 객체 기반 공격 표면

Tex3D: Objects as Attack Surfaces via Adversarial 3D Textures for Vision-Language-Action Models

초록

Support