PhysCaP: 물리 정보 기반 탐색을 통한 코드-정책 에이전트의 접지

초록

우리는 로봇 조작에서 능동적 지각을 위한 물리 정보 기반 Code-as-Policy 에이전트인 PhysCaP를 제시한다. 시각-언어-행동 정책은 시연을 모방하는 데 뛰어나지만, 수동적 관찰에 의존하며 조작에 중요한 잠재적 물리 속성을 추론하지 못한다. PhysCaP는 Code-as-Policy 프레임워크에 물리 정보 기반 탐색 계층을 추가하여 상호작용을 통한 명시적 정보 탐색을 가능하게 한다. 또한 추가 센서 없이 로봇 고유수용감각(proprioception)만으로 물체의 질량과 강성을 추정하는 훈련 없는 물리 속성 추출 모듈을 도입한다. 탐색 비용과 획득 정보의 효율성 사이의 균형을 위해 PhysCaP는 이중 에이전트 설계를 사용한다. 즉, 언제 탐색하고 언제 중단할지 결정하는 플래너(Planner)와, 비합리적 상호작용을 필터링하고 나머지를 휴리스틱 우선순위 점수로 순위를 매겨 효율적이고 목표 지향적인 탐색을 가능하게 하는 우선순위 지정기(Prioritizer)로 구성된다. 우리는 PhysCaP를 실제 세계의 탁상 조작 작업(숨겨진 물체 탐색, 빈 캔 감지, 잘 익은 아보카도 찾기)과 LIBERO의 시뮬레이션 작업에서 평가한다. 결과는 기존의 수동적 및 단순 상호작용 기준선이 물리적 속성이 숨겨져 있을 때 실패하거나 과도한 탐색을 수행하는 반면, PhysCaP는 더 적은 상호작용과 단축된 실행 시간으로 유사한 성능을 달성함을 보여준다. 절제 연구는 제안된 물리 속성 추출 모듈의 효과를 추가로 검증한다. 프로젝트 페이지: https://physcap.github.io

English

We present PhysCaP, a Physics-Informed Code-as-Policy agent for active perception in robotic manipulation. While vision-language-action policies excel at imitating demonstrations, they rely on passive observation and fail to infer latent physical properties critical for manipulation. PhysCaP augments code-as-policy frameworks with a physics-informed exploration layer that enables explicit information-seeking through interaction. It introduces training-free physical property extraction modules that estimate object mass and stiffness from robot proprioception without additional sensors. To balance exploration costs and the efficiency of information obtained, PhysCaP employs a dual-agent design: a Planner that decides when to explore and when to stop, and a Prioritizer that filters implausible interactions and ranks the remainder using a heuristic priority score, enabling efficient, targeted exploration. We evaluate PhysCaP on real-world tabletop manipulation tasks (searching for hidden objects, detecting empty cans, and finding ripe avocados) and a simulated task in LIBERO. The results show that existing passive and naive interactive baselines either fail when physical properties are hidden or over-explore, whereas PhysCaP achieves comparable performance with fewer interactions and reduced execution time. Ablation studies further validate the effectiveness of the proposed physical property extraction modules. Project page: https://physcap.github.io