ACID: 세계 모델을 사용한 계획을 위한 역동역학 기반 행동 일관성

초록

행동 조건부 세계 모델을 활용한 결정 시점 계획은 구현형 제어(embodied control)에서 널리 사용되는 패러다임이 되었다. 그러나 표준 계획 비용은 예측된 최종 상태가 목표에 얼마나 근접한지만으로 후보를 평가할 뿐, 중간 전이의 실현 가능성은 확인하지 않는다. 즉, 예측된 궤적은 그럴듯해 보일 수 있지만 실제 환경 롤아웃은 이 궤적으로부터 벗어나게 된다. 본 논문에서는 순환 행동 일관성(cycle action consistency)을 도입한 결정 시점 계획 프레임워크 ACID를 제안한다. 역동역학 모델에 의해 예측된 전이로부터 역으로 추론된 행동은 원래 조건부로 주어졌던 행동을 복원해야 한다는 원리이다. 이 단계별 잔차를 축척 불변 적응 가중치를 통해 계획 비용에 통합한다. 강체 및 변형체 조작, 관절 제어, 시각적 내비게이션을 포함한 네 가지 행동 조건부 세계 모델과 여섯 가지 과제에서 ACID는 계획 성능을 지속적으로 개선하였으며, 계획 계산량을 크게 줄이면서도 기준 방법과 동등한 정확도를 달성하였다.

English

Decision-time planning with action-conditioned world models has become a popular paradigm for embodied control. However, the standard planning cost judges a candidate solely by how close its predicted terminal state lies to the goal, leaving the realizability of the intermediate transitions unchecked -- a predicted trajectory can look convincing while the environment rollout drifts away from it. In this paper, we propose ACID, a decision-time planning framework that introduces cycle action consistency: the action inferred backward from a predicted transition by an inverse dynamics model should recover the one that was conditioned on. We fold this per-step residual into the planning cost via a scale-invariant adaptive weight. Across four action-conditioned world models and six tasks spanning rigid and deformable manipulation, articulated control, and visual navigation, ACID consistently improves planning and matches the baseline's accuracy with substantially less planning compute.