VisualPatchWorld: 계획을 위한 잠재 구조적 표현으로서의 코드 세계 모델

초록

서로 다른 연구 분야에서는 세계 모델이라는 용어를 다양한 방식으로 사용하지만, 이들은 공통된 목표를 공유한다: 즉, 지각, 시뮬레이션 및 계획을 지원하는 형태로 행동에 따라 세계가 어떻게 진화하는지를 포착하는 것이다. 두 가지 두드러진 구현 방식은 연속 벡터 공간에서 역학을 학습하는 신경 예측기와 명시적인 상태 및 물리 법칙을 노출하는 수작업 물리 엔진이다. 신경 예측기는 데이터로부터 확장 가능하지만 역학의 형태를 암시적으로 남겨두는 반면, 물리 엔진은 검사 및 편집이 가능하지만 대규모로 구축하기 어렵다. 우리는 세계 역학을 코드로 표현하는 VisualPatchWorld (VPW)를 소개한다. VPW는 먼저 짧은 능동 탐침을 통해 정성적 역학 형태를 선택한 후, 기록된 상태-행동 궤적으로부터 다단계 예측 오차를 최소화하여 해당 형태의 자유 매개변수를 적합시킨다. 결과 프로그램은 시뮬레이터처럼 앞으로 전개할 수 있고, 소스 형태로 검사할 수 있으며, 모델 예측 제어 내에서 사용할 수 있다; 이미지에서 파생된 장면 그래프는 재계획 시점에 실시간 상태를 제공할 수 있다. 이전 코드 기반 세계 모델과의 비교에서 VPW는 평균 계획 성공률 69.0%를 달성하여 가장 강력한 코드 기준선을 23.5포인트 초과한다. 가장 큰 이득은 올바른 정성적 역학을 선택하는 것이 필수적인 경우에 발생한다. 동일한 계획기 하에서 유도된 모델은 내비게이션 및 파지 중심 제어에서 실제 엔진 성공률에 근접한다; 접촉이 많은 밀기 작업에서는 잔여 격차가 남아 있으며, 엔진에서 유망한 계획의 후보 목록을 확인하면 해당 격차의 대부분을 해소한다. 이러한 결과는 계획에 유용한 자동 구축 코드 세계 모델을 향한 실용적인 경로를 확립한다. 코드는 https://github.com/HKBU-KnowComp/VisualPatchWorld/에서 확인할 수 있다.

English

Different research lines use the term world model in different ways, yet they share a common aim: to capture how the world evolves under action in a form that supports perception, simulation, and planning. Two prominent realizations are neural predictors that learn dynamics in continuous vector spaces, and hand-built physics engines that expose explicit state and physical laws. Neural predictors scale from data but leave the form of the dynamics implicit; physics engines are inspectable and editable but difficult to construct at scale. We introduce VisualPatchWorld (VPW), which represents world dynamics as code. VPW first selects a qualitative dynamical form with short active probes, then fits that form's free parameters from recorded state-action traces by minimizing multi-step prediction error. The resulting programs can be rolled forward like a simulator, inspected in source form, and used inside model-predictive control; image-derived scene graphs can supply the live state at replan time. Across comparisons with prior code-based world models, VPW attains 69.0% mean planning success and exceeds the strongest code baseline by 23.5 points. The largest gains arise when choosing the correct qualitative dynamics is essential. Under the same planner, the induced models approach ground-truth engine success on navigation and grasp-rich control; a residual gap remains for contact-rich pushing, and checking a shortlist of promising plans in the engine closes most of that gap. These results establish a practical route toward automatically constructed code world models that are useful for planning. Code is available at https://github.com/HKBU-KnowComp/VisualPatchWorld/.