INTACT: 탐색 없는 세계 모델을 위한 동형 의도-행동 학습

초록

순방향 잠재 세계 모델은 행동이 장면을 어떻게 바꾸는지 예측하지만, 원하는 변화에 대한 행동을 복구하려면 비용이 큰 테스트 시점 탐색만 가능하다. 우리는 행동 레이블이 있는 무보상 궤적을 배포 가능한 의도-행동 인터페이스로 바꾸는 종단간 JEPA인 INTACT(INtent-To-ACTion)를 도입한다. 각 전이는 물리적 의도 z_{t+1}-z_t를 제공하고, 미래 목표는 배치 의도 sg(z_g)-z_t를 제공한다. 아키텍처는 동일한 4-슬롯 문법과 공유 매개변수를 통해 로컬 및 목표 운동-의도 백본-입력 그래프 사이에서, 그리고 동일한 예측기에 의해 유도된 행동 법칙 의미론을 통해 점별 잠재 동일성이 아닌 방식으로 지원되는 로컬 및 목표 운동-의도 패밀리 사이에서 동형이다. INTACT는 또한 RGB 증거에서 행동에 유효한 잠재 의도 좌표로, 그리고 의도 패밀리에서 대응하는 행동 법칙 패밀리로의 온전한 전이를 제공한다. 비대칭 끝점 기울기는 물리적 후속 상태에 근거를 부여하고 미래 목표를 앵커로 고정하여, 점별 잠재 정합이나 전역 선형 동역학 없이 표현 학습과 제어를 결합한다. 결과 좌표는 강건한 분포적 행동 법칙을 지원한다. 그 조건부 평균은 탐색 없는 정책으로 직접 사용되며, 샘플링은 다양성 또는 선택적 검증을 위해 계속 사용 가능하다. 네 개의 공식 LeWM 작업에서 1-에포크, 무탐색 모델은 85.78%, 100.00%, 97.67%, 97.89%의 성공률에 도달한다. Direct 계획을 중심으로 한 선택적 로컬 CEM은 9,000개 대신 384개의 후보 시퀀스를 사용하여 96.86% 매크로 성공률을 달성하며, 샘플링을 23.44배 줄이면서 순수 CEM을 16.00포인트 개선한다. 단일 공유 4-작업 인코더는 89.39% E5 Direct 매크로에 도달하고 공동 훈련된 LeWM보다 모든 작업을 개선하며, 예측-전문가 행동-패밀리 kNN은 Direct 성공률을 r=0.954로 추적한다. Direct 추론은 2.9~5.5ms가 소요된다.

English

Forward latent world models predict how actions change a scene, but recover actions for a desired change only through expensive test-time search. We introduce INTACT (INtent-To-ACTion), an end-to-end JEPA that turns action-labeled, reward-free trajectories into a deployable intent-to-action interface. Each transition supplies physical intent z_{t+1}-z_t, while a future goal supplies deployment intent sg(z_g)-z_t. The architecture is isomorphic between the local and goal motion-intent backbone-input graphs through an identical four-slot grammar and shared parameters, and between supported local and goal motion-intent families through action-law semantics induced by the same predictor rather than pointwise latent equality. INTACT also provides intact transfer from RGB evidence to action-effective latent intent coordinates and from intent families to their corresponding action-law families. Asymmetric endpoint gradients ground physical successors and fix future goals as anchors, joining representation learning and control without pointwise latent matching or globally linear dynamics. The resulting coordinates support a robust distributional action law: its conditional mean serves directly as a search-free policy, while sampling remains available for diversity or optional verification. On the four official LeWM tasks, one-epoch, zero-search models reach 85.78\%, 100.00\%, 97.67\%, and 97.89\% success. Optional local CEM centered on the Direct plan reaches 96.86\% macro success using 384 instead of 9,000 candidate sequences, reducing sampling by 23.44times while improving pure CEM by 16.00 points. One shared four-task encoder reaches 89.39\% E5 Direct macro and improves every task over jointly trained LeWM, while predicted--expert action-family kNN tracks Direct success at r=0.954. Direct inference takes 2.9--5.5 ms.