PhyCo: 생성적 모션을 위한 제어 가능한 물리적 사전 지식 학습

PhyCo: Learning Controllable Physical Priors for Generative Motion

April 30, 2026

저자: Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

cs.AI

초록

현대 비디오 확산 모델은 외형 합성에서는 뛰어나지만 여전히 물리적 일관성에 어려움을 겪습니다: 객체가 표류하고, 충돌 시 사실적인 반동이 부족하며, 재질 반응이 기본 물성을 제대로 반영하지 못합니다. 우리는 PhyCo를 제안하는데, 이는 비디오 생성에 지속적이고 해석 가능하며 물리적으로 근거 있는 제어를 도입하는 프레임워크입니다. 우리의 접근법은 세 가지 핵심 구성요소를 통합합니다: (i) 다양한 시나리오에서 마찰, 반발, 변형, 힘을 체계적으로 변화시킨 10만 개 이상의 사실적인 시뮬레이션 비디오 대규모 데이터셋; (ii) 픽셀 정렬 물성 맵에 조건화된 ControlNet을 사용하여 사전 학습된 확산 모델의 물리 감독 미세 조정; (iii) 미세 조정된 비전-언어 모델이 생성된 비디오를 대상별 물리 질의로 평가하고 미분 가능 피드백을 제공하는 VLM 기반 보상 최적화. 이 조합을 통해 생성 모델은 추론 시 시뮬레이터나 형상 재구성 없이 물성 속성 변동을 통해 물리적으로 일관되고 제어 가능한 결과를 생성할 수 있습니다. Physics-IQ 벤치마크에서 PhyCo는 강력한 기준선 대비 물리적 현실감을 크게 향상시켰으며, 인간 평가를 통해서도 물성 속성에 대한 더 명확하고 정확한 제어가 확인되었습니다. 우리의 결과는 합성 학습 환경을 넘어 일반화되는 물리적으로 일관된 제어 가능 생성 비디오 모델로 가는 확장 가능한 경로를 보여줍니다.

English

Modern video diffusion models excel at appearance synthesis but still struggle with physical consistency: objects drift, collisions lack realistic rebound, and material responses seldom match their underlying properties. We present PhyCo, a framework that introduces continuous, interpretable, and physically grounded control into video generation. Our approach integrates three key components: (i) a large-scale dataset of over 100K photorealistic simulation videos where friction, restitution, deformation, and force are systematically varied across diverse scenarios; (ii) physics-supervised fine-tuning of a pretrained diffusion model using a ControlNet conditioned on pixel-aligned physical property maps; and (iii) VLM-guided reward optimization, where a fine-tuned vision-language model evaluates generated videos with targeted physics queries and provides differentiable feedback. This combination enables a generative model to produce physically consistent and controllable outputs through variations in physical attributes-without any simulator or geometry reconstruction at inference. On the Physics-IQ benchmark, PhyCo significantly improves physical realism over strong baselines, and human studies confirm clearer and more faithful control over physical attributes. Our results demonstrate a scalable path toward physically consistent, controllable generative video models that generalize beyond synthetic training environments.